우서오십쇼

지금까지는,,, 분류에 초점이 맞추어져 있었다!하지만 이제부터는 생성형 AI이다.달리같은 친구들..!!!작년에 기계학습알고리즘수업에서 마지막에 배운 노이즈 추가하고,,, 반대로 가고 어쩌고 했던... 공부하기를 포기했던 그 파트인것같다!이번에는 포기하지 말아야지! 여기는 수식이 많이나오고, 수식이 정확이 어떻게 유도되는지까지 알아야 하는것같다...힘들겠지만 해보자고,,,,,,!! 기억해야 할 앞에서 배웠지만 내가 까먹은것- 정규분포-> exp안에 어떻게 생겼는지를 잘 외울것! (log했을 때 살아남는곳)- 베이즈 정리P(H|E) : posteriorP(H) : priorP(E|H) : likelihoodP(E) : 필요없음 (상수래)=> 식 정리할때 겁나많이쓴다!- KL divergence  -> 두 확..

학교/딥러닝 2024. 6. 13. 22:24

그냥 라벨이 아예 없는 데이터들로 학습을 진행하는것이다!=> 즉 input data 자체로 학습을 진행하는 것이다.아무래도 세상에는 라벨이 없는 데이터가 더 많으니,, 뭔가 잘만한다면 훨씬 좋은방법일것같긴하다!imputation taskproxy taskcontrasitive task[Imputation Task]데이터를 두 part로 나눠서, 한 part를 hidden으로 처리한다 (모델한테 주어지지 않은것처럼 취급)-> 이렇게 가려진 부분을 예측하도록 학습을 해준다x = (Xh, Xv) = (hidden, visible) => hidden부분을 예측하도록 학습! (Xh를 0으로 만든다)이런식으로 input 이미지에 구멍을 뚫어서 예측하게 하거나조각 조각 patch로 나눠서, 일정비율을 mask한 다음..

학교/딥러닝 2024. 6. 13. 17:54

지금까지의 내용은 정답라벨이 있는 supervised learning에 대한 내용이었다.하지만 현실세계에는 정답라벨이 없는 데이터가 훨!!씬!! 많다. 라벨이 있는 데이터는 극소수의 데이터이다-> 적은 양의 데이터를 가지고 어떻게 overfittint에 안빠지고 잘 학습시킬 수 있을까? 에 대한 내용이다.-> 잘 모르겠고, 수업듣도고 잘 모르겠고    수업도 대충 어떤방법을 사용했는지만 기억하는 방식으로 진행되었다!    목표는 기술이름이랑 방법 잘 매치시키는것![data augmentation]데이터를 여러개 만드는거다! (일부를 자르거나, 확대하거나, 노이즈를 추가하거나 등등,,)[Transfer Learning]=> 내가 목적으로 하는 task에 대한 데이터들이 적으면, 비슷한 task를 수행하는 ..

학교/딥러닝 2024. 6. 13. 16:02

앞에서는 inductive bias를 많이줘서 모델의 성능을 높이려고 했었다.근데 이러니까 오히려 학습이 잘 안되는 상황이 생겼다!예상으로는 학습데이터가 아주 적을때는 이런 inductive bias주는게 오히려 도움이 되는데, 학습데이터가 아주 많아진 상황에서는 너무 쓸데없는 편견만 모델한테 넣어주는 효과를 내는것같다! 아무튼 inductive bias를 줄인 language model이 trnasofrmer이다!-> self attention이라는 방법을 사용했고, attention is all you need라는 논문에서 처음 소개되었다. 한번쯤 읽어보면 도움이 된다! RP에서 이논문을 했는데... 사실 나도 다 이해한건 아니고 넘 아무말쓴것같긴하다. 영어란점이 넘 진입장벽이 높다,," data-k..

학교/딥러닝 2024. 6. 13. 14:12

문장은 어떻게 처리해야할까? -> 여러 토큰이 연결된 모양인 sequence로 해석하면?? => RNN!Word Embedding (BOW, TF-IDF, Word2Vec)Markov chainteacher forcingBPTTGRULSTM문장을 처리하고 싶으면, 우선 '단어'를 어떻게 벡터로 표현할것인가부터 정해야 한다. => word embedding 문장은 길이가 다양하다는 단점이 있었다 (특정 크기의 matrix에 끼워넣기가 힘듦) -> TF-IDF 로 해결 (n개의 document, v개의 vocab, 을 묶어서 v*n 행렬로 묶은것!)뿐만 아니라 단어를 oine-hot encoding으로 처리하면, 모든 단어들의 거리가 같다는 문제가 있음 (단어간의 유사도파악이 힘들다) -> Word embe..

학교/딥러닝 2024. 6. 13. 14:05

input이 image라고 한정했을 때어떤 방법이 더 처리가 잘 될까?? => Convolution!이미지는 (높이, 너비, 채널) 이라는 3차원형태로 표현된다.(높이, 너비) 형태의  2차원 이미지가 배열이다. (흑백이라고 따지만 0~255값 사이로 표현가능함)이걸 (채널) 이라는 RGB를 표현하는 차원을 추가해서, 합쳐주면 아래 사진같은 느낌으로 이미지를 표현하게 된다.이런 이미지를, 기존에 배우던 1차원 벡터가 input으로 들어가는 DNN에 넣게되면 어떻게 처리해야 할까?-> 이미지를 1차원 벡터로 늘려준 다음 처리를 해줘야 한다. 이미지는 특정 픽셀의 상하좌우 주변픽셀또한 관련있는 정보들인데, 위처럼 늘려서 처리하게 되면 이러만 부분들을 놓치게된다. 그래서 그냥 냅다 DNN에 넣는게 아니라, c..

학교/딥러닝 2024. 6. 11. 21:43

기말고사 대비,, 시작,,아무튼 딥러닝에서 하려는것 -> Maximum A Posteriori == log(p(H|E)) 를 maximize하는것 이 때 posterior = likelihood + Prior == log(p(H|E)) = log(P(E|H)) + log(p(H)) 로 쪼개볼 수 있다. posterior = likelihood + priorgoal = optimization + generalizationloss = empirical risk + regularizer 즉방향1 : maximum likelihood -> optimization, empirical risk방향2 : prior를 잘 주는것 -> generalization, regularizaer두가지로 쪼개볼 수 있다.  [방향..

학교/딥러닝 2024. 6. 11. 21:06

뭐지?? 엄청 쉽게풀었다근데 효율이 좋진 않아서 다른사람이 올린 코드를 참고해서 속도를 조금 더 늘려봤다.https://leetcode.com/problems/count-sorted-vowel-strings/문제는 간단했다.. 순서대로 조합하는것 -> 순열!! 처음에는 식 하나로 해결하려고 했는데 그건 안될거같고 나는 재귀를 사용했다. 이전에 순열문제 풀었던거랑 비슷하게!class Solution {public: int check(int prefix, int n){ if(n == 1){ return prefix; } int result = 0; for(int i = prefix; i > 0; i--){ ..

코테준비/하루한개도전~ 2024. 6. 7. 18:52