AI 전문가가 되고싶은 사람

https://www.youtube.com/watch?v=nvJz9maIIRE&t=121s훈민정음 문장을 학습시켜 한 구절을 입력했을 때 이후 구절을 출력하도록 LSTM 모델을 실습해 보았다. 이전에 다뤘던 RNN에 비해 구조가 더 복잡하여 이해하는 데 시간이 더 걸렸지만, 정확히 기록해 두어 잊지 않도록 해야겠다.  LSTM 구현 순서1. 데이터 전처리2. 활성화 함수 구현3. LSTM 클래스 정의 ( 초기화, 상태 초기화, 순전파, 역전파, 학습, 테스트 )4. 학습 및 평가데이터 전처리이전 글인 RNN과 같이 사용 문장은 다음과 같다.사용 문장나라의 말이 중국과 달라 문자와 서로 통하지 아니하니, 이런 까닭으로 어리석은 백성이 이르고자 할 바가 있어도 마침내 제 뜻을 능히 펴지 못할 사람이 많다. ..

Pretraining과 Fine-Tuning의 이해Transformer 기반 모델이 어떻게 Pretraining과 Fine-Tuning을 활용하는지 이해합니다.BERT (Bidirectional Encoder Representations from Transformers)논문: BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingMasked Language Model(MLM)과 Next Sentence Prediction(NSP) 방식 학습Bidirectional 학습 방식의 강점과 활용 사례 이해GPT (Generative Pre-trained Transformer)논문: Improving Language Unde..

Transformer의 마지막 공부는 논문을 리뷰하는 것이라고 해서 논문 리뷰하며 공부해보겠습니다. 논문 링크 : https://arxiv.org/pdf/1706.03762작동 과정에 대한 상세 설명 : https://seungwoo0407.tistory.com/68 Transformerhttps://www.youtube.com/watch?v=p216tTVxues  Transformer란?2017년 구글 브레인 팀이 발표한 논문으로, 단순히 딥러닝 기술을 넘어 인공지능의 발전에 있어 중요한 이정표로 자리 잡았다. Transformer는 NLP는 물seungwoo0407.tistory.comhttps://www.youtube.com/watch?v=p216tTVxues&t=1163s서론 1. 배경 및 기존 ..

https://www.youtube.com/watch?v=cdGBloT9vDk훈민정음 문장을 학습시키고 한 구절을 입력했을 때, 이후의 출력을 뽑아내는 바닐라 RNN을 실습해보았다.RNN 구현 순서1. 데이터 전처리2. 가중치 초기화3. 순전파4. 역전파5. 예측6. 학습 루프데이터 전처리 사용 문장나라의 말이 중국과 달라 문자와 서로 통하지 아니하니, 이런 까닭으로 어리석은 백성이 이르고자 할 바가 있어도 마침내 제 뜻을 능히 펴지 못할 사람이 많다. 내가 이를 위하여 가엾이 여겨 새로 스물여덟 자를 만드노니 사람마다 하여금 쉬이 익혀 날마다 쓰는 데 편하게 하고자 할 따름이다.def data_preprocessing(data): data = re.sub('[^가-힣]', ' ', data) #..

https://www.youtube.com/watch?v=p216tTVxues  Transformer란?2017년 구글 브레인 팀이 발표한 논문으로, 단순히 딥러닝 기술을 넘어 인공지능의 발전에 있어 중요한 이정표로 자리 잡았다. Transformer는 NLP는 물론, 컴퓨터 비전, 음성 인식, 다중 모달 학습, 강화 학습 등 딥러닝의 다양한 영역에 걸쳐 영향을 미쳤다. 그렇기에, 딥러닝 공부를 하는데 필수적인 모델이라고 할 수 있다. Transformer 아키텍처Transformer 모델은 크게 Encoder와 Decoder로 나뉘며, 각 부분은 여러 층의 블록으로 구성되어 있다. 각 블록들은 다음과 같은 핵심 컴포넌트를 포함한다.1. 입력 임베딩2. 위치 인코딩(Position Encoding)3. ..