..... ai -> ml -> ann(인공신경망) -> dl(딥러닝) 자연어 처리의 역사 2017 - google에서 개발한 transformer 이전과 이후로 나뉨 성능자체는 획기적이지 않았지만 순환 또는 합성곱 레이어 기반 아키텍처 보다 훨씬 더 빠르게 트레이닝 할 수 있음 기존 언어 모델들은 병렬처리로 하기가 힘들엇지만 transformer는 병렬처리가 가능하기 때문에 시간을 크게 줄일 수 있음. GPT : 학습을 시킬땐 전체를 학습을 시키지만 인코더를 사용하지않고 디코더만 사용함. 인코더 : 고양이 사진 -> 식별 AI -> 고양이 디코더 : 고양이 -> 식별 AI -> 고양이 사진 = 생성형 ai를 가능하게함 BERT : 디코더를 사용하지 않고 인코더만 사용한 모델 (성공하진 못함) 모델이 클..