ABC 부트캠프 day5 : 초거대언어모델 & 생성형 AI 핸즈온

.....

ai -> ml -> ann(인공신경망) -> dl(딥러닝)

 

자연어 처리의 역사

2017 - google에서 개발한 transformer 이전과 이후로 나뉨

 

성능자체는 획기적이지 않았지만 순환 또는 합성곱 레이어 기반 아키텍처 보다 훨씬 더 빠르게 트레이닝 할 수 있음

 

기존 언어 모델들은 병렬처리로 하기가 힘들엇지만 transformer는 병렬처리가 가능하기 때문에 시간을 크게 줄일 수 있음.

 

GPT : 학습을 시킬땐 전체를 학습을 시키지만 인코더를 사용하지않고 디코더만 사용함.

 

인코더 : 고양이 사진 -> 식별 AI -> 고양이

 

디코더 : 고양이 -> 식별 AI -> 고양이 사진  = 생성형 ai를 가능하게함

 

BERT : 디코더를 사용하지 않고 인코더만 사용한 모델 (성공하진 못함)

 

모델이 클수록 성능이 향상된다. = GPT -> GPT2 

 

학습 시간도 모델이 클수록 더 빠르다(?) ->  다른 기법을 사용하면 가능

 

! 모델 크기가 크면 데이터를 보다 효율적으로 사용함

 

Zero-shot  : 한번도 알려주지 않은 정보를 물어보는것 , 

One-shot learning : 한번 알려주고 물어보는것.

few-shot learning: 여러번 알려주고 물어보는 것.

 

웹서비스를 일반 사용자한테 전달하려면 사용하기 쉽게 만들어야한다.

프로젝트를 할 때도 잘 생각해보자 !

 

chat gpt는 사용자가 입력한 정보도 학습하기 때문에 조심해서 써야한다.

 

 

 

 

새로운 모델과 향상된 모델은 결국에는 나온다.

 

내가 UX UI를 준비된다면 그 모델이 나왔을때 서비스를 바로 만들 수 있다.

 

굳이 언어를 배우는 노력이 없어질 수도 있다. 

 

너무나 쉽게 만들 수 있는 툴이 많다. 이걸 가지고 새로운걸 많이 만들어보자

 

웹어셈블리 데스크탑에서 실행할 수 있는 앱을 웹에서도 띄울수 있다.

 

llm은 이전의 정보를 배우기 때문에 주어지지 않은 현재의 정보를 질문했을 땐 대답해줄 수 없다.

 

rag vs finetuning

 

rag 방식은 거짓말을 하기 힘든 정보의 경우에 많이 사용한다.

 

나를 알리는 홈페이지를 만들고 llm모델을 통해서 나를 알리는 챗봇을 만드는 것

 

자기소개를 만들어주는 홈페이지 QNA를 통해서

 

기업이 인건비를 줄이기 위해 ai를 많이 활용할 수 있다.

 

그렇다고 인공지능을 뛰어넘는 사람이 되지말고

 

인공지능을 활용하여 더 많은것을 할 수 있는 사람이 되자.

 

멀티모달 : 사람이 오감이 있는것처럼 기계도 점점 감각을 키우고있다.

 

 

fine tune 이란 내가 할일을 다른 조원한테 지시하는것 

 

https://huggingface

Hugging Face – The AI community building the future.

 

만든 모델을 저장하거나 불러오기위해 사용할 수 있는 웹사이트이다. 코드를 저장할 수 있는 github가 있듯이 ai 커뮤니티 공간이다. fine tune 모델도 여기서 저장하고 불러온다.

 

인스트럭션 아웃풋 문장을 어떻게 줄것인지를 고민하는것이 중요하다.

 

챗봇을 만드는 목적이 있을텐데 그 목적에 맞게 어떻게 잘 맞춰서 학습을 해야할지 고민해보자.

 

정보를 주고 새로운 결과를 얻고 싶을때 유용

 

파라미터를 혁신적으로 줄일 수 있는 기술

 

멀티 모달

 

Large Language and Vision Assistant

 

 

 

 

 

단어 임베딩이란 

 

우리가 사용하는 단어는 무한대에 가깝지만 한정된 공간에서 단어를 표현해야 되므로 규칙이 있어야 됨. 

 

( 밥을 먹었다 -> 먹었다랑 음식이 연관됨)

 

유사한 단어는 유사한 표현을 갖게 되도록 단어의 표현을 인코딩하는 벡터 라는 뜻이다.

 

Transformer 아키텍처의 중요한 기능은

 

RNN은 NMT와 같은 직업에서

 

트레이닝 후 최적화 기술은 정량화이다.