올빼미 개발자

..... ai -> ml -> ann(인공신경망) -> dl(딥러닝) 자연어 처리의 역사 2017 - google에서 개발한 transformer 이전과 이후로 나뉨 성능자체는 획기적이지 않았지만 순환 또는 합성곱 레이어 기반 아키텍처 보다 훨씬 더 빠르게 트레이닝 할 수 있음 기존 언어 모델들은 병렬처리로 하기가 힘들엇지만 transformer는 병렬처리가 가능하기 때문에 시간을 크게 줄일 수 있음. GPT : 학습을 시킬땐 전체를 학습을 시키지만 인코더를 사용하지않고 디코더만 사용함. 인코더 : 고양이 사진 -> 식별 AI -> 고양이 디코더 : 고양이 -> 식별 AI -> 고양이 사진 = 생성형 ai를 가능하게함 BERT : 디코더를 사용하지 않고 인코더만 사용한 모델 (성공하진 못함) 모델이 클..

...숫자인식을 할때 랜덤한 결과값보다 연속적인 결과값으로 학습시켰을때 더 학습이 잘될까? 더 잘안될까? 중간층을 내맘대로 늘려도 괜찮다. 시간이 오래걸린다. 학습이 더 잘될수도 있다. 이때 유닛수를 적절하게 선택하는것이 데이터과학자의 역량이다. 어제보다 학습이 확실히 잘됐다. 결과를 보고 epoch와 dense층의 갯수 각각의 노드수를 여러가지로 실행해보자 감을 잡아보자. 많은 dense층의 부작용 질문 이미 마지막 층이 학습을 다 완료해버리니까 앞에 사람들은 학습을 못해서 딥러닝으로 학습하지 못하게 했지만 relu 함수의 발견으로 시그모이드보다 온오프 해주기 때문에 또한 골고루 학습하고 싶어서 drop out을 통해 랜덤으로 학습시키면서 딥러닝이 지금은 많이 학습해도 괜찮다. epoch를 높은 값으로..

오늘 실습할 주제: – 다중 분류: MNIST 0-9까지 숫자 이미지 예측하기 – 회귀 문제: 자동차 연비 예측하기 – 이미지 인식: 강아지 고양이 이미지 예측하기 MNIST는 딥러닝계의 "Hello World" train 은 6만건, test는 1만건(성능평가) 트레인 데이터에서 만건정도 떼어서 검증데이터(val) 로 사용하고 싶다 (쪽지 시험) 중간중간에 한번씩 학습하지 않은 데이터를 주면서 잘 학습되고 있는지 확인한다. 보통 7:3으로 비율을 나눔 하지만 훈련데이터가 부족할 경우 사용하지 않아도 된다(필수는 아님) 이유는 검증데이터는 학습시키는 데이터가 아니기때문에 데이터셋이 충분히 확보 되있을때만 사용한다. x_train, x_val, y_train, y_val = train_test_split(..