차곡차곡

1. 변이형 오토인코더 variational autoencoder 2014 다이데릭 킹마, 맥스 웰링 소개 가장 인기 있는 오토인코더 but GAN이 훨씬 실제같이 또렷한 이미지를 만들 수 있어서 더 인기있음 2. 변이형 오토인코더 2가지 속성 1. 확률적 오토인코더(probabilistic) : 훈련이 끝난 후에도 출력이 부분적으로 무작위성 사용! 잡음 제거 오토인코더는 훈련 시에만 무작위성 사용! 2. 생성 오토인코더(generative) : 중요! : 마치 훈련 세트에서 샘플링된 것 같은 새로운 샘플 생성 가능 이는 변이형 오토인코더를 RBM과 유사하게 만듦 RBM(제한된 볼츠만 머신, restricted Boltzmann machine) : 새로운 샘플을 만들기 전에 네트워크가 '열평형' 상태로 ..

이미지를 다루는 경우 이미지가 매우 작지 않으면 오토인코더 좋은 성능 x 이미지를 다룰 때는 합성곱 신경망이 밀집 네트워크보다 잘 맞음! -> 비지도 사전훈련, 차원 축소 위해 이미지에 대한 오토인코더 만드려면 합성곱 오토인코더!! 인코더 : 합성곱 층 + 풀링 층으로 구성된 일반적인 CNN : 전형적으로 입력에서 공간 방향의 차원(높이, 너비) 줄이고 : 깊이(특성 맵의 개수)를 늘림 but 디코더는 거꾸로 동작 즉, 이미지 스케일 늘리고 깊이를 원본 차원으로 되돌림

오토인코더 : 지도 없이 잠재 표현 또는 코딩이라 부르는 입력 데이터의 밀집 표현을 학습할 수 있는 인공 신경망 낮은 차원으로 차원 축소, 시각화에 유용하게 사용 강력한 특성 추출처럼 작동 일부는 훈련 데이터와 매우 비슷한 새로운 데이터 생성 가능 이를 생성 모델! 생성적 적대 신경망 GAN 오토인코더 VS GAN 공통점 : 비지도 학습, 밀집 표현 학습하고 생성 모델로 사용함 오토인코더 - 단순 입출력으로 복사하는 법 배움 - 간단해보이지만 네트워크 제약으로 이 작업을 어렵게 만듦 - EX) 잠재 표현의 크기 제한 or 입력에 잡음 추가, 입력에 잡음 추가하고 원본 입력을 복원하도록 네트워크 훈련 - 즉, 코딩은 일정 제약 조건하에서 항등함수 identity function을 학습하려는 오토인코더의 노..

모델 선택시 데이터셋에 대한 이해를 바탕으로 모델을 선택할 수 있습니다. 먼저 문제 정의에 따라서 가지치기를 할 수 있습니다. 말한 것 처럼 출력 대상이 범주형이면 분류, 연속형이면 회귀 알고리즘을 선택합니다. 예를 들어서, 생존했는지 생존하지 않았는지 예측하는 것이 해결하고자 하는 문제라면 분류 알고리즘을 사용해야 합니다. Logistic regression, Decision tree, random forest 등 을 사용할 수 있습니다. 이 때 생존과 생존하지 않음은 2가지로 이진 분류 문제이기 때문에 Logistic regression를 선택할 수 있습니다. 이런 과정을 통해 모델 선택을 할지라도 사실 모델 성능이 100% 좋다고 장담할 수 없습니다ㅜㅠ. 따라서 여러 알고리즘으로 모델을 학습한 후 ..

실제로 어떻게 작동하는지 모름 이를 알면 적절한 모델, 올바른 훈련 알고리즘, 작업에 맞는 좋은 하이퍼파라미터를 빠르게 찾을 수 있음 작동 원리를 이해하면 디버깅, 에러를 효율적으로 분석하는 데 도움이 됨 가장 간단한 모델인 선형 회귀 훈련 시키는 방법 way1 : 직접 계산할 수 있는 공식을 사용해 훈련 세트에 가장 잘 맞는 모델 파라미터 해석적으로 구함 way2 : 경사 하강법이라 불리는 반복적인 최적화 방식 사용해 모델 파라미터를 조금씩 바꾸면서 비용함수를 훈련 세트에 대해 최소화함 결국 동일한 파라미터로 수렴 ex) 배치 경사 하강법, 미니배치 경사 하강법, 확률적 경사 하강법(SGD; stochastic) 그 다음 다항회귀, 학습 곡선, 과대적합 감소시키는 규제 기법 알아보기 4.1 선형 회귀 ..

RNN(Reccurrent neural networks) 미래를 예측하는 것 time seires데이터 분석 -> 주식가격을 예측해 언제 사고 팔지? 자율주행 시스템에서 차의 이동경로 예측 -> 사고 피하기 고정 길이 입력 x, 임의 길이 가진 sequence 다룸 ex) 문장, 문서, 오디오 샘플, 자동번역, speech to text 같은 NLP(natural language processing)에 유용 1. RNN 기본적 개념 -> 역전파해 네트워크 훈련하는 방법 -> 시계열 예측 수행 주요난제 - 불안정한 그레디언트는 순환 드롭아웃, 순환층 정규화로 해결 - 제한적인 단기기억은 LSTM, GRU 셀을 확장 가능 작은 시퀀스는 밀집 네트워크 처리 가능 긴 시퀸스(오디오 샘플 OR 텍스트)도 CNN ..

TLU : threshold logic unit LTU : linear threshold unit 입력 출력이 어떤 숫자 각각의 입력 연결은 가중치와 연결 TLU는 입력의 가중치 합을 계산 -> step function 적용해 결과 출력

RNN 시간을 다루는 딥러닝 시점별로 들어오는 데이터를 활용해 일어날 일을 예측함 언어모델인 챗 지피티 언어! : 어떤 단어가 올지 예측하면서 말을 구성하는 것임 중고차량의 가격 예측 시계열 데이터 : 시간의 흐름에 따라 관찰된 값을 가지는 데이터 - 변화하는 추세 - 주기 - 계절성 - 불규칙성 시계열 - 연속형(Continuous) : 자료가 연속적으로 생성 - 이산형(;범주형, Discrete) : 이산적인 시점에서 자료가 생성 - !!언어!! Auto regression? 자기 자신을 사용하기 때문에 Auto 미래의 값이 과거의 값이 얼마만큼의 영향을 미치는지? AR, ARMA, ARIMA 모델 - 통계적 관점을 가지고 예측 - 한계 회귀분석은 4가지 가정을 만족시켜야 사용할 수 있음 - 선형성 ..

14.4.1 LeNet -5 가장 널리 알려진 CNN 구조 in 1998 made by 얀 르쿤 MNIST인식에 사용 28 x 28 이지만 제로 패딩되어 32 x 32되고 네트워크 주입 전 정규화 나머지는 패딩 x average fooling layer : 평균 계산 -> 학습되는 계숫값 곱 -> 편향값 더하기 -> 활성화함수 적용 C3 : S2의 3개 또는 4개 맵에 있는 뉴런에만 연결 출력층 : 뉴런에서 입력 벡터와 가중치 벡터 사이의 유클리드 거리 출력, 출력은 이미지가 얼마나 특정 숫자 클래스에 속하는지 측정 (최근에는 예측 줄이고 gradient값 크고 빠르게 수렵되는 cross entropy cost function 선호) 14.4.2 AlexNet in 2012 이미지넷 대회에서 큰 차이로 ..