차곡차곡

1. 변이형 오토인코더 variational autoencoder 2014 다이데릭 킹마, 맥스 웰링 소개 가장 인기 있는 오토인코더 but GAN이 훨씬 실제같이 또렷한 이미지를 만들 수 있어서 더 인기있음 2. 변이형 오토인코더 2가지 속성 1. 확률적 오토인코더(probabilistic) : 훈련이 끝난 후에도 출력이 부분적으로 무작위성 사용! 잡음 제거 오토인코더는 훈련 시에만 무작위성 사용! 2. 생성 오토인코더(generative) : 중요! : 마치 훈련 세트에서 샘플링된 것 같은 새로운 샘플 생성 가능 이는 변이형 오토인코더를 RBM과 유사하게 만듦 RBM(제한된 볼츠만 머신, restricted Boltzmann machine) : 새로운 샘플을 만들기 전에 네트워크가 '열평형' 상태로 ..

이미지를 다루는 경우 이미지가 매우 작지 않으면 오토인코더 좋은 성능 x 이미지를 다룰 때는 합성곱 신경망이 밀집 네트워크보다 잘 맞음! -> 비지도 사전훈련, 차원 축소 위해 이미지에 대한 오토인코더 만드려면 합성곱 오토인코더!! 인코더 : 합성곱 층 + 풀링 층으로 구성된 일반적인 CNN : 전형적으로 입력에서 공간 방향의 차원(높이, 너비) 줄이고 : 깊이(특성 맵의 개수)를 늘림 but 디코더는 거꾸로 동작 즉, 이미지 스케일 늘리고 깊이를 원본 차원으로 되돌림

오토인코더 : 지도 없이 잠재 표현 또는 코딩이라 부르는 입력 데이터의 밀집 표현을 학습할 수 있는 인공 신경망 낮은 차원으로 차원 축소, 시각화에 유용하게 사용 강력한 특성 추출처럼 작동 일부는 훈련 데이터와 매우 비슷한 새로운 데이터 생성 가능 이를 생성 모델! 생성적 적대 신경망 GAN 오토인코더 VS GAN 공통점 : 비지도 학습, 밀집 표현 학습하고 생성 모델로 사용함 오토인코더 - 단순 입출력으로 복사하는 법 배움 - 간단해보이지만 네트워크 제약으로 이 작업을 어렵게 만듦 - EX) 잠재 표현의 크기 제한 or 입력에 잡음 추가, 입력에 잡음 추가하고 원본 입력을 복원하도록 네트워크 훈련 - 즉, 코딩은 일정 제약 조건하에서 항등함수 identity function을 학습하려는 오토인코더의 노..

실제로 어떻게 작동하는지 모름 이를 알면 적절한 모델, 올바른 훈련 알고리즘, 작업에 맞는 좋은 하이퍼파라미터를 빠르게 찾을 수 있음 작동 원리를 이해하면 디버깅, 에러를 효율적으로 분석하는 데 도움이 됨 가장 간단한 모델인 선형 회귀 훈련 시키는 방법 way1 : 직접 계산할 수 있는 공식을 사용해 훈련 세트에 가장 잘 맞는 모델 파라미터 해석적으로 구함 way2 : 경사 하강법이라 불리는 반복적인 최적화 방식 사용해 모델 파라미터를 조금씩 바꾸면서 비용함수를 훈련 세트에 대해 최소화함 결국 동일한 파라미터로 수렴 ex) 배치 경사 하강법, 미니배치 경사 하강법, 확률적 경사 하강법(SGD; stochastic) 그 다음 다항회귀, 학습 곡선, 과대적합 감소시키는 규제 기법 알아보기 4.1 선형 회귀 ..

RNN(Reccurrent neural networks) 미래를 예측하는 것 time seires데이터 분석 -> 주식가격을 예측해 언제 사고 팔지? 자율주행 시스템에서 차의 이동경로 예측 -> 사고 피하기 고정 길이 입력 x, 임의 길이 가진 sequence 다룸 ex) 문장, 문서, 오디오 샘플, 자동번역, speech to text 같은 NLP(natural language processing)에 유용 1. RNN 기본적 개념 -> 역전파해 네트워크 훈련하는 방법 -> 시계열 예측 수행 주요난제 - 불안정한 그레디언트는 순환 드롭아웃, 순환층 정규화로 해결 - 제한적인 단기기억은 LSTM, GRU 셀을 확장 가능 작은 시퀀스는 밀집 네트워크 처리 가능 긴 시퀸스(오디오 샘플 OR 텍스트)도 CNN ..

TLU : threshold logic unit LTU : linear threshold unit 입력 출력이 어떤 숫자 각각의 입력 연결은 가중치와 연결 TLU는 입력의 가중치 합을 계산 -> step function 적용해 결과 출력

14.4.1 LeNet -5 가장 널리 알려진 CNN 구조 in 1998 made by 얀 르쿤 MNIST인식에 사용 28 x 28 이지만 제로 패딩되어 32 x 32되고 네트워크 주입 전 정규화 나머지는 패딩 x average fooling layer : 평균 계산 -> 학습되는 계숫값 곱 -> 편향값 더하기 -> 활성화함수 적용 C3 : S2의 3개 또는 4개 맵에 있는 뉴런에만 연결 출력층 : 뉴런에서 입력 벡터와 가중치 벡터 사이의 유클리드 거리 출력, 출력은 이미지가 얼마나 특정 숫자 클래스에 속하는지 측정 (최근에는 예측 줄이고 gradient값 크고 빠르게 수렵되는 cross entropy cost function 선호) 14.4.2 AlexNet in 2012 이미지넷 대회에서 큰 차이로 ..

신경망 하이퍼파라미터 튜닝하기 GridSearchCV, RandomizeSearchCV 를 사용 하이퍼파라미터 최적화에 사용할 수 있는 파이썬 라이브러리 Hyperopt 학습률과 같은 실수와 층의 개수 같은 이산적인 값을 포함 모든 종류의 복잡한 탐색 공간을 최적화 Hyperas, kopt, Talos 케라스 모델을 위한 하이퍼파라미터 최적화 라이브러리 Keras Tuner 사용하기 쉬움 구글 제작 시간화와 분석을 포함한 클라우드 서비스로도 제공 예정 Scikit-Optimize 범용 최적화 라이브러리 BayesSearchCV는 GridSearachCV와 비슷한 인터페이스 Spearmint 베이즈 최적화 Hyperband 리샤 리의 최근 논문을 기반으로 구축된 빠른 하이퍼파라미터 튜닝 라이브러리 Skle..