합성곱 신경망(CNN)과 데이터 변형 합성곱(COnvolution) 합성곱의 의미, 배경지식 파악 Pooling Convolution Convolution을 사용하면 3차원 데이터의 공간적 정보를 유지한채 다음 레이어로 보낼 수 있음. 이미지와 컨볼루션 필터를 곱해서 새로운 이미지를 얻는 과정 필터는 가중치의 역할을 함 특징을 뽑아서, 분류를 진행 합성곱 특정(높이, 너비)를 갖은 필터(Filter, Kernel)를 일정간격(Stride)로 이동해가며 입력 데이터에 적용 합성곱 필터의 효과 합성곱 + 편향 필터를 적용한 후, 모든 원소에 편향을 더함(BroadCast) Padding 합성곱 수행전 입력과 출력의 데이터의 크기를 맞추기 위해서 사용 Stride 필터를 적용하는 위치 간격 1이면 1칸씩 이동..
데이터 변형(Agumentation) 데이터 변형 데이터 변형 종류 Keras이용 Argumentation opencv이용 Argumentation 과적합(Overfitting) 방지(Drop out, 정규화) 과적합(overfittion) 드랍아웃(Dorp out) 정규화(Regularzation) L1, L2 정규화 데이터 변형 개념 과 종류 Data Argumentation 데이터를 늘려서 네트워크의 성능을 높이기 위해서 사용하는 방법 ※ 데이터 적을때 사용하면 효과적 이미지를 여러 방법을 통해 변형 후 네트워크 입력 이미지로 사용하는 방식 일종의 정규화(Regulazation) 작업으로 과적합을 막는 효과도 있음 종류 평행이동(Translation) 이미지의 픽셀을 상하좌우로 이동 컴퓨터는 이미지..
심층 신경망 과 최적화 딥러닝 학습의 문제점화 해결방법 기울기 소실(Gradient Vanishing) 가중치 초기화 최적화 알고 기울기 소실(Gradient Vanishing) 더 깊은 Layer 에서는 더 학습이 잘되는거 아닌가? 하지만 기울기 소실이 발생한다. 기울기 소실이란? : Out에 나오는 값과 멀이질 수록 학습이 모호하게 진행됨 Sigmoid함수 에서의 1보다 작으면 0에 가까워진다는 이유로 계속 0에 가까워져 기울기가 모호해짐(역전파시 0에 수렴하는게 많음) Sigmoid 도함수의 최대값은 0.25 ReLU 도함수 값이 0이나 1이기 때문에 컴퓨터 측면에서 경제적 학습도 빠름 Leaky ReLU 0보다 작은 경우 ReLU에서 신경이 죽어버리는 현상 극복 Tanh 함수값의 범위가(-1,1)..
ANN 과 손실함수, 역전파법 인공신경망과 손실함수 인공신경먕(ANN) 손실함수(Loss Function) 학습 알고리즘 GD, SGD , Momentum, AdaGrad,RMSProp, Adam 역전파법(Back propagation) 역전파법 역전파법 구현 인공신경망(ANN) 인공신경망이란? 뇌의 학습방법을 수학적으로 모델링한 기계학습 알고리즘 즉, 사람의 뇌를 모델링하여 기계에 적용한 것. Dendrite : 기계학습 에서는 벡터의 형태로 입력된 데이터 Soma : dendrite를 통해 전달받은 입력을 합산하는 기능 Axon : soma에서 계산된 값을 출력한다. 𝑓(∑𝑖𝑤𝑖𝑥𝑖+𝑏)f(∑iwixi+b) X : 입력 w : 가중치 b : 편향 f : 활성화 함수 u : 선형결합 z : 출력 손실함..
텐서플로우 소개 사용법 1. 딥러닝 프레임워크 1. 텐서플로우의 특징 텐서플로우의 특징 텐서플로우는 풍부한 코드 수정없이 CPU, GPU모드로 동작 가능하다. 많은 데이터 처리가 가능하다 (이미지, 비디오, 음성) // 텐선플로우도 좋아보이지만 파이토치도 좋아보인다.(언젠간 파이토치 써보자.) Eager Execution Eager Execution은 데이터를 직접 포인팅함. tf.session을 할 필요가 없음 Nmumpy와 호환성을 크게 높여 계산 그래프의 생성과 실행단계가 구분되지 않음 https://tensorflow.blog/2017/11/01/tensorflow-eager-execution/ Sequantial 모델 from __future__ import absolute_import, div..
목차 신경망 기초 퍼셉트론 다층 퍼셉스론(Multi Layer Perceptron) 학습 방법의 종류 신경망 기초 Activation Functions cell Body∑𝑖𝑛𝑊𝑖𝑥𝑖+𝑏∑inWixi+b 신경망의 원리 예 : 위의 cell Body 이 어떤 값을 넘으면 1, 넘지 않으면 0 으로 output 아래의 DataFrame의 구체적인 예시 y = 1X(-5) + 1X6 = 1 bias 난 태생적으로 비가 싫어 가중치 = -2 y = 1 - 2 y값이 -1 이므로 0보다 작으므로 ,외출 안함 Gate뉴런들 And, or, Nand 는 생략 XOR Gate XOR 게이트는 단층 퍼셉트론으로는 만들수 없다. OR 과 NAND를 이용 AND(OR(x1,x2), NAND(x1,x2)) import pand..
