심층 신경망 과 최적화 딥러닝 학습의 문제점화 해결방법 기울기 소실(Gradient Vanishing) 가중치 초기화 최적화 알고 기울기 소실(Gradient Vanishing) 더 깊은 Layer 에서는 더 학습이 잘되는거 아닌가? 하지만 기울기 소실이 발생한다. 기울기 소실이란? : Out에 나오는 값과 멀이질 수록 학습이 모호하게 진행됨 Sigmoid함수 에서의 1보다 작으면 0에 가까워진다는 이유로 계속 0에 가까워져 기울기가 모호해짐(역전파시 0에 수렴하는게 많음) Sigmoid 도함수의 최대값은 0.25 ReLU 도함수 값이 0이나 1이기 때문에 컴퓨터 측면에서 경제적 학습도 빠름 Leaky ReLU 0보다 작은 경우 ReLU에서 신경이 죽어버리는 현상 극복 Tanh 함수값의 범위가(-1,1)..
ANN 과 손실함수, 역전파법 인공신경망과 손실함수 인공신경먕(ANN) 손실함수(Loss Function) 학습 알고리즘 GD, SGD , Momentum, AdaGrad,RMSProp, Adam 역전파법(Back propagation) 역전파법 역전파법 구현 인공신경망(ANN) 인공신경망이란? 뇌의 학습방법을 수학적으로 모델링한 기계학습 알고리즘 즉, 사람의 뇌를 모델링하여 기계에 적용한 것. Dendrite : 기계학습 에서는 벡터의 형태로 입력된 데이터 Soma : dendrite를 통해 전달받은 입력을 합산하는 기능 Axon : soma에서 계산된 값을 출력한다. 𝑓(∑𝑖𝑤𝑖𝑥𝑖+𝑏)f(∑iwixi+b) X : 입력 w : 가중치 b : 편향 f : 활성화 함수 u : 선형결합 z : 출력 손실함..
텐서플로우 소개 사용법 1. 딥러닝 프레임워크 1. 텐서플로우의 특징 텐서플로우의 특징 텐서플로우는 풍부한 코드 수정없이 CPU, GPU모드로 동작 가능하다. 많은 데이터 처리가 가능하다 (이미지, 비디오, 음성) // 텐선플로우도 좋아보이지만 파이토치도 좋아보인다.(언젠간 파이토치 써보자.) Eager Execution Eager Execution은 데이터를 직접 포인팅함. tf.session을 할 필요가 없음 Nmumpy와 호환성을 크게 높여 계산 그래프의 생성과 실행단계가 구분되지 않음 https://tensorflow.blog/2017/11/01/tensorflow-eager-execution/ Sequantial 모델 from __future__ import absolute_import, div..
목차 신경망 기초 퍼셉트론 다층 퍼셉스론(Multi Layer Perceptron) 학습 방법의 종류 신경망 기초 Activation Functions cell Body∑𝑖𝑛𝑊𝑖𝑥𝑖+𝑏∑inWixi+b 신경망의 원리 예 : 위의 cell Body 이 어떤 값을 넘으면 1, 넘지 않으면 0 으로 output 아래의 DataFrame의 구체적인 예시 y = 1X(-5) + 1X6 = 1 bias 난 태생적으로 비가 싫어 가중치 = -2 y = 1 - 2 y값이 -1 이므로 0보다 작으므로 ,외출 안함 Gate뉴런들 And, or, Nand 는 생략 XOR Gate XOR 게이트는 단층 퍼셉트론으로는 만들수 없다. OR 과 NAND를 이용 AND(OR(x1,x2), NAND(x1,x2)) import pand..
의사결정트리, 앙상블 의사결정 트리를 이해하기 앙상블의 여러가지 방법을 이해하기 랜덤 포레스트에 대한 설명 의사결정트리 데이터를 분석해서 이들 사이에 존재하는 패턴을 예측 가능한 규칙들의 조합을 트리를 뒤집어 놓은 모양으로 나타낸 것 운동경기가 열렸다면 Play = 1, 그렇지 않으면 Play = 0 으로 분류 날씨가 맑고, 습도가 70이하 인날 경기가 열렸다. 비가 오고 바람이 부는 날에는 경기가 열리지 않았다. 특징 중간의 Terminal node 가 3개라는 것은 전체 데이터가 3개의 부분집합으로 나누어진 셈이다 분류 와 회귀 두가지 모두 가능하다 의사결정 트리 분류 root node 가 A -> B, C로 분할, B가 -> C, D로 분할 * 이점을 고려하여 C,D,E 3개로 분할이 되는 특성을 ..
Classification 분류 분류를 이해하기 Classification 특성과 알고리즘 분류의 다양한 방식을 알아보기 Logistic Regression SoftMax Naive Bayes SVM 분류이해하기 분류 : 카테고리에 분류하는 방식 // 선형회귀는 분류에 사용 될 수 없음 분류는 0 또는 1의 값만 가지기 때문에 그 범위 이상의 값을 가질 수 없음. ex) 종양 크기를 통해 암 유무를 확인할때 선형회귀를 사용한다 치면 종용의 크기 데이터 하나의 값이 지나치게 다를경우 중간에 분류할 값을 찾기 힘들어 분류에 오류가 생김 고로 다른 모델을 사용 해야함 https://wikidocs.net/4288 Logistic Regression 0~1 사이의 값만 보내는 함수가 필요 0
