회귀(Refression) 선형회귀 Linear Regression 개념 및 예제 학습 - [머신러닝] 선형회귀 머신러닝을 공부하며 선형회귀를 다들 귀에익을 정도로 들었을 것이다. 그래서 선형회귀가 뭔데? 선형회귀 어려운말로 회귀는 변수들 간의 함수관계를 분석 yoon1seok.tistory.com 지도 학습을 이해하기 Supervised 와 Unsupervised를 이해하기 회귀의 다양한 방식 알아보기 변수의 개수 Cost 함수 경사하강법 Regression 의 응용 Lasso Regression Ridge Regression Elastic Net Regression 지도학습 이해하기지도학습 특정 input 값에 정답(label)이 있는 데이터가 주어진다. Regression : 어떤 input 값을 ..
사이킷 런 학습 Cross Validation 이해 K-fold Stratified-fold 모델에서 Dateset을 나누는 이유 Cross Validation의 이해 Dataset?* Machine Learning 모델을 만들기 위해 필요한 데이터 모임 * Machine Learning을 통해 해석이 필요한 데이터 모임 Vision에서 MINST, CIFAR-10, ImageNet 데이터 셋을 자주사용 Dateset나누기 Train model 모델의 Hyper-Parameter을 올바르게 정해주어야 한다 lr, batch size 등등 Bias : 모델의 Training data에 대한 예측값과 실제값의 오차 Variance : 모델의 test data에 대한 예측값과 실제값의 오차 High Bias ..
탐색적 데이터 분석(EDA) 목차 머신러닝 프로젝트 진행과정 데이터 수집 전처리 탐색적 데이터 분석 모델 선택 평가 및 적용 탐색적 데이터 분석(EDA) 통계치 분석 및 시각화 상관관계 분석 머신러닝 프로젝트 진행과정(Work Flow) 데이터 수집(Data collection) 데이터 프로젝트를 하기 위해선 데이터가 필요하다. 웹 크롤링 과같은 방법(웹에서 데이터를 수집) 이미 쌓여 있는 DB 나 DataFile에서 데이터를 불러서 사용 데이터 전처리(Data Preprocessing) 수집한 데이터에는 중복된 값 이나, 이상한 값이 들어가있는 경우가 있다 이런 데이터를 머신러닝 입력에 적합한 형태러 변환하는 단계가 전처리 새로운 속성도 만들 기 위해Ex) 집의 가격 예측 가로 세로 데이터로 면적을 구..
파이썬 데이터 다루기 함수 정리 Numpy Matplotlib Pandas Seaborn Numpy 수학식을 다루기 위한 기본식 np.zeros(), np.ones(), np.arange() Array연산은 기본적으로 동일한 matrix끼리 연산이 진행된다. 연산의 크기가 달라도 Broadcast란 기능으로 크기가 다른 array도 연산이 가능하다 Array인덱싱이 좀 많이 쓰일것 같다. 1차원은 간단하기 때문에 2차원일때 다루기로 하겠다. x행의 모든 요소를꺼낼땐 data[ x - 1 , : ] y열의 모든 요소를꺼낼땐 data[ : , y - 1 ] 통계함수 행렬연산들 다루기 import numpy as np import random as rm data1 = np.array([1,2,3,4,5]) d..
외부 기억장치 3. Solid state Drive(SSD) 데이터를 저장하기 위한 기억장치로 반도체 메모리를 이용하는 저장장치 플래시 메모리 사용 R/W, Head, 구동장치가 없음. 3.1 SSD의 현실 장치를 사용할 수록 SSD성능의 저하 플레시 메모리는 소모성 시간이 지날수록 가상기억장치 동작으로 인해 조각화 발생 쓰기의 한계가 존재 쓰면 쓸수록 산화막에 손상이 발생, 저장된 전자의 양을 판단하기 힘들 수 있음. 4. 광 기억장치 광학 디스크 투과면 - 레이저 광선을 쏘아 투명기판 통과 기록면 - 반사하는 빛의 반사량 차이로 1과0 구분 광학 디스크의 회전 방식 등선속도 - 드라이브의 속도가 달라짐(어느때는 빠르고 어느때는 느림), 안쪽과 바깥쪽을 읽을때 모터가 회전하는 속도가 달라짐 등각속도 -..
외부 기억장치 1. 자기 디스크 디스크 - 자성물질로 코팅된 원형 판 자기적 읽기 및 쓰기 메커니즘 쓰기 메커니즘 - 코일에 전기가 흐르면 자장발생을 이용 읽기 메커니즘 - 자장내에 코일이 이동며 코일에 전류발생을 이용 1.1 데이터 조직과 형식화 트랙 - 디스크의 데이터 기록되는 곳 섹터 - 디스크로 들어오거나 나가는 데이터의 전송단위, 트랙은 섹터라는 단위들로 나누어져 있음. 갭 - 인접한 트랙 분리 1.2 디스크 배치 방식 등각 속도 바깥쪽으로 갈수록 저장된 정보들의 비트들 간격을 증가 디스크 안쪽 저장용량이 바깥쪽 보다 작은데 바깥쪽도 안쪽에 맞춰 안쪽을 최대로 용량을 정함 다중 영역 기록 트랙마다 같은 비트 밀도를 갖는다. 동작 회로가 복잡해지나 저장 용량을 늘릴 수 있음. 2. RAID(Red..
