OP.GG 롤 전적 데이터 크롤링 얻고자 하는 데이터 : 레드팀 챔피언(5가지), 블루팀 챔피언(5가지), 승패 op.gg 페이지 파악 먼저 어디를 어떻게 크롤링해야할지 설계 하였다. 진행하다 보니 꽤나, 복잡하게 진행하게 되었다. 개발자 도구(F12)를 열어 Network탭의 전송되는 데이터를 보려고 했는데 Json으로 주고받는게 아니라, HTML이 넘어왔다..... 수집해야할 데이터 op.gg 페이지를 분석한 결과, 다양한 요소들을 발견했다. summonerId - 해당 소환사의 ID값 Ex. Hide on Bush - 4460427 gameId - 게임마다 ID값 부여 URL - https://www.op.gg/summoner/matches/ajax/detail/gameId="게임ID값"&summo..
시그모이드 함수 미분 알아야할 수학 개념 미분 몫의 미분법 지수 미분 규칙 자연로그 e 도함수 공식 1) 몫의 미분법 ※ $ \frac{1}{1+e^{-x}} $ 를 미분하기 위해서 알아야할 개념 2) 도함수 공식 3) 지수 미분 규칙 4) 시그모이드 미분 정리 - 미분 결과 유도 가능 - $$ Sig(x) * (1 - Sig(x)) $$
로지스틱 회귀가 무엇인가? 로지스틱회귀는 분석하고자 하는 대상(특징)이 2개 or 그 이상의 집단으로 나누어져 있을 때, 개별 관측치(개별 특징)들이 어느 집단에 분류될 수 있는지에 대해 분석하고 예측하는 모델을 개발하는 통계적 기법이다. 대표적으로 예를들면 회사 직원들의(연봉, 야근횟수, 복지, 업무 적합도)등의 연속형 자료를 통해서, (퇴사한다, 안한다)를 분류하는 Yes/No의 비율을 다루는 분석방법이다. 로지스틱 회귀의 종류 1) 이항 로지스틱 회귀(Binary Logistic Regression) - Sigmoid함수들을 이용한 2가지 결과만으로 분류 2) 다항 로지스틱 회귀(Multinomial Logistic Regression) - Softmax(소프트맥스)함수를 이용한 2개 이상의 분류 ..
워드 임베딩 워드 임베딩이란? 텍스트 분석을 위해서 단어를 표현하는 데 사용되는 용어로, 일반적으로 벡터 공간에서 더 가까운 단어가 예상되도록 단어의 의미를 벡터 형식으로 표현하는 방법 ※ 크게 희소표현과 밀집표현의 형태로 나눌 수 있다. 희소 표현 문장을 벡터로 표현 할 때, 표현하고자 하는 단어의 인덱스 값이 1이고, 나머지 값들이 전부 0과 같은 희소행렬 방식으로 표현된 방법. 희소행렬 - 대부분의 행렬 값이 0을 가리키는 표현 자연어 에서는 원-핫 인코딩과 같은 방식을 희소 표현이라고 표현 예제) "나는 오늘부터 자연어 처리 공부한다" 라는 문장을 표현시 { 나는 : 3, 오늘부터 : 1, 자연어 : 2, 처리 : 5, 공부한다 : 4 } [[0. 0. 1. 0. 0] [1. 0. 0. 0. 0...
합성곱 신경망(CNN)과 데이터 변형 합성곱(COnvolution) 합성곱의 의미, 배경지식 파악 Pooling Convolution Convolution을 사용하면 3차원 데이터의 공간적 정보를 유지한채 다음 레이어로 보낼 수 있음. 이미지와 컨볼루션 필터를 곱해서 새로운 이미지를 얻는 과정 필터는 가중치의 역할을 함 특징을 뽑아서, 분류를 진행 합성곱 특정(높이, 너비)를 갖은 필터(Filter, Kernel)를 일정간격(Stride)로 이동해가며 입력 데이터에 적용 합성곱 필터의 효과 합성곱 + 편향 필터를 적용한 후, 모든 원소에 편향을 더함(BroadCast) Padding 합성곱 수행전 입력과 출력의 데이터의 크기를 맞추기 위해서 사용 Stride 필터를 적용하는 위치 간격 1이면 1칸씩 이동..
데이터 변형(Agumentation) 데이터 변형 데이터 변형 종류 Keras이용 Argumentation opencv이용 Argumentation 과적합(Overfitting) 방지(Drop out, 정규화) 과적합(overfittion) 드랍아웃(Dorp out) 정규화(Regularzation) L1, L2 정규화 데이터 변형 개념 과 종류 Data Argumentation 데이터를 늘려서 네트워크의 성능을 높이기 위해서 사용하는 방법 ※ 데이터 적을때 사용하면 효과적 이미지를 여러 방법을 통해 변형 후 네트워크 입력 이미지로 사용하는 방식 일종의 정규화(Regulazation) 작업으로 과적합을 막는 효과도 있음 종류 평행이동(Translation) 이미지의 픽셀을 상하좌우로 이동 컴퓨터는 이미지..
