지난 6월부터 12월까지 모두의 연구소에서 주관하는 인공지능 개발자 양성과정인 AIFFEL(아이펠)에 참여했다. 정확히는 12월 16일에 끝나는데 나는 10일 정도 앞두고 타 지역으로 취업을 하게 되면서 이것저것 준비하느라 남은 10일 동안 제대로 참여를 못할 것 같아 끝까지 출석을 하지 못하게 되었다. 6개월 동안 kdt 과정으로 노동부에서 월 30만원의 지원금을 받으며 진행을 했고 코시국으로 ALL 비대면으로 진행되었다. 이 블로그에도 아이펠 관련 게시글들이 있기 때문에 아이펠을 지원하기 전 많은 분들이 방문하는 걸 알고 있다. 나 역시 아이펠을 지원하기 전에 후기를 정말 많이 검색 해 봤지만 검색해서 나오는 후기는 3개도 안되었다. 국비 교육은 후기가 정말 중요한데 나는 몇 안되는 후기 때문에 포기..
- 회귀 분석 (Regression Analysis) 회귀분석이란 관찰된 여러 데이터를 기반으로 각 연속형 변수 간 관계를 모델링 하고 이에 대한 적합도를 측정하는 분석 방법으로 통계학에서 전통적으로 많이 사용되던 분석 방법이다. - 선형 회귀분석(Linear Regression) 단순 선형 회귀분석(Linear Regression)은 독립변수 X(설명변수)에 대해 종속변수 Y(반응변수) 사이의 관계를 수학적 모형을 이용하여 규명된 함수 식을 사용해 설명 변수들의 변화로부터 종속 변수의 변화를 예측하는 분석이다. 아래 그림과 같이 두 변수 사이의 관계를 직선으로 가정하고 분석하는 것을 선형 회귀분석이라고 한다. 독립변수의 개수에 따라 한 개의 독립변수를 가지면 단순 선형회귀라고 하며, 두개 이상의 독립변..
아이펠은 후반기에 있을 3차 해커톤을 위해 2차 해커톤 때 개인 프로젝트 계획서를 제출한 후 최종 프로젝트로 선정된 개인 주제 + 기업 주제로 팀빌딩을 진행한다. 팀 빌딩이 완료 되면 팀 계획서를 일주일 정도 작성하는 시간을 갖는다. 이렇게까지가 총 2차 해커톤인 셈이다. 지난 9월 10일에 팀빌딩이 이루어졌으며 9월 13일부터 17일까지 팀 별로 계획서 작성을 진행했다. 나는 개인 주제가 최종 주제로 선정되지 않았기 때문에 다른 개인 주제에 참여하거나 기업 주제에 참여할 수 있었다. 처음부터 기업 주제를 바라보고 있었기 때문에 개인 계획서는 형식만 갖추어 제출했다. 때문에 얼마나 많은 기업들이 어떤 주제를 보여줄지 엄청 기대가 되었다. 결론부터 말하자면 2차 해커톤을 하면서 아이펠에 정말 많이 실망을 ..
sciPy와 Toolkit을 합쳐서 만들어진 사이킷런(Scikit-Learn)은 파이썬 기반 머신러닝용 라이브러리이다. 사이킷런을 이용하면 머신러닝 알고리즘을 구현할 수 있다. 먼저, 사이킷런에서 제공하는 데이터셋은 특성행렬(Feature Matrix)과 타겟벡터(Target Vector)로 NumPy의 ndarray, Pandas의 DataFrame, SciPy의 Sparse Matrix를 이용해 나타낼 수 있다. 특성행렬은 입력 데이터를 의미하며 [n_samples, n_features] 형태의 2차원 배열 구조를 사용한다. (n_samples: 행의 개수(표본의 개수), n_features: 열의 개수(특성의 개수)) 특성행렬은 NumPy의 ndarray, Pandas의 DataFrame, SciP..
어느새 아이펠 7주차가 끝났다. 첫 주였던 오티 이틀을 뺀다 해도 거의 2개월동안 아이펠 과정을 소화하고 있는 것이다. 7주차에는 1차 해커톤이 진행되었다. 저번주부터 정처기 공부에 이번주는 해커톤에 집중하느라 블로그 포스팅에 많이 소홀했었다. 그래서 1차 해커톤도 끝났겠다 1/3이 지난 시점을 기록으로 남겨두면 좋을 것 같아서 포스팅을 하게 되었다. 8/4 ~ 8/6 3일 동안 진행된 1차 해커톤은 캐글 경연대회에 참여하는 것이었다. https://www.kaggle.com/c/recruit-restaurant-visitor-forecasting Recruit Restaurant Visitor Forecasting | Kaggle www.kaggle.com 일본 레스토랑의 방문자 수를 예측하는, 이미 ..
인공지능, 머신러닝, 딥러닝의 관계는 위의 그림과 같다. 인공지능이 가장 큰 범주이고 그 범주 안에 머신러닝과 딥러닝이 있다. 딥 러닝은 머신러닝의 범주에 포함이 된다. - 인공지능 사람이 직접 프로그래밍 한 내용이 아닌, 기계가 자체적으로 규칙 시스템을 구축하는 과학이다. - 머신러닝 데이터를 통해 스스로 학습하는 방법론이다. 머신러닝은 데이터를 분석하고 데이터 내의 패턴을 파악하여 학습을 한다. 학습한 내용을 토대로 판단과 예측을 한다. - 딥러닝 딥러닝은 학습하는 모델의 형태가 신경망인 방법론이다. 아직까지도 딥러닝 보다는 머신러닝이 더 많이 활용되기도 한다. > 딥러닝 vs 머신러닝 연결주의 신경망과 함수, 모델
파이썬으로 이미지를 다루기 전, 디지털 이미지에 대한 이해가 우선으로 필요하다. 디지털 화면은 색상을 가지는 점인 화소로 이루어져 있으며 각 화소는 RGB(Red, Green, Blue) 세 개의 색의 조합으로 색상이 표현된다. 디지털 이미지를 저장할 때는 각 점마다 색상 값을 저장하는 방식으로 저장한다. 이를 래스터(raster) 또는 비트맵(bitmap)이라고 하며 한 점마다 각 색상별로 8비트를 사용한다. 또 0 ~ 255 사이의 값(2^8=256)으로 해당 색의 감도를 표시한다. 또 다른 디지털 이미지 저장 방식으로는 벡터(vector) 방식이 있다. 이는 상대적인 점과 선의 위치를 방정식으로 기록했다가 확대 및 축소에 따라 각 화소가 어떻게 표현되는지를 재계산하기 때문에 디지털 이미지의 깨짐 현..
관세청 수출입 무역 통계 데이터를 사용하여 데이터 전처리를 해보았다. 먼저 데이터를 준비한다. 데이터를 가지고 무언가를 하기 전에 데이터의 대한 기본 정보부터 알아야 한다. 해당 데이터에서 금액은 단위가 천 불(USD 1,000)이며 무역수지는 '수출금액 - 수입금액'이다. > 결측치 (Missing Data) 중복된 데이터 이상치 (Outlier) 정규화(Normalization) 원-핫 인코딩 (One-Hot Encoding) 구간화 (Binning)
- 정규표현식 문서나 웹 사이트에서 특정 단어를 검색할 때 대부분 사용하는 Ctrl+F가 정규 표현식에 근거하여 만들어진 기능이라는 것을 lms 노드를 공부하면서 알게 되었다. 문자열에서 특정 문자를 원하는 문자로 변경할 때는 파이썬에서 .replace()를 사용하면 된다. 이는 정규 표현식을 이용하여 할 수도 있다. import re >>> text = 'I My Me Mine' >>> text_pattern = re.sub("I", "You", text) #re.compile()로 Regex 객체를 만든다. >>> print(text_pattern) You My Me Mine 정규 표현식은 특정 문자열 패턴을 정의하고 기존 문자열과 비교하여 일치하는지 확인하는 작업이다. import re >>> te..
