Session

태그

교육 세션

인사이트는 총 7회의 교육세션(OT 포함)을 통해 신입 기수의 소프트랜딩을 도모하고, 학회원들의 체계적인 데이터 분석 및 모델링을 위한 기초를 다지고 있습니다.

교육 세션 [파이썬]

학기 초에는 Github의 사용법과 Python을 학습합니다. Pandas를 위주로 Python의 기초부터 심화까지, 그리고 EDA에 필요한 데이터 전처리 및 시각화를 4번의 세션에 걸쳐 학습합니다.

Session 0 (OT). Jupyter Notebook, 파이썬 기초

본 세션은 본격적인 교육 세션 진행에 앞선 사전 학습과정에 해당합니다. Jupyter Notebook을 설치하고 초기 설정을 진행하였습니다. 또한, 기본적인 파이썬 문법을 학습 및 복습하고, Pandas 기초 이해를 위한 학습을 진행했습니다.

Session 1. Github, Pandas

본 세션에서는 과제 제출 및 포트폴리오 관리를 위한 Github 활용 방법에 대해 학습했으며, Pandas 문법을 실제 데이터에 적용해보며 본격적으로 학습했습니다.

Session 2. 읽기, 전처리

유의미한 인사이트를 도출해내기 위해서는 전처리 과정이 필수적입니다. 따라서, 본 세션에서는 전반적인 데이터 정제 및 전처리 과정에 대해 학습했습니다.

Session 3. EDA 및 데이터 시각화

본 세션에서는 전처리한 데이터를 바탕으로 matplotlib, seaborn 등 다양한 라이브러리를 활용해 다방면으로 시각화하는 방법과 인사이트를 도출해내는 방법을 학습했습니다.

교육 세션 [통계]

파이썬 교육 세션 이후, 총 3회의 통계 세션(통계, 회귀, 분류)을 통해 데이터 분석의 기반이 되는 기초적인 통계 개념과 머신 러닝(회귀, 분류)의 이론적 기반을 학습했습니다.

Session 4. 통계(기술통계량, 확률분포, 가설검정)

본 세션에서는 기술 통계량, 모집단 및 표본의 특성, 다양한 분포들과 가설검정의 절차 및 해석 등 통계와 관련한 다양한 이론적 기반에 대해 학습했습니다.

Session 5. 회귀 이론 / 실습

본 세션에서는 단순 선형 회귀, 다중 선형 회귀, 회귀 모형의 가정 진단 등 회귀 분석과 관련한 이론적 기반에 대해 학습하고, 실습해보는 시간을 가졌습니다.

Session 6. 회귀 심화 및 실습

본 세션에서는 경사하강법, 다중 선형 모델의 과적합과 규제, 데이터 스케일링 등 회귀 분석을 보다 심도 있게 학습하는 시간을 가졌습니다.

심화 세션

교육 세션을 마친 후에는 심화 세션을 진행했습니다. 데이터 분석과 머신러닝 심화 주제 중 관심 분야에 따라 팀을 구성하였고, 각 팀은 학습 자료와 실습 과제를 제작하여 주 2회 정규 세션을 진행했습니다.

Session 1. 분류 및 군집화

본 세션에선, 본격적인 심화세션 이수에 앞서 기계학습의 개념 살피고 분류 모델의 대표적인 평가지표들을 알아보았습니다.

손실함수, 혼동행렬, F-1 Score 평가지표에 대한 해석, 대표적인 단일분류 모델인 로지스틱회귀, 의사결정트리, 서포트벡터의 개념과 기본 원리를 다시 한 번 익히고 실습을 통해 재확인 했습니다.  나아가 앙상블을 구축하거나 파라미터 최적화를 통해 모델의 성능을 높이는 원리를 공부했습니다.

분류/군집 모델 구현에 앞서 데이터에 적합하게 이루어져야 하는 표준화/정규화 전처리를 학습하고, Scikit-Learn 라이브러리를 불러와 대표적인 분류/군집 모델을 구현하였습니다. 차원과 변수의 관계, 차원축소 알고리즘(PCA, LDA, SVD, NMF)의 개념과 필요한 이유에 대해 공부하고, 나아가 군집화 모델의 평가지표와 활용사례를 다루었습니다.

차원축소

대표적인 군집화 모델인 K-means, GMM, DBSCAN을 학습하고 붓꽃 데이터 세트에 적용해보며 각 군집 모델의 차이를 학습했습니다.

class sklearn.cluster.KMeans(n_cluster=8, init='k-means++', n_init=10, max_iter=300, tol=0.001,
                                precompute_distance='auto', verbose=0, random_state=None,
                                copy_x=True, n_jobs=1, algorithm='auto')![Untitled](https://s3-us-west-2.amazonaws.com/secure.notion-static.com/9aa43031-011e-466f-8d30-194676efa43d/Untitled.png)
JavaScript
복사

K-means

GMM

Session 2~3. 추천시스템

추천시스템의 등장 배경과 관련 기술의 발전을 살피고, 내용 기반 필터링과 협업 필터링의 원리를 이해합니다. 내용 기반 필터링과 관련하여 상품(아이템)에 대한 벡터 연산을 실습했습니다. 협업 필터링과 관련하여, 메모리 기반과 모델 기반 방식을 학습하고, 각 방식에 대한 유사도, 행렬 연산을 실습했습니다.

모델 기반 필터링과 관련하여, 클러스터링, 토픽 모델, 행렬 분해 모델을 살펴보고 추천 모델의 평가 지표를 학습했습니다.

연대별 추천시스템에 사용된 대표적인 기술

추천시스템의 분류

내용(콘텐츠) 기반 필터링

•

책의 제목이나 저자, 장르 등과 같이 아이템의 내용을 나타내는 정보를 사용

•

사용자가 선호하는 정보를 기반으로 내용이 비슷한 아이템을 계산함으로써 추천을 수행하는 알고리즘 

협업(협조) 필터링

•

서비스 내에 있는 다른 사용자의 과거 행동 등을 통해 얻어진 기호 경향을 활용하는 추천 알고리즘.

특이값 분해

Session 4. 머신러닝/딥러닝

Desicion Tree 의 훈련, 시각화, 예측 방법에 대해 공부하고, Scikit-Learn의 CART 알고리즘을 통해 구현하였습니다. 트리에 규제를 적용하는 방법과 회귀 문제에의 적용을 살펴보았습니다.

의사결정 나무의 학습과정

의사결정 나무와 ‘규제’

각각의 개별 의사결정나무에 bagging 앙상블을 통해 구성한 RandomForest 모델

의사결정트리의 원리를 살핀 후엔, 앙상블의 알고리즘별 병렬/직렬 연결을 효율적으로 구성하여 모델의 성능을 높이는 방법을 학습했습니다.

효과적인 기법/방법론으로서의 앙상블 구현을 위해 voting, bagging & pasting, boosting, stacking 개념을 학습하고 상황별 적합한 앙상블 구현을 실습하였습니다.

나아가 하이퍼파라미터 최적화를 통해 모델의 성능을 높이는 모듈의 사용법과 각각의 장단, 특징을 살피었습니다.

인공지능(AI), 머신러닝, 딥러닝의 개념을 살피고 비정형 데이터에 대해 자가학습 하는 딥러닝에 대해 공부했습니다. 인공신경망(Artificial Neural Network, ANN) 모델 내 의사결정 원리를 살피고 퍼셉트론의 구조와 다층화와 신경망으로의 연결, 구체적인 신경망 학습 모델을 다루었습니다.

(좌) 우리 뇌의 신경(뉴런) vs (우) 인공신경

은닉층과 역전

역전파와 chain rule

CNN과 이미지 처리 연산

 이후, 고정 입력크기 데이터에 대해 합성곱 pooling 계층 연산을 수행하는 CNN, 크기에 가변성이 있는 순차적 데이터에 대해 이전 시점의 출력을 고려하여 기억과 연산을 수행하는 RNN을 비교하고, 수행하고자 하는 task와 데이터의 종류에 따라 적합할 DL 모델을 논의하고, 구체적인 원리와 용례를 비교하며 학습했습니다.

RNN의 은닉층과 품사 태깅

Session 5~6. 시계열

시계열 데이터의 정의, 종류, 통계적 특성을 살피고, 효율적인 EDA를 위한 차분, 빈도, Lag에 대한 전처리 기법을 학습했습니다. 변동성분에 대한 요소분해와 평활화를 실습하고, 시계열 데이터 간 상관 분석에 쓰이는 대표적인 계수와 평활화/필터링 EDA를 살펴보았습니다.

시계열 데이터에서의 변동 : 추세, 순환, 계절, 우연

시계열 데이터는?

(1) 자기상관성(Autocorrelation)

(2) 비정상성(Non-stationarity)

(3) 계절성(Seasonality)

시계열 데이터와 차분

피어슨 상관계수

시계열 데이터의 평활화

단변량/다변랑 시계열 모델을 살피고, 자기상관, 자기회귀, 안정시계열에 대해 학습했습니다. 변동성을 다루는 모형들의 특징과 용례를 공부하고 시계열 데이터 딥러닝 모델들에 대해 비교하며 학습했습니다.

자기상관함수(Auto Correlation Function, ACF)

부분자기상관함수(Partial ACF, PACF)

다변량 시계열 모델 : ARCH

LSTM과 GRU의 비교

단변량 시계열 모델 : N-Beat

Session 7~8. 자연언어처리(Natural Language Processing)

자연언어처리의 개념과 텍스트 전처리, 피처 벡터화, 주요 언어모델과 텍스트 데이터에 대한 벡터연산을 살펴보았습니다. 직접 텍스트데이터의 전처리를 하고, KoNLPy 패키지를 사용해 형태소 분석을 수행하는 실습을 진행했습니다. 전통적 방법인 BoW(Bag-of-Words)로부터 TF-IDF(Term Frequency-Inverse Document Frequency) 까지의 개선사항을 살피고, 최신의 인공신경망을 사용하는 Word2Vec이 의미론적 관계를 반영할 수 있게 된 배경까지 NLP 모델의 발전과정과 기반 원리를 학습했습니다.

LSTM : 은닉층의 셀에 입출력 게이트와 망각 게이트를 추가하여 기억에 대한 연산을 개선하여 RNN의 단점을 개선한 모델.

Word2Vec를 활용해, 단어 간의 의미연산을 수행한 예.

주변단어로부터 중심단어를 학습/예측하는, Word2Vec-CBOW.

중심단어로부터 주변단어를 학습/예측하는, Word2Vec-Skip Gram.

번역기에 도입되어 온 seq2seq, 번역 성능의 혁신을 일으킨 Transformer , 텍스트 생성형 AI로 주목 받으며 또 한 번의 혁신을 일으키고 있는 BERT 모델의 구성을 encoder, decoder 단에서부터 살피었으며 출력 시퀀스의 정확도를 효과적으로 높인 Attention 함수의 원리를 학습했습니다.

Attention Value 연산 : 출력 단어 예측시점마다 연관 단어에 집중하도록 값을 할당한다.

Attention 분포 연산 도식과 softmax 함수 시각화

BERT 모델에서의 self-Attention