Session

태그

교육 세션

인사이트는 총 7회의 교육세션(OT 포함)을 통해 신입 기수의 소프트랜딩을 도모하고, 학회원들의 체계적인 데이터 분석 및 모델링을 위한 기초를 다지고 있습니다.

교육 세션 [파이썬]

학기 초에는 Github의 사용법과 Python을 학습합니다. Pandas를 위주로 Python의 기초부터 심화까지, 그리고 EDA에 필요한 데이터 전처리 및 시각화를 4번의 세션에 걸쳐 학습합니다.

Session 0 (OT). Jupyter Notebook, 파이썬 기초

본 세션은 본격적인 교육 세션 진행에 앞선 사전 학습과정에 해당합니다. Jupyter Notebook을 설치하고 초기 설정을 진행하였습니다. 또한, 기본적인 파이썬 문법을 학습 및 복습하고, Pandas 기초 이해를 위한 학습을 진행했습니다.

Session 1. Github, Pandas

본 세션에서는 과제 제출 및 포트폴리오 관리를 위한 Github 활용 방법에 대해 학습했으며, Pandas 문법을 실제 데이터에 적용해보며 본격적으로 학습했습니다.

Session 2. EDA : 읽기, 시각화

본 세션에서는 데이터를 분석하고 이해하기 위해 EDA가 무엇인지 알아보았습니다. 그리고 데이터를 읽는 방식과 시각화의 기초적인 내용을 학습했습니다.

Session 3. EDA : EDA, 전처리

본 세션에서는 EDA의 대상과 종류를 나누고 그에 따른 EDA 유형을 학습합니다. 본격적인 그리고 데이터 분석 전 필수적인 과정인 데이터 전처리 과정에 대해 알아보았습니다.

교육 세션 [통계]

파이썬 교육 세션 이후, 총 3회의 통계 세션(통계, 회귀, 분류)을 통해 데이터 분석의 기반이 되는 기초적인 통계 개념과 머신 러닝(회귀, 분류)의 이론적 기반을 학습했습니다.

Session 4. 통계

본 세션에서는 기술 통계와 모집 추론 통계, 다양한 분포들과 가설검정의 절차 및 해석 등 통계와 관련한 다양한 이론적 기반에 대해 학습했습니다.

Session 5. 회귀 기초

본 세션에서는 단순 선형 회귀, 다중 선형 회귀, 회귀 모형의 가정 진단 등 회귀 분석과 관련한 이론적 기반에 대해 학습하고, 실습해보는 시간을 가졌습니다.

Session 6. 분류 기초

분류의 개념, 종류, 평가 지표에 대해 이해하고 하이퍼파라미터 최적화를 학습했습니다. 그리고 코드를 통해 분류 모델을 구현하고 평가해 보았습니다.

어떤 하이퍼파라미터(Hyperparameters)를 설정하느냐에 따라 모델 성능(Score)가 달라진다.

심화 세션

교육 세션을 마친 후에는 심화 세션을 진행했습니다. 데이터 분석과 머신러닝 심화 주제 중 관심 분야에 따라 팀을 구성하였고, 각 팀은 학습 자료와 실습 과제를 제작하여 주 2회 정규 세션을 진행했습니다.

Session 1~2. 지도학습 심화

본 세션에선, 본격적인 지도학습 내용을 이수하기 앞서 손실함수와 경사하강법의 개념에 대해 알아봤습니다.

규제선형모델의 개념에 대해 비우고 릿지 회계(L2 규제), 라쏘 회귀(L1 규제)에 대하여 알아보았습니다. 그리고 두 회귀의 단점을 보완한 엘나스틱넷 회귀에 대하여 공부했습니다.

차원축소에 대하여 공부했습니다. 구체적으로 PCA (주성분 분석, Principal Component Analysis), LCD(선형 판별 분석), NMF (비음수 행렬 분해), SVD (특이값 분해)의 개념과 필요한 이유에 대해 알아보았습니다.

차원축소

SVD

NMF

비선형 회귀모델(다항 회귀, 로그 회귀, 지수 회귀 스플라인 회귀)에 대해 알아보고 각 회귀의 사용 방법 및 적합한 상황에 대하여 배웠습니다. 다중 분류 모델과 앙상블 기법에 대해서도 학습하였습니다.

앙상블 Ensemble ?

•

여러 개의 개별 분류모델들을 “결합”해 하나의 분류모델보다 더 좋은 성능을 내는 머신러닝 기법

•

즉, 여러 약 분류기(Weak Classifier)를 병렬 또는 직렬로 결합하여 강 분류기(Strong Classifier)로 만드는 것! 

•

여러 개의 모델을 학습시키고 각 모델의 예측 결과를 종합해서 최종 예측

하이퍼 파라미터의 필요성을 알아보고 하이퍼 파라미터 최적화 과정을 공부하였습니다.

어떤 하이퍼파라미터(Hyperparameters)를 설정하느냐에 따라 모델 성능(Score)가 달라진다.

Grid Search

정해진 범위에서 Hyperparameter를 모두 순회하며 가장 좋은 성능을 내는 값을 찾는 기법

GridSearchCV (scikit-learn)

Random Search

정해진 범위에서 Hyperparameter를 무작위로 탐색해 가장 좋은 성능을 내는 값을 찾는 기법

RandomSearchCV (scikit-learn)

Bayesian Optimization

사전 정보를 바탕으로 최적 Hyperparameter 값을 확률적으로 추정하며 탐색하는 기법

bayes_opt

Session 3. 추천시스템

추천시스템의 등장 배경과 관련 기술의 발전을 살피고, 내용 기반 필터링과 협업 필터링의 원리를 이해합니다. 내용 기반 필터링과 관련하여 상품(아이템)에 대한 벡터 연산을 실습했습니다. 협업 필터링과 관련하여, 메모리 기반과 모델 기반 방식을 학습하고, 각 방식에 대한 유사도, 행렬 연산을 실습했습니다.

모델 기반 필터링과 관련하여, 클러스터링, 토픽 모델, 행렬 분해 모델을 살펴보고 추천 모델의 평가 지표를 학습했습니다.

연대별 추천시스템에 사용된 대표적인 기술

추천시스템의 분류

내용(콘텐츠) 기반 필터링

•

책의 제목이나 저자, 장르 등과 같이 아이템의 내용을 나타내는 정보를 사용

•

사용자가 선호하는 정보를 기반으로 내용이 비슷한 아이템을 계산함으로써 추천을 수행하는 알고리즘 

협업(협조) 필터링

•

서비스 내에 있는 다른 사용자의 과거 행동 등을 통해 얻어진 기호 경향을 활용하는 추천 알고리즘.

특이값 분해

Session 4. 딥러닝

인공지능(AI), 머신러닝, 딥러닝의 개념을 살피고 비정형 데이터에 대해 자가학습 하는 딥러닝에 대해 공부했습니다. 인공신경망(Artificial Neural Network, ANN) 모델 내 의사결정 원리를 살피고 퍼셉트론의 구조와 다층화와 신경망으로의 연결, 구체적인 신경망 학습 모델을 다루었습니다.

	머신러닝	딥러닝
특징	1. 사람이 특징을 추출하고, 특정 패턴을 추출하는 방법을 컴퓨터에게 지시 2. 컴퓨터가 데이터를 학습 (사람이 지시한 패턴에 기반해서 컴퓨터가 스스로 데이터의 특징을 분석하고 축적)	1. 컴퓨터가 정해진 신경망을 기반으로 스스로 특징 추출·분류 작업 수행 (사람이 하던 패턴 추출 작업 생략) 2. 컴퓨터가 데이터 학습
데이터	주로 정형 데이터를 다룸	주로 비정형 데이터를 다룸
모델	각종 회귀분석, Decision Tree	CNN, RNN

(좌) 우리 뇌의 신경(뉴런) vs (우) 인공신경

은닉층과 역전

역전파와 chain rule

CNN과 이미지 처리 연산

 이후, 고정 입력크기 데이터에 대해 합성곱 pooling 계층 연산을 수행하는 CNN, 크기에 가변성이 있는 순차적 데이터에 대해 이전 시점의 출력을 고려하여 기억과 연산을 수행하는 RNN을 비교하고, 수행하고자 하는 task와 데이터의 종류에 따라 적합할 DL 모델을 논의하고, 구체적인 원리와 용례를 비교하며 학습했습니다.

RNN의 은닉층과 품사 태깅

Session 5. 군집화

군집화의 목표와 특징를 살펴보고 계층적 군집화와 비계층적 군집화의 구분에 대하여 학습하였습니다.

계층적 군집화와 비계층적 군집화의 개념과 분석 방법에 대해 구체적으로 살펴보고 각 군집화에 속하는 군집화 방법론을 공부했습니다.

	계층적 군집화	비계층적 군집화
방법론	응집법, 분할법	K-means, GMM, DBSCAN
장점	데이터가 수의 적은 경우 안정적으로 사용	계속적으로 군집을 재구성&할당 데이터의 수가 많을 경우 유용
단점	한 번 형성된 군집은 다시 판별하지 않음	초기 군집의 영향을 크게 받아 불안정한 군집을 제공할 가능성

역전파와 chain rule

군집화 알고리즘의 평가 방법에 대해 알아보았습니다. 외부평가는 이미 정해진 정답을 기준으로 군집화 알고리즘의 정확도를 측정하는 방식으로, 알고리즘의 성능을 검증하는 데 사용되는 반면, 내부평가는 정답 없이 군집 내 데이터의 응집성과 군집 간의 분리도를 평가하는 방식으로, 주로 Dunn Index나 Silhouette 계수와 같은 지표를 통해 이뤄진다는 점을 살펴보았습니다.

Session 6. 자연언어처리(Natural Language Processing)

자연언어처리의 개념과 텍스트 전처리, 피처 벡터화, 주요 언어모델과 텍스트 데이터에 대한 벡터연산을 살펴보았습니다. 직접 텍스트데이터의 전처리를 하고, KoNLPy 패키지를 사용해 형태소 분석을 수행하는 실습을 진행했습니다. 전통적 방법인 BoW(Bag-of-Words)로부터 TF-IDF(Term Frequency-Inverse Document Frequency) 까지의 개선사항을 살피고, 최신의 인공신경망을 사용하는 Word2Vec이 의미론적 관계를 반영할 수 있게 된 배경까지 NLP 모델의 발전과정과 기반 원리를 학습했습니다.

LSTM : 은닉층의 셀에 입출력 게이트와 망각 게이트를 추가하여 기억에 대한 연산을 개선하여 RNN의 단점을 개선한 모델.

Word2Vec를 활용해, 단어 간의 의미연산을 수행한 예.

주변단어로부터 중심단어를 학습/예측하는, Word2Vec-CBOW.

중심단어로부터 주변단어를 학습/예측하는, Word2Vec-Skip Gram.

번역기에 도입되어 온 seq2seq, 번역 성능의 혁신을 일으킨 Transformer , 텍스트 생성형 AI로 주목 받으며 또 한 번의 혁신을 일으키고 있는 BERT 모델의 구성을 encoder, decoder 단에서부터 살피었으며 출력 시퀀스의 정확도를 효과적으로 높인 Attention 함수의 원리를 학습했습니다.

Attention Value 연산 : 출력 단어 예측시점마다 연관 단어에 집중하도록 값을 할당한다.

Attention 분포 연산 도식과 softmax 함수 시각화

BERT 모델에서의 self-Attention

Session 7~8. 시계열

시계열 데이터의 정의, 종류, 통계적 특성을 살피고, 효율적인 EDA를 위한 차분, 빈도, Lag에 대한 전처리 기법을 학습했습니다. 변동성분에 대한 요소분해와 평활화를 실습하고, 시계열 데이터 간 상관 분석에 쓰이는 대표적인 계수와 평활화/필터링 EDA를 살펴보았습니다.