[KT AIVLE School(에이블스쿨)] - 9주차 후기(언어지능 딥러닝)

에이블 스쿨 9주차(10.2 ~ 10.6) - 4기 AI트랙

 

길었던 추석연휴가 끝난 9주차

벌써 10월이 됐고 갑자기 아침저녁으로 날씨가 쌀쌀해서 적응이 안 되던 주...( Ꙭ )

저번주차에 이어 언어지능 딥러닝 3-5일차가 진행되었다.

mnist, cifar10 을 이용한 ANN, CNN 실습과 전체적인 딥러닝 이론 강의로 구성되었다.

 

언어지능 딥러닝

Linear Functions(Hidden Layer x)

1) Linear Reggression(선형회귀분석) 

: 데이터의 경향성을 판단하여 이 데이터를 잘 표현해 주는 직선(모델값과 실제값 간의 오차가 제일 적은 직선)을 찾는 것

➱ 경향성 판단! 

H(x) = Wx + b

 

cost function

- 2차 함수 그려짐 
- cost 가장 작은 값(오차가 제일 작은값)을 찾기 위해 Gradient Descent(편미분) 진행

- learning rate(α) 너무 크면 오버슈팅, 너무 작으면 오랜 시간이 걸림

 

2) Binary Classification

 

1단계 : linear regression 진행
2단계 : logistic/sigmoid 함수 사용 (기준점으로 0~1 사이 값 도출)

 

H(x) = sig(Wx+b) 

 

cost function

- Gradient Descent 사용 불가 (2차함수아님)

 

3) Softmax Classification

: 다중 클래스 분류(이진분류기 + 스무고개 방식)

A, B, C 클래스 분류 시,

A ▶ 1 0 0

B ▶ 0 1 0

C ▶ 0 0 1

학습하여 확률이 가장 높은 클래스를 선택

 

cost function

L	S	Cost
[1,0,0]	[1,0,0]	-1*log1 - 0*log0 - 0*log0 = 0
	[0,1,0]	-1*log0 - 0*log1 - 0*log0 = ∞
	[0,0,1]	-1*log0 - 0*log0 - 0*log1 = ∞

 

Nonlinear Functions(Hidden Layer o)

ANN, CNN ➟ mnist, cifar10을 이용한 실습 

 

Advanced Topics

GAN(Generate Adversarial Network)

: Generator(생성자)와 Disciminator(판별자)가 서로 경쟁하며 학습

⇨ Genrator는 실제 데이터와 더 유사한 가짜 데이터를 생성하려고 노력

⇨ Discriminator는 가짜 데이터와 실제 데이터를 더 정확히 구별하려고 노력

▶ 모델 발전

 

- Generator(생성자)

• 노이즈를 입력으로 받아 가짜 데이터 생성
• 학습 과정을 통해 더욱 실제 데이터와 유사한 데이터 생성

 

- Discriminator(판별자)

• Generator에서 생성된 가짜 데이터와 실제 데이터를 구별
• 입력 데이터가 실제 데이터인지 아닌지 판단(이진 분류)

 

PCA/LDA

 

PCA(Principal Component Analysis)

• 차원 축소 기술 - 고차원 데이터의 특성을 저차원으로 축소
• 주성분 분석 - 데이터를 새로운 좌표 공간으로 변환
• 라벨 정보 고려 x

 

LDA(Linear Discriminant Anlysis)

• 패턴 분류 기술 - 클래스 간 분산 최대화, 클래스 내 분산 최소화하여 데이터 변환
• 데이터 클래스 간의 경계를 더 잘 구분
• 라벨 정보 활용