Polaris

1. 정의생성모형(Generative Model) 중 하나입력 데이터를 잠재공간(Latent Space)에 압축(인코딩)했다가, 다시 복원(디코딩)하면서 새로운 데이터를 생성할 수 있는 구조오토인코더(AutoEncoder)를 확장한 형태로, 확률적 방법(Variational inference)을 이용함2. 동작 원리Encoder (인코더)◦ 데이터를 잠재변수(latent variable, z)로 변환◦ 단순 벡터가 아니라, 평균(μ), 분산(σ) 형태의 확률 분포로 매핑Sampling (샘플링)◦ 잠재공간에서 z를 샘플링(랜덤 뽑기)Decoder (디코더)◦ 샘플링된 z로부터 데이터를 복원/생성👉 이렇게 하면 입력과 비슷하지만 조금 변형된 새로운 데이터를 만들 수 있음3. 비유👉 인감도장 + 랜덤 흔..

1. 정의생성적 적대 신경망두 개의 신경망(Generator, Discriminator)이 서로 경쟁(Adversarial)하면서 학습하는 구조목적: 진짜 같은 가짜 데이터를 생성2. 동작 원리Generator (생성자)◦ 랜덤 노이즈를 입력받아 가짜 데이터를 생성◦ “가짜를 최대한 진짜처럼 만들려고 노력하는 위조범”Discriminator (판별자)◦ 입력이 진짜 데이터인지 가짜(Generator가 만든 것)인지 판별◦ “진짜와 가짜를 구별하는 경찰”👉 Generator는 경찰을 속이려고 하고, Discriminator는 속지 않으려고 하면서 서로 경쟁함 → 둘 다 점점 실력이 늘어나서 결과적으로 진짜 같은 데이터 생성 가능3. 비유👉 위조지폐범 vs 경찰게임위조범(Generator): 진짜 돈처럼..

GRU(Gated Recurrent Unit)는 LSTM의 단순화된 버전으로, 장기 의존성 문제를 해결하면서도 구조를 간단히 만들어 계산 효율을 높인 RNN 변형 모델임.1. 등장 배경LSTM은 장기 기억을 잘 다루지만, 게이트가 많고 계산량이 많음 → 느리고 무거움GRU는 게이트 수를 줄이고 구조를 단순화해서 비슷한 성능을 내면서 더 빠르게 학습 가능2. 구조GRU는 LSTM의 셀 상태(Cell state)와 은닉 상태($h_t$)를 통합함.게이트도 3개가 아닌 2개만 사용:리셋 게이트(Reset Gate)$\rightarrow$ 과거 정보를 얼마나 무시할지 결정$$r_t = \sigma(W_r [h_{t-1}, x_t])$$업데이트 게이트(Update Gate)$\rightarrow$ 새로운 정보와 ..

오토인코더(Autoencoder)는 입력 데이터를 압축했다가 다시 복원하는 과정을 학습하는 인공신경망 모델임. 주로 차원 축소, 특징 추출, 이상탐지 등에 사용됨.1. 정의입력 → 은닉층(잠재 표현, latent representation) → 출력목표: 입력과 출력이 최대한 같아지도록 학습즉, 데이터를 “압축(encoding)”하고 다시 “복원(decoding)”하는 신경망2. 구조구성 요소설명인코더(Encoder)입력 데이터를 저차원의 잠재공간(latent space)으로 압축잠재벡터(Latent Vector)데이터의 핵심 특징만 담은 표현디코더(Decoder)잠재벡터를 원래 데이터로 복원3. 원리입력 $X$를 인코더가 압축 $\rightarrow$ 잠재공간 $Z$디코더가 $Z$를 다시 원래 차원으로..

LSTM(Long Short-Term Memory, 장단기 메모리)은 RNN의 한 종류로, 기본 RNN이 갖는 장기 의존성(Long-term dependency) 문제(기울기 소실/폭발)를 해결하기 위해 고안된 구조임.핵심은 게이트(Gate) 구조를 도입해서, “어떤 정보를 기억할지/버릴지”를 스스로 조절한다는 것임.1. 구조 핵심LSTM은 크게 3개의 게이트 + 1개의 셀 상태(Cell state)로 구성됨:셀 상태(Cell state, C_t)기억의 흐름, “컨베이어 벨트”처럼 정보를 오래 유지입력 게이트(Input gate)새로운 정보를 얼마나 저장할지 결정망각 게이트(Forget gate)과거 정보를 얼마나 지울지 결정출력 게이트(Output gate)최종 출력(은닉 상태 h_t)을 얼마나 내보낼..

1. 정의다층 신경망(Multi-Layer Neural Network)의 한 형태입력층(Input) + 은닉층(Hidden Layer, 여러 개) + 출력층(Output)으로 구성은닉층이 여러 개 쌓여 있어 데이터를 깊게(deep) 학습하기 때문에 DNN이라고 부름복잡한 비선형 패턴, 고차원 데이터 특징을 잘 잡아냄 2. 비유👉 DNN = 공장 조립 라인입력층: 원자재(데이터)가 들어옴은닉층: 여러 공정을 거치며(가공, 정제, 조립) 특징을 뽑아냄출력층: 최종 완성품(예측 결과)이 나옴즉, 은닉층이 많아질수록 공정이 복잡해지고, 더 정교한 결과를 얻을 수 있음. 3. 특징단일 신경망(단층 Perceptron): XOR 같은 비선형 문제 해결 불가DNN: 은닉층이 여러 개 → 복잡한 문제(음성인식, 이미..

1. 기본 구조CNN은 크게 3가지층으로 구성됨:합성곱 층(Convolution Layer)◦ 이미지의 국소 패턴(엣지, 선, 모서리 등)을 필터(커널)로 추출◦ 수학적으로는 필터와 입력을 곱해 특징맵(Feature Map) 생성풀링 층(Pooling Layer)◦ 특징맵 크기를 줄여 계산 효율성↑, 과적합↓◦ Max Pooling(최댓값), Average Pooling(평균값) 자주 사용완전연결층(Fully Connected Layer)◦ 최종적으로 추출된 특징들을 이용해 분류/예측 수행2. 비유비유로 생각하면:CNN은 사진 속에서 중요한 패턴을 찾는 탐정임.합성곱 층: 사진을 확대해서 “모서리, 눈, 코” 같은 세부 단서 탐색풀링 층: 덜 중요한 디테일은 무시하고 핵심 정보만 남김완전연결층: 단서들을..

RNN(Recurrent Neural Network, 순환 신경망)은 시퀀스(연속 데이터)를 처리하기 위해 이전 시점의 출력을 현재 시점 입력과 함께 고려하는 인공신경망즉, 과거의 기억을 활용해 현재를 예측하는 구조라고 할 수 있음. 1. RNN (순환 신경망) 기본 구조내용일반 신경망(Feedforward NN): 입력 $\rightarrow$ 은닉층 $\rightarrow$ 출력 (순차적 관계 없음)RNN: 각 시점 $t$에서 은닉 상태 $h_t$를 계산할 때, 이전 은닉 상태 $h_{t-1}$를 함께 사용수식: $$h_t = f(W_x x_t + W_h h_{t-1} + b)$$👉 과거 정보($h_{t-1}$)가 현재 시점에 영향을 줌 $\rightarrow$ 시계열·자연어 처리에 적합2. 비유비..

RMSProp(Root Mean Square Propagation)은 경사하강법(Gradient Descent)의 변형 알고리즘으로, Adagrad의 단점을 개선한 방법. Adagrad는 학습이 진행될수록 학습률이 점점 0에 가까워지는 문제가 있었는데, RMSProp은 기울기 제곱의 “이동 평균(Exponential Moving Average, EMA)”을 사용해서 이 문제를 해결함.1. 기본 아이디어Adagrad: 기울기 제곱을 계속 누적 → 시간이 지나면 학습률이 너무 작아짐RMSProp: 기울기 제곱의 누적 대신 “지수 가중 이동평균(EMA)”을 사용→ 최신 기울기 정보를 더 반영하면서, 학습률이 지나치게 줄어드는 문제 해결2. 수식 $$g_t = \nabla_{\theta}J(\theta_..

Adam(Adaptive Moment Estimation)은 경사하강법 최적화 알고리즘의 일종으로, Momentum + RMSProp의 장점을 결합한 방식임. 현재 딥러닝에서 가장 널리 쓰이는 최적화 알고리즘 중 하나임.1. 기본 아이디어Momentum: 기울기의 1차 모멘트(평균, mean)를 추적 → 방향을 안정화RMSProp: 기울기의 2차 모멘트(분산, variance)를 추적 → 학습률 조절Adam: 이 둘을 합쳐서, 1차 모멘트 + 2차 모멘트 동시에 추정👉 그래서 “Adaptive Moment Estimation(적응적 모멘트 추정)”이라는 이름 2. 수식기울기 계산: $$g_t = \nabla_{\theta}J(\theta_t)$$1차 모멘트(평균, Momentum) 추정: $$m_t =..