신경망이란 무엇인가요?

인공 신경망(Artificial Neural Network)은 인간 뇌의 뉴런 구조를 모방한 머신러닝 모델입니다. 입력층, 은닉층, 출력층으로 구성되며, 각 뉴런은 가중치와 편향을 가지고 활성화 함수를 통해 신호를 전달합니다.

순전파와 역전파의 차이는?

순전파(Forward Propagation)는 입력 데이터를 네트워크에 통과시켜 출력을 계산하는 과정이고, 역전파(Backpropagation)는 출력의 오차를 이용해 각 가중치의 기울기를 계산하고 업데이트하는 학습 과정입니다.

활성화 함수는 왜 필요한가요?

활성화 함수는 신경망에 비선형성을 부여합니다. 활성화 함수 없이는 아무리 많은 층을 쌓아도 단순 선형 변환에 불과하여 XOR 같은 비선형 문제를 풀 수 없습니다. Sigmoid, ReLU, Tanh 등이 대표적입니다.

신경망 시각화

순전파·역전파 과정을 뉴런 단위로 시각화하며 딥러닝 원리를 이해하세요

프리셋

네트워크 구조

입력 뉴런: 2

은닉층 수: 1

은닉층 1 뉴런: 4

출력 뉴런: 1

하이퍼파라미터

활성화 함수

학습률: 0.50

입출력 값

입력 1

입력 2

목표 출력 (역전파용)

목표 1

네트워크 구조

양수 가중치 음수 가중치 순전파 역전파

에포크

손실 (MSE)

0.000000

출력

[0.0000]

가이드

인공 신경망이란?

인공 신경망(Artificial Neural Network)은 인간 뇌의 뉴런 구조에서 영감을 받은 머신러닝 모델입니다. 입력층, 은닉층, 출력층으로 구성되며, 각 뉴런은 이전 층의 출력값에 가중치를 곱하고 편향을 더한 후 활성화 함수를 통과시켜 다음 층으로 신호를 전달합니다. 충분한 뉴런과 층이 있으면 어떤 연속 함수든 근사할 수 있다는 것이 만능근사정리(Universal Approximation Theorem)입니다.

순전파와 역전파

순전파(Forward Propagation): 입력 데이터가 네트워크를 왼쪽에서 오른쪽으로 통과하며 각 뉴런에서 z = Wx + b를 계산하고 활성화 함수 a = f(z)를 적용합니다. 최종 출력층에서 예측값이 나옵니다.

역전파(Backpropagation): 출력의 오차(손실)를 체인 룰(Chain Rule)로 각 가중치에 대해 편미분하여 기울기를 계산합니다. 이 기울기에 학습률을 곱해 가중치를 업데이트합니다. 오른쪽(출력)에서 왼쪽(입력)으로 기울기가 전파되어 모든 가중치가 동시에 조정됩니다.

활성화 함수 비교

함수	수식	범위	특징
Sigmoid	1/(1+e^(-x))	(0, 1)	확률 출력에 적합, 기울기 소실 문제
ReLU	max(0, x)	[0, +inf)	계산 빠름, 죽은 뉴런 문제 가능
Tanh	(e^x-e^(-x))/(e^x+e^(-x))	(-1, 1)	0 중심, Sigmoid보다 학습 안정적

자주 묻는 질문

학습률이 너무 높으면 어떻게 되나요?

손실이 발산하여 학습이 불안정해집니다. 반대로 너무 낮으면 학습 속도가 매우 느려집니다. 일반적으로 0.001~0.1 사이의 값을 사용합니다.

은닉층이 많을수록 좋은가요?

층이 깊으면 더 복잡한 패턴을 학습할 수 있지만, 기울기 소실/폭발 문제가 발생할 수 있고 과적합 위험이 높아집니다. 문제의 복잡도에 맞게 선택해야 합니다.

XOR 문제는 왜 은닉층이 필요한가요?

XOR은 선형 분리가 불가능한 문제입니다. 은닉층이 입력 공간을 비선형으로 변환하여 선형 분리 가능한 표현을 만들어줍니다.