인공지능 기초 및 Neural Networks (2탄)- Multilayer Perceptron (다층퍼셉트론)

2025.01.02 - [분류 전체 보기] - 인공지능 기초 및 Neural Networks (1탄)

인공지능 기초 및 Neural Networks (1탄)

 
지난 시간에 이어 오늘은 Multilayer Perceptron (다층퍼셉트론)에 대해서 학습해 보자. 
 
 

3. Multilayer Perceptron (다층퍼셉트론)

Multilayer Perceptron (MLP)는 인공 신경망(Artificial Neural Network)의 가장 기본적인 형태 중 하나로,
여러 계층(layers)을 사용하여 데이터를 처리하고 복잡한 문제를 해결할 수 있습니다.
MLP는 단층 퍼셉트론(Single-layer Perceptron)의 한계를 극복하기 위해 고안되었습니다.
 

1) 주요 특징

• 계층적 구조: 입력층(Input layer), 하나 이상의 은닉층(Hidden layers), 출력층(Output layer)으로 구성됩니다.
• 완전 연결(Full Connection): 각 뉴런은 이전 계층의 모든 뉴런과 연결되어 있습니다.
• 비선형 활성화 함수: 은닉층에서 비선형 활성화 함수를 사용하여 복잡한 데이터 패턴을 학습할 수 있습니다.
• 학습 알고리즘: 주로 역전파(Backpropagation)와 경사 하강법(Gradient Descent)을 사용합니다.

 

2) 구조

• 입력층 (Input Layer): 데이터의 특징(features)을 뉴런 형태로 입력받는 계층.
• 입력 뉴런의 수는 데이터의 특징 수와 동일함
• 은닉층 (Hidden Layers): 입력 데이터를 처리하는 중간 계층.
• 비선형성을 추가하여 복잡한 데이터 패턴을 학습함. 은닉층의 수와 각 층의 뉴런 수는 설계에 따라 달라집니다.
• 출력층 (Output Layer): 최종 결과를 출력하는 계층.
• 분류 문제에서는 클래스 수에 따라 뉴런 수를 설정하고, 회귀 문제에서는 1개의 뉴런을 사용하는 경우가 많습니다.

 
 

3) 활성화 함수 (Activation Function)

. 은닉층에서 활성화 함수는 뉴런의 출력에 비선형성을 추가합니다. 일반적으로 사용하는 함수는 다음과 같습니다.

활성화 함수

 

4) 학습 과정

• 순전파 (Forward Propagation): 데이터를 입력하여 계층을 통과하며 출력을 계산.
• 입력값에 가중치와 편향을 곱하고 활성화 함수를 적용하여 출력값을 얻음.
• 손실 함수 (Loss Function): 출력값과 실제 정답 간의 차이를 계산.
• 예) Mean Squared Error (회귀), Cross-Entropy (분류)
• 역전파 (Backpropagation): 손실 함수의 값을 최소화하기 위해 가중치와 편향을 업데이트.
• 출력층에서 시작해 입력층으로 역방향으로 진행. 체인 룰(Chain Rule)**을 사용하여
• 각 계층의 기울기(gradient)를 계산.
• 가중치 업데이트: 경사 하강법(Gradient Descent)이나 변형된 알고리즘(예: Adam, RMSProp)을 사용.

 

5) Multilayer Perceptron의 장점

• 비선형 문제 해결: 은닉층과 비선형 활성화 함수 덕분에 비선형적으로 분리된 데이터를 학습할 수 있음.
• 다양한 응용: 분류, 회귀, 시계열 예측 등 다양한 문제에 사용 가능.

 

6) Multilayer Perceptron의 단점

• 계산 복잡성: 은닉층이 많을수록 계산 비용이 증가.
• 과적합(Overfitting): 복잡한 모델은 과적합 위험이 있음.
• 이를 방지하기 위해 정규화 기법(L2 정규화, Dropout 등)이 필요.
• 심층 학습 한계: 은닉층이 많아지면 학습이 어려워짐
• (Deep Learning에서는 이를 해결하기 위해 CNN, RNN 등 새로운 구조를 사용).

 

7) 활용 사례

• 이미지 분류: 단순한 이미지 데이터 처리.
• 자연어 처리: 텍스트 분류나 기본적인 텍스트 처리.
• 회귀 분석: 예측 모델 생성.
• 금융 데이터 분석: 신용 점수 예측 등.