인공지능 기초 및 Neural Networks (1탄)

1.Biological Neurons(생물학적 뉴런)에서 인공 뉴런으로

Biological Neurons 은 신경계를 구성하는 기본 단위로, 뇌와 척수에서 정보를 처리하고 전달하는 중요한 역할을 합니다. Biological Neurons 은 인공 신경망(Artificial Neural Networks)의 원천이 되었습니다.

 

 

1) 뉴런의 기본 정의

• 뉴런(Neuron)은 신경세포로, 전기적 신호와 화학적 신호를 통해 정보를 전달합니다.
• 인간 뇌에는 약 860억 개의 뉴런이 존재하며, 서로 연결되어 복잡한 네트워크를 형성합니다

 

2) 뉴런의 구조

• 세포체(Soma): 뉴런의 중심 부분으로, 세포핵(nucleus)이 포함되어 있습니다. 입력된 신호를 통합하고 처리하는 역할을 합니다.
• 수상돌기(Dendrite): 나뭇가지처럼 생긴 구조로, 다른 뉴런으로부터 신호를 받아들입니다.
• 신호는 전기적 신호로 세포체로 전달됩니다.
• 축삭(Axon): 세포체에서 나오는 긴 구조로, 신호를 다른 뉴런이나 근육, 샘(gland)으로 전달합니다. 축삭 말단(axon terminal)은 신호 전달의 끝부분입니다.
• 시냅스(Synapse): 한 뉴런의 축삭 말단과 다른 뉴런의 수상돌기 사이의 연결점입니다. 신호가 화학적 형태로 전달됩니다(신경전달물질, Neurotransmitters).
• 미엘린 수초(Myelin Sheath): 축삭을 감싸는 절연체 역할을 하는 구조로, 신호 전달 속도를 증가시킵니다.

 

 3) 뉴런의 작동 방식

• 신호 입력: 수상돌기에서 다른 뉴런으로부터 신호(전압 변화)를 받습니다.
• 신호 통합: 세포체에서 입력 신호를 모두 통합합니다. 통합된 신호가 특정 임계값(threshold)을 초과하면 뉴런이 활성화됩니다.
• 신호 전달 (Action Potential): 뉴런이 활성화되면 축삭을 따라 전기적 신호가 전파됩니다. 이는 "스파이크(spike)" 또는 "활동전위(action potential)"라고 합니다.
• 시냅스에서 신호 전달: 축삭 말단에서 신경전달물질이 방출됩니다.
• 이 화학적 신호가 다음 뉴런의 수상돌기에 도달하여 다시 전기적 신호로 변환됩니다.

 

4) 뉴런 네트워크

• 뉴런은 수많은 시냅스를 통해 서로 연결됩니다.
• 이러한 연결망이 신경망(Neural Network)을 형성하며, 정보 처리를 담당합니다.
• 학습과 경험을 통해 시냅스 강도가 변화하면서 뉴런 간 연결이 강화되거나 약화됩니다(시냅스 가소성, Synaptic Plasticity).

 

5) 뉴런의 중요성

• 인지와 학습: 뉴런 네트워크는 뇌의 학습, 기억, 문제 해결 능력의 기초입니다.
• 정보 처리: 감각 입력(예: 시각, 청각)을 처리하고, 신체의 반응(예: 움직임)을 조정합니다.

 

6) 작동 원리

• 일반적으로 활성 함수에는 모든 Input 데이터가 들어오게 되며, 이 데이터를 다 더하여  0보다 작으면 제로 상태가 되고, 0 보다 크면 1이 되는 상태가 됩니다.  
• 생물학적 뉴런도 전기적 신호를 발생을 시키는데 특정 임계치를 넘어가야만 최종적으로 전기적 신호가 화학적 신호로 바뀌어서 우리가 어떤 Action을 수행하게 만드는 것과 동일 합니다.
• 현재는 Biological Neurons 어떻게 보면 어떤 유닛들을 조합해서 논리적인 함수를 만드는 것과 유사하다고 할 수 있습니다. 논리 함수는 쉽게 말하면 “AND 게이트” 나 “OR 게이트” 입니다. 예를 들어 AND 게이트는 A 뉴런과 B 뉴론이 있을 때 이 뉴런이 동시에 활성화 함수의 임계치를 넘어서 딱 활성화가 됐을 때 비로서  동작하는 개념입니다.
• OR 게이트는 A 뉴런과 B 뉴론 중 하나만 활성화되어도 동작하는 개념입니다.
• 이러한 “AND 게이트” 나 “OR 게이트”가 수없이 많아지고 여러 개를 층층이 쌓아서 새로운 논리 함수를 만들 수가 있게 됩니다.
  
  

7) 뉴런과 인공 신경망의 차이

 

 

2. Single-layer Perceptron (가장 단순한 인공지능)

1958년도에 Frank Rosenblatt가 싱글 레이어 퍼셉트론이라고 하고 단층 퍼셉트톤을 제안했습니다. 이 싱글레이어 가장 단순한 인공지능이라고 말할 수 있습니다.

 

1) 주요 개념

• 퍼셉트론(Perceptron): 인공 뉴런의 일종으로, 입력 데이터를 받아 선형 변환을 수행하고 활성화 함수(activation function)를 통해 결과를 출력합니다.
• 단층(Single-layer): 퍼셉트론이 한 계층(layer)으로만 구성되어 있으며, 입력층과 출력층만 존재합니다.
  은닉층(hidden layer)은 없습니다.
• 목적: 선형적으로 구분 가능한 데이터(Linear Separable Data)를 분류하는 데 사용됩니다.

 

2) 작동원리

Input되는 값이 전체 값 대비 50% 보다 낮으면 0으로 전체 값 대비 50% 보다 높으면 1로 나오게 한다. 이러한 방식 0과 1 의 단순한 선형 분리기로 여겨지게 되었습니다.

 

 

3) 한계

• 선형성: 단층 퍼셉트론은 선형적으로 구분 가능한 문제에서만 정확히 작동합니다. XOR 문제처럼 선형으로 분리할 수 없는 데이터는 해결할 수 없습니다.
• 복잡한 문제 해결 불가: 은닉층이 없으므로 비선형 패턴 학습이 어렵습니다.

 

 4) 장점

• 구현이 간단하며 계산 비용이 적음.
• 선형 분류 문제에 적합.

 

 5) Single-layer Perceptron 의 쇠퇴

• Single-layer Perceptron의 한계점이 명확해 지면서 실제로 정상적으로 작동되지 않는다라는 인식이 퍼져 1969년부터 인공지능에 대한 투자가 급격히 줄어들고 약 15년간 인공지능의 겨울이 오게 되었습니다.
• 그 이후 뉴런을 여러 겹 쌓아 배타적 논리 같은 복잡한 문제를 풀도록 시도하였습니다.
• 또한, 기울기를 계산을 해서 기울기를 점차 감소하는 방향으로 기술기 값을 줄여나가는 방안이 제안되었습니다.
• 이렇게 비용 함수의 최소점을 찾아가기 위해 무한한 사이클은 더 이상 에러값이 줄어들지 않을 때/비용 함수가 값이 더 이상 줄어 들지 않을 때 까지 돌리게 되며, 이렇듯 도출된 값을 가지고 다시 또 한번 다른 데이터를 회귀 분석을 해서 계속해서 추적해 나가는 것을 반복하게 되므로,  현재는 추정이라는 말 대신에 트레이닝이라고 지칭되었습니다.