수 많은 우문은 현답을 만든다

안녕하세요, 조영호입니다. 이전 챕터에서 미분이 딥러닝 알고리즘의 구현을 크게 단순화하는 것을 공부했는데, 이 기울기가 심층 신경망에서는 어떻게 계산되는지에 대해 자세히 살펴보겠습니다. 퍼셉트론 입력 값에 대해 출력 값이 어떻게 나올지 예측하는 [입력 > 연산 > 출력] 시스템이다. 퍼셉트론은 사람 뇌의 단일 뉴런이 작동하는 방법을 흉내내기 위해 환원 접근법(reductionist approach)을 이용한다. 초기 가중치를 임의의 값으로 정의하고 예측값의 활성 함수 리턴값과 실제 결과값의 활성 함수 리턴값이 동일하게 나올 때까지 가중치의 값을 계속 수정하는 방법이다. 단층 퍼셉트론 아래 그림에서 원을 뉴런 혹은 노드라고 부르며, 입력 신호가 뉴런에 보내질 때는 각각 고유한 가중치가 곱해진다. (w1,w..

안녕하세요, 조영호입니다. 요즘 LLM이 핫하죠~ LLM을 가지고 생성형 AI 서비스를 개발해보고 있는데요, 관련하여 필요한 개념들을 우선 정리해 공유드리고자합니다. 하나씩 알아보겠습니다. LM (언어 모델, Language Model) 인간의 언어를 이해하고 생성하도록 훈련된 일종의 인공지능 모델로, 주어진 언어 내에서 패턴이나 구조, 관계를 학습하여 텍스트 번역과 같은 좁은 AI 작업에서 주로 활용됩니다. LLM (거대 언어 모델, Large Language Model) LLM은 사전에 대규모의 언어 데이터를 학습하여 문장 구조나 문법, 의미 등을 이해하고 생성할 수 있습니다. 예를 들어, 주어진 문맥에서 다음 단어를 예측하는 문제에서 LLM은 문장 내의 단어들 사이의 유사성과 문맥을 파악하여 다음 ..

선형(linear), 비선형(non linear) 선형 선형회귀란, 주어진 데이터 집합에 대해 종속변수와 n개의 독립변수 사이의 선형 관계를 모델링 하는 것을 말한다. 수식으로 예를들면 y=ax+b (y: 종속변수, x: 독립변수) 처럼 표현할 수 있고 독립변수는 input, 종속변수는 output의 개념으로 생각할 수 있다. 즉 선형회귀는 집합에서 최적의 선을 찾는게 목표이며 독립변수의 계수들이 선형관계에 있는것을 선형이라 한다. 선형회귀는 위 수식처럼 y=ax+b 처럼 표현할 수 있고 b는 절편(=bias), 그리고 a는 기울기 또는 가중치(wieght)라고 한다. x는 파라미터 값으로 직접적인 컨트롤을 할 수 없으며 우리가 궁극적으로 구하려는건 a와 b의 값을 구해서 y(=price, 확률 등)을 ..

왜 머신러닝이 필요할까? 머신 러닝은 경험으로부터 학습해나가는 알고리즘이다. 즉 더 많은 경험을 축적함에 따라 성능이 향상된다고 말할 수 있다. 내가 개발해놓은 소프트웨어가 아무리 성능이 좋다해도, 경험을 쌓거나 스스로 학습할 수는 없기에 머신러닝은 소프트웨어 개발과 대조적인 측면이 있다. 그러나 머신러닝은 항상 동일한 비즈니스 로직을 수행하지 않는다는 관점도 생각해볼 수 있다. 핵심 구성 요소 데이터 올바른 데이터가 있어야 올바른 결과가 나온다. * 스칼라 : 크기만 있고 방향을 가지지 않는 양 (오늘은 영하 10도) * 벡터 : 크기와 방향을 가지는 (어디로 얼마만큼 가야 하나요?) 모델 한 유형의 데이터를 입력으로 예측을 출력하는 계산적 장치 목적 함수(Objective Functions) 모델이 ..