1. 머신 러닝 (Machine Learning)이란 무엇인가
머신 러닝이란 무엇인가 ?
머신러닝이란 컴퓨터로 데이터를 활용해서 결과를 도출하는 것을 의미합니다. 다시 말하면 영어 뜻 그대로 기계학습( 기계를 통해서 데이터를 학습하고 원하는 결과를 얻어냄)를 의미합니다.
최근에는 이러한 일련의 과정을 데이터를 학습 알고리즘을 통해서 학습하고 모델을 생성한다고 합니다.
머신러닝 용어 정리
데이터 분야에서는 여러 단어들에 대해서 여러 의미가 존재하기 때문에 학습을 진행하기 전에 용어를 정리한다.
- 데이터(data), 사례(instance), 샘플(sample) : 학습을 위한 자료, 기록
- 속성(attribute), 특성(feature) : 데이터의 특정한 부분 또는 성질
- 속성 공간(attrivute space), 샘플 공간(sample space), 특성 벡터(feature vector) : 속성들, 샘플들을 포함하고 있는 확장된 영역을 의미한다. 이러한 특성을 하나의 좌표 벡터로 상응한 것을 특성 벡터라고 한다.
- 차원수(dimensionality) : 샘플 공간에 있는 샘플이 가지고 있는 속성값의 갯수를 말한다.
- 학습(learning), 훈련(training) : 데이터를 통해서 모델을 생성하는 과정
- 훈련 데이터(traing data) : 모델 생성에 사용되는 데이터 이러한 데이터의 집합을 세트라고 부른다
- 가설(hypothesis) : 데이터 속에 잠재된 특정 규칙, 발견하고자 하는 규칙
- 분류(Classification) : 이산값에 대한 학습 문제
- 회귀(Regression) : 정량적 값에 대한 학습 문제
- 클러스터링(Clustering) : 특성에 따라 군집을 나누는 문제
- 지도 학습(Supervised Learning) : 레이블을 보유한 상태에서 모델을 학습시키는 것
- 비지도 학습(Unsupervised Learning) : 레이블을 보유하지 않은 상태에서 모델을 학습시키는 것
가설 공간
일반화(Generalization)은 구체적인 특정 사실에서 일반성을 도출하는 것을 말하고, 특화(Specialization)은 기초 원리로 부터 구체적인 상황을 추론하는 것을 말합니다. 이러한 원리는 머신러닝 분야에서 굉장히 중요하고 기초 과학에서도 귀납과 연역이라는 이름의 추론의 기본적인 수단으로 이용되고 있습니다.
이러한 특성을 머신러닝에 풀어보면 어떠한 상황을 판단하는데 있어 필요한 특성들이 있고 이러한 특성들로 하여금 가설을 세울 수 있다는 것입니다.
예를 들어 맛있는 고기를 찾는 과정에 필요한 특성을 3가지라고 가정하고 이 특성을 색, 도축일, 고기 종류라고 하고 각각의 특성이 가질 수 있는 도메인이 6개 일때 6 _ 6 _ 6 개의 특성 조합이 나옵니다. 이러한 것이 바로 가설 공간이고 우리가 찾는 것은 이 공간에서 적합한 답을 찾는 것입니다.
귀납적 편향
구체적인 학습 알고리즘은 반드시 하나의 모델을 생성해야합니다. 하지만 다양한 가설공간이 있기 때문에 어떤 것이 좋은 모델인가? 하는 의문이 생깁니다.
--> 이때 학습 알고리즘의 편향이 중요하게 작용합니다. 여기서의 편향이란 알고리즘의 학습 과정에서 특정한 유형의 가설에 대한 귀납적 편향 또는 편향을 의미합니다.
귀납적 편향은 학습 알고리즘이 방대한 가설 공간에서 가설들을 선택할 때 가지는 휴리스틱 방법, 가치관으로 볼 수 있습니다.
그렇다면 많은 모델 중에 어떤 것이 좋은지에 대한 기준은 어떤 것일까요 ?
보통이런 경우에는 오컴의 면도날(Occam's razor)이론에 따라 "다수의 가설이 관측된 것과 일치하다면, 가장 간단한 것을 선택해야 한다"를 따르게 됩니다. 하지만 항상 옳은 것은 아니기 때문에 좋은 모델을 선택하는 것은 쉬운 문제가 아닙니다.
--> "공짜 점심은 없다" 정리에 따르면 총오차가 학습 알고리즘과 무관하다는 결론을 얻을 수 있습니다.
하지만 이러한 전제에는 모든 경우가 가능하다는 것이 있고 현실 세계에서는 그것이 일어나는 것이 쉽지 않기 때문에 유리한 모델이 있는 것이 사실입니다.
이러한 사실에서 알 수 있는 것은 구체적인 문제, 상황을 가정하지 않고 알고리즘의 성능을 비교하는 것은 의미가 없다는 것입니다.
즉 모든 잠재적인 문제를 고려한다면 모든 학습 알고리즘이 동등하게 좋지만 특정하고 구체적인 상황에 따라 달라질 수 있다는 것입니다.
아래는 공짜 점심은 없다 정리 입니다.
Reference
"단단한 머신러닝"
"핸즈 온 머신러닝"
본 게시물은 학습을 위해서 정리한 문서로 상업적 목적이 없습니다. 하지만 문제가 되는 부분이 있으면 언제든지 연락 부탁드립니다.
email : donghark03@naver.com