불균형 데이터 처리 - SMOTE

SMOTE (Synthetic Minority Over-sampling Technique)는 불균형 데이터 문제를 해결하기 위해 사용되는 데이터 증강 기법 중 하나입니다. SMOTE는 소수 클래스(예: 사기 거래, 질병 데이터 등)의 데이터를 인공적으로 생성하여 다수 클래스와의 균형을 맞추는 방법입니다. 이 기법은 특히 머신러닝 모델이 소수 클래스를 더 잘 학습하도록 돕는 데 사용됩니다.

SMOTE의 개념

문제 정의:

• 불균형 데이터셋: 많은 실제 데이터셋에서는 정상 데이터(다수 클래스)가 비정상 데이터(소수 클래스)보다 훨씬 많습니다. 이로 인해 모델이 학습할 때 소수 클래스에 대해 제대로 학습하지 못하고, 대부분의 경우 다수 클래스에 대해 편향된 예측을 하게 됩니다.

SMOTE의 목적:

• 소수 클래스의 데이터 증강: SMOTE는 소수 클래스의 데이터 포인트들 사이에 새로운 데이터 포인트를 생성함으로써, 소수 클래스의 크기를 증가시켜 데이터셋을 균형 있게 만듭니다.

SMOTE의 알고리즘 구동 원리

1. 소수 클래스 데이터 포인트 선택:

   • SMOTE는 우선 소수 클래스의 각 데이터 포인트에 대해 k개의 가까운 이웃(k-nearest neighbors)을 찾습니다. 여기서 k는 일반적으로 사용자가 설정한 하이퍼파라미터입니다.

2. 새로운 데이터 포인트 생성:

   • 선택된 데이터 포인트와 그 이웃 데이터 포인트 사이에서 새로운 데이터를 생성합니다.
   • 새로운 데이터 포인트의 생성 방법:
     • 새로운 데이터 포인트는 원래의 소수 클래스 데이터 포인트와 그 이웃 데이터 포인트 사이에서 임의의 위치에 생성됩니다.
     • 수식으로 표현하면, 새로운 데이터 포인트 (x_{\text{new}})는 다음과 같이 계산됩니다:
       [
       x_{\text{new}} = x_{\text{original}} + \lambda \times (x_{\text{neighbor}} - x_{\text{original}})
       ]
       여기서 (\lambda)는 [0, 1] 사이의 임의의 값을 가지는 가중치입니다. 이로 인해 새로운 데이터 포인트가 원래 데이터 포인트와 그 이웃 사이의 임의의 위치에 생성됩니다.

3. 반복 및 데이터 증강:

   • 이 과정을 반복하여 소수 클래스에 대해 원하는 수만큼의 새로운 데이터 포인트를 생성합니다. 이로 인해 소수 클래스 데이터가 다수 클래스와 균형을 이루게 됩니다.

SMOTE의 예시

예시 상황:

• 금융 사기 탐지: 사기 거래 데이터는 정상 거래 데이터에 비해 매우 적습니다. 이 경우, SMOTE를 사용하여 사기 거래 데이터 포인트를 증강할 수 있습니다.

단계 1: 소수 클래스 데이터 포인트 선택:

• 금융 거래 데이터셋에서 사기 거래 데이터 포인트(소수 클래스)를 선택합니다.
• 각 사기 거래 데이터 포인트에 대해 k개의 가까운 이웃(사기 거래 데이터 포인트들)을 찾습니다. 예를 들어, k=5로 설정합니다.

단계 2: 새로운 데이터 포인트 생성:

• 원래 사기 거래 데이터 포인트와 그 이웃들 사이에서 새로운 데이터 포인트를 생성합니다.
• 예를 들어, 원래 데이터 포인트가 [1000 USD, 3 AM, Online Purchase]이고, 그 이웃이 [1200 USD, 3:15 AM, Online Purchase]라면, 새로운 데이터 포인트는 이 두 데이터 사이의 임의의 위치(예: [1100 USD, 3:07 AM, Online Purchase])에 생성됩니다.

단계 3: 반복 및 데이터 증강:

• 이 과정을 반복하여, 사기 거래 데이터 포인트를 기존보다 더 많이 생성하여, 정상 거래 데이터와 균형을 이루게 합니다. 이를 통해, 모델이 사기 거래 데이터를 더 잘 학습할 수 있도록 합니다.

SMOTE의 장점

1. 데이터 불균형 문제 해결:

   • SMOTE는 소수 클래스를 증강함으로써, 데이터 불균형 문제를 완화하고 모델이 소수 클래스에 대해 더 잘 학습할 수 있도록 합니다.

2. 과적합 방지:

   • 단순히 소수 클래스 데이터를 중복하여 증강하는 것과 달리, SMOTE는 새로운 데이터를 생성하여 과적합(overfitting)을 방지하는 데 효과적입니다.

3. 다양한 기법과의 결합:

   • SMOTE는 다른 머신러닝 알고리즘과 쉽게 결합될 수 있습니다. 특히, 분류 모델에서 소수 클래스의 성능을 개선하는 데 널리 사용됩니다.

SMOTE의 단점 및 주의사항

1. 노이즈 증폭 가능성:

   • 소수 클래스에 노이즈가 존재하는 경우, SMOTE가 이 노이즈를 증폭시킬 수 있습니다. 이로 인해 모델이 잘못된 패턴을 학습할 가능성이 있습니다.

2. 경계 포인트 문제:

   • SMOTE는 소수 클래스의 경계에서 데이터를 증강할 때, 다수 클래스와 혼합된 경계 포인트에서 잘못된 데이터를 생성할 가능성이 있습니다. 이로 인해 모델의 분류 성능이 저하될 수 있습니다.

3. 적용 제한:

   • SMOTE는 연속형 데이터에서 주로 효과적이며, 범주형 데이터에서는 직접 적용하기 어려울 수 있습니다. 범주형 데이터에서는, 특정 처리(예: One-Hot Encoding) 후 SMOTE를 적용해야 합니다.

결론

SMOTE는 소수 클래스의 데이터를 증강하여 데이터 불균형 문제를 해결하는 데 매우 유용한 기법입니다. 소수 클래스의 데이터를 인공적으로 생성함으로써, 모델이 이 클래스에 대해 더 잘 학습할 수 있도록 돕습니다. 그러나 노이즈 증폭이나 경계 포인트 문제와 같은 잠재적인 단점도 존재하므로, 이러한 점을 고려하여 신중하게 적용해야 합니다. SMOTE는 특히 금융, 헬스케어, 제조업 등에서 소수 클래스의 중요성이 큰 분야에서 널리 사용됩니다.