알고리즘별 상세3 - Variational Auto Encoder

Variational Autoencoder (VAE)의 특징

Variational Autoencoder (VAE)는 확률적 그래픽 모델과 심층 신경망을 결합한 형태의 생성 모델로, 데이터의 잠재 분포를 학습하여 새로운 데이터를 생성하거나 이상치를 탐지하는 데 사용됩니다. VAE는 입력 데이터를 잠재 공간(Latent Space)으로 압축하고, 이 잠재 공간에서 샘플링된 데이터를 다시 원래 공간으로 복원하는 과정을 통해 학습합니다.

VAE는 다음과 같은 구성 요소로 이루어져 있습니다:

• 인코더(Encoder): 입력 데이터를 잠재 공간으로 변환합니다. 입력 데이터의 분포를 정규분포(Gaussian Distribution)로 가정하여 평균과 분산을 계산합니다.
• 잠재 공간(Latent Space): 인코더가 학습한 잠재 벡터(z)를 기반으로 샘플링이 이루어집니다.
• 디코더(Decoder): 잠재 공간에서 샘플링된 벡터를 다시 원래 데이터 공간으로 복원합니다.
• KL Divergence: 잠재 공간의 분포와 정규 분포 간의 차이를 최소화하는 데 사용됩니다.

산업 적용 사례: 의료 영상 데이터의 이상 탐지

1. 상황 설명:

의료 영상 데이터(예: MRI, CT 스캔)에서 비정상적인 패턴을 탐지해야 합니다. 정상적인 의료 영상 데이터를 학습하여 이상치(예: 종양, 결절 등)를 탐지하는 시스템을 구축합니다. VAE를 사용하여 정상 패턴을 학습하고, 정상 패턴에서 벗어나는 이상 패턴을 탐지합니다.

2. 데이터 입력:

• 수집된 데이터:
  • 이미지 데이터: 각 환자의 MRI 스캔 이미지(예: 256x256 픽셀 크기의 흑백 이미지).

VAE 모델은 이 이미지 데이터를 입력받아 학습합니다.

3. VAE 모델 학습:

• 인코더: 이미지 데이터를 잠재 공간으로 변환하여 잠재 벡터 ( z )를 생성합니다. 이 과정에서 이미지 데이터는 평균 ( \mu )와 분산 ( \sigma^2 )로 표현됩니다.

  • 예시: 이미지 데이터 → 인코더 → 잠재 벡터 ( z ) (128 차원)

• 디코더: 잠재 벡터 ( z )에서 샘플링된 데이터를 다시 이미지 데이터로 복원합니다.

  • 예시: 잠재 벡터 ( z ) → 디코더 → 복원된 이미지

4. 재구성 오류 계산:

• 재구성 오류(Reconstruction Error): 원본 이미지와 복원된 이미지 간의 차이를 계산합니다.

  • MSE (Mean Squared Error):
    [
    \text{MSE} = \frac{1}{N} \sum_{i=1}^{N} (x_i - \hat{x}_i)^2
    ]
    여기서 ( x_i )는 원본 이미지의 픽셀 값, ( \hat{x}_i )는 복원된 이미지의 픽셀 값입니다.

• KL Divergence: 잠재 공간의 분포가 정규 분포를 따르도록 강제하기 위해 사용됩니다.

  • 수식:
    [
    D_{\text{KL}}(q(z|x) | p(z)) = \frac{1}{2} \sum_{j=1}^{J} \left( 1 + \log(\sigma_j^2) - \mu_j^2 - \sigma_j^2 \right)
    ]

5. 이상치 판단:

• 임계값 설정: 재구성 오류와 KL Divergence의 조합을 통해 임계값을 설정합니다. 재구성 오류가 정상 데이터보다 크게 나타나는 경우 이상치로 판단합니다.
• 이상 판단 근거: 특정 이미지에서 재구성 오류가 임계값을 초과하면 해당 이미지를 이상치로 간주합니다. 예를 들어, 종양이 있는 이미지에서 복원된 이미지와 원본 이미지 간의 큰 차이로 인해 재구성 오류가 높게 나타날 수 있습니다.

6. 이상치 탐지 후 조치:

• 의료진 검토: 이상치로 판단된 이미지는 의료진이 검토하여 실제로 병변이 존재하는지 확인합니다.
• 추가 검사 요청: 이상치로 판단된 환자에 대해 추가적인 검사를 요청하고, 치료 계획을 세웁니다.

운영 시 유의사항 및 보완 방법

1. 잠재 공간의 해석 가능성 문제:

• 문제: VAE의 잠재 공간은 고차원 공간에서의 벡터로 표현되기 때문에, 이를 직접 해석하기 어려울 수 있습니다. 이로 인해 이상치 탐지의 이유를 명확히 설명하기 어려울 수 있습니다.
• 보완 방법:
  • Latent Space 시각화: 잠재 공간을 2D 또는 3D로 축소하여 시각화하고, 정상 데이터와 이상 데이터가 어떻게 분포하는지 확인합니다. 이를 통해 이상치가 왜 발생했는지를 해석할 수 있습니다.
  • Feature Importance 분석: 잠재 벡터의 특정 차원이 특정 특징에 대응하도록 유도하여, 해석 가능성을 높일 수 있습니다.

2. 재구성 오류의 불균형 문제:

• 문제: 재구성 오류가 데이터의 특정 부분에서만 과도하게 발생하거나, 전반적으로 높은 재구성 오류를 가지는 경우 정상 데이터에서도 오탐(False Positive)이 발생할 수 있습니다.
• 보완 방법:
  • 정규화 기법: 재구성 오류를 데이터의 각 부분에 따라 정규화하여 불균형을 완화할 수 있습니다.
  • 다양한 데이터 샘플링: 다양한 유형의 정상 데이터를 사용하여 모델이 다양한 정상 패턴을 학습할 수 있도록 합니다.

3. KL Divergence의 조정 문제:

• 문제: KL Divergence를 너무 강하게 적용하면 잠재 공간이 지나치게 정규화되어 재구성 성능이 떨어질 수 있습니다. 반대로 너무 약하게 적용하면 잠재 공간의 분포가 왜곡될 수 있습니다.
• 보완 방법:
  • β-VAE 사용: KL Divergence의 영향을 조절하기 위해 β-VAE(β가 조정 파라미터로 도입된 VAE)를 사용하여, 재구성 성능과 잠재 공간 정규화를 균형 있게 조절할 수 있습니다.

4. 데이터 불균형 문제:

• 문제: 의료 영상 데이터에서 특정 정상 패턴이 너무 많거나, 특정 이상 패턴이 매우 드물게 발생할 경우, VAE가 데이터의 불균형 때문에 편향될 수 있습니다.
• 보완 방법:
  • 데이터 증강: 부족한 데이터의 양을 증가시키기 위해 데이터 증강 기법을 사용하여 모델이 다양한 패턴을 학습할 수 있도록 합니다.
  • 클래스 가중치 적용: 데이터 불균형 문제를 완화하기 위해 클래스 가중치를 적용하여, 희소한 데이터에 더 큰 중요도를 부여할 수 있습니다.

결론

VAE 기반의 이상탐지 알고리즘은 데이터의 잠재 분포를 학습하고, 이를 통해 정상 패턴에서 벗어나는 이상치를 탐지하는 데 매우 유용합니다. 특히, 이미지나 복잡한 구조를 가진 데이터에서 효과적으로 사용될 수 있습니다. 그러나 잠재 공간의 해석 가능성, 재구성 오류의 불균형, KL Divergence 조정, 데이터 불균형 등의 문제에 유의해야 하며, 이를 해결하기 위한 보완 방법을 적용해야 안정적인 이상탐지 시스템을 구축할 수 있습니다.