🔍 정보는 얼마나 복잡할까? — 4가지 엔트로피 이야기
새넌 엔트로피, 폰 노이만 엔트로피, Rényi 엔트로피, 얽힘 엔트로피의 공통점과 차이점
우리는 매일 엄청난 양의 정보를 주고받고 있습니다.
그런데 ‘정보’라는 개념은 단순히 숫자나 문자가 아닙니다.
“얼마나 예측이 어렵냐”, “얼마나 섞여 있냐”, “얼마나 얽혀 있냐”처럼
복잡성과 불확실성을 측정하는 수학적 도구가 필요합니다.
그 대표적인 개념이 바로 ‘엔트로피(Entropy)’입니다.
📌 1. Shannon 엔트로피: 정보의 평균적인 불확실성
1948년, 클로드 새넌은 이런 질문을 했습니다.
“어떤 사건이 일어날 확률이 여러 개 있을 때, 우리는 평균적으로 얼마만큼 놀랄까?”
그 수학적 표현은 다음과 같습니다: H(P)=−∑i pi log pi
여기서 pi 는 사건 i 가 일어날 확률입니다.
확률이 작을수록 로그 값은 커지고, 예측이 어려울수록 정보량은 많아집니다.
📌 2. 폰 노이만 엔트로피: 양자 세계의 불확실성
양자역학에서는 상태가 확률분포가 아닌 “밀도 행렬 ρ”로 표현됩니다.
이 경우, 엔트로피는 이렇게 정의됩니다: S(ρ)=−Tr(ρ log ρ)
즉, 고전적 엔트로피를 양자적으로 확장한 것입니다.
이 값이 0이면 완전히 순수한 상태 (불확실성 없음),
최대가 되면 완전히 섞인 상태를 의미합니다.
📌 3. Rényi 엔트로피: 더 민감하게 혹은 덜 민감하게
Rényi 엔트로피는 엔트로피의 ‘버전 조절이 가능한’ 일반화된 형태입니다.
지수 α(alpha)를 통해 특정 성분에 민감도를 다르게 줄 수 있습니다. Sα(ρ)=1/(1−α) log Tr(ρα)
- α→1 : 폰 노이만 엔트로피와 같아짐
- α=2 : ‘충돌 엔트로피’ (collision entropy)
- α→∞ : 가장 큰 고윳값에만 집중하는 ‘최소 엔트로피’
📌 4. 얽힘 엔트로피: “우리는 얼마나 얽혀 있을까?”
얽힘 엔트로피는 사실 폰 노이만 엔트로피를 특정 상황에 적용한 것입니다.
전체 양자 상태가 ∣Ψ⟩AB 라는 순수 상태일 때,
부분계 A의 엔트로피를 다음처럼 계산합니다:
SA=−Tr(ρAlog ρA), ρA=TrB(∣Ψ⟩⟨Ψ∣)
즉, 부분계를 ‘측정’한 결과로 얻은 밀도 행렬 ρA 의 엔트로피입니다.
이 값이 클수록 A와 B는 더 깊이 얽혀 있다는 뜻입니다.
📊 공통점은?
- 모두 ‘불확실성’ 또는 ‘정보량’을 수치로 표현
- 모두 로그(log)를 사용하여, 확률이 낮을수록 높은 정보량
- 상태가 독립적일 경우 서로 더할 수 있는 성질 (additivity)
❗ 차이점은?
| 항목 | 새넌 | 폰 노이만 | Rényi | 얽힘 |
|---|---|---|---|---|
| 적용 | 고전 확률 | 양자 상태 ρ | 고전/양자 모두 | 양자 상태의 부분계 |
| 해석 | 정보량 | 혼합도, 열역학적 엔트로피 | 정보감도 조절 | 얽힘의 양 |
| 특징 | 평균적 예측 불가능성 | 양자 무질서의 측정 | α에 따라 달라짐 | 순수 상태의 부분계에서만 정의 |
✨ 마무리: 엔트로피는 “정보의 눈금자”
우리가 어떤 상황에서 ‘무엇을 측정하느냐’에 따라
사용하는 엔트로피의 종류도 달라집니다.
- 정보를 압축하려면 → Shannon
- 양자 상태의 복잡성을 보려면 → von Neumann
- 다양한 감도 수준이 필요하다면 → Rényi
- 얽힘 정도를 알고 싶다면 → Entanglement Entropy
이 네 가지는 서로 다르지만,
하나의 공통된 철학을 공유합니다:
👉 “정보란 곧, 불확실성이다.”
궁금하신 부분이 있다면 유튜브 토트샘 채널에 댓글로 남겨주세요!
🕳️✨