양자정보 개요 편집하기 (부분)

경고: 로그인하지 않았습니다. 편집을 하면 IP 주소가 공개되게 됩니다. 로그인하거나 계정을 생성하면 편집자가 사용자 이름으로 기록되고, 다른 장점도 있습니다.

= 엔트로피 (Entropy) =

정보이론에서 엔트로피는 정보의 정량화 함수로 활용되며, 양자정보의 근간이 되는 개념 중 하나이다. 고전 확률분포 사이의 정보를 정량화할 때 주로 사용되는 것은 섀넌 엔트로피(Shannon entropy)이다. 섀넌 엔트로피는 어떤 무작위 측정 $$A$$가 존재할 때, 측정 후 얻을 수 있는 정보를 정량화 한다. 측정값 {$$a$$}에 대하여 측정 확률분포가 {$$p_{a}$$}로 주어지는 무작위 측정 $$A$$가 존재한다고 가정하자. 이 때 섀넌 엔트로피는 다음과 같이 정의된다. 여기에서, 정보를 비트 단위로 계산하기 때문에, 로그함수의 밑을 흔히 2로 한다.

\[H(A)= - \sum_{a}^{}{ p_{a}\log p_{a}}\]

위에서 엔트로피는 음의 로그 함수의 기댓값 형태로 정의된 것을 알 수 있다. 어떤 확률 $$p$$의 음의 로그 $$- \log p$$는 확률이 낮을수록, 다시 말해 정보의 예측 불가능성이 높을수록 큰 값을 갖는다. 또한 로그 형태 표현을 통해 정보량을 표현하면, 두 개 확률 $$p$$, $$q$$의 곱에 해당하는 정보량을 각각의 정보량의 합으로 표현할 수 있다. $$- \log{pq}= - \log p - \log q$$. 이런 관점에서 무작위하게 측정값이 주어지는 측정의 섀넌 엔트로피는 각각의 측정값에 해당하는 정보량 또는 무작위도의 평균값으로 이해할 수 있다. 기본적인 엔트로피 표현 형태로, 이항 엔트로피(binary entropy), 상대 엔트로피(relative entropy), 결합 엔트로피(joint entropy), 조건부 엔트로피(conditional entropy)가 있다. 이항 엔트로피는 측정값의 확률분포가 두 가지 확률 $$p$$, $$1 - p$$로 주어지는 경우에 대한 엔트로피로서 다음과 같이 정의된다.

\[H_{\text{bin}}(p)= - p\log p - (1 - p)\log(1 - p)\]

이항 엔트로피는 $$H(p)= H(1 - p)$$의 관계가 성립하는 $$p =1\text{/}2$$에 대한 대칭 함수이며, $$p= 1\text{/}2$$인 경우에 그 최댓값 1을 갖는다. 상대 엔트로피는 같은 변수 $$a$$에 대한 두 개 확률 분포 {$$p_{a}$$}와 {$$q_{a}$$}의 가까운 정도를 정량화하는 데 유용한 함수이다.<ref name=Nielsen /> 두 확률분포에 대한 상대 엔트로피는 다음과 같이 정의된다.

\[H(p_{a}||q_{a}) =\sum_{a}^{}{p_{a}\log\frac{p_{a}}{q_{a}}}= - H(A) - \sum_{a}^{}{ p_{a}\log q_{a}}\]

결합 엔트로피와 조건부 엔트로피는 두 개의 무작위 측정값을 갖는 측정 $$A,\ B$$가 주어질 때의 엔트로피이다. 두 측정의 결합 확률분포를 $$p(a,\ b)$$로 주어질 때, 결합 엔트로피 $$H(A,B)$$와 조건부 엔트로피 $$H(A|B)$$는 다음과 같은 형태로 정의된다.

\[{H(A,B)= - \sum_{a,b}^{}{ p(a,b)\log{p(a,b)}}}\]
\[{H(A|B)= H(A,B) - H(B)}\]

위 식 아래에 있는 조건부 엔트로피 $$H(A|B)$$는 $$B$$의 측정결과를 알고 있을 때 $$A$$의 측정결과가 얼마나 무작위한지를 평균적으로 정량화하는 값이다.

섀넌 엔트로피는 고전적인 확률분포가 주어질 때 측정값의 무작위도를 정량화 한다. 이러한 정량화 방식을 확률분포가 아니라 밀도 연산자에 대해 적용하여, 밀도 연산자에 대한 엔트로피를 생각할 수 있는데, 이를 처음 제안한 물리학자의 이름을 따 폰 노이만 엔트로피(Von Neumann entropy)라 부르며, 다음과 같이 정의한다.

\[S(\rho)= - \text{tr}\left( \rho\log\rho \right) =- \lambda_{a}\log\lambda_{a}\]

위 식 끝에 있는 표현식은 밀도 행렬의 고유값 $$\lambda_{a}$$의 함수로 표현한 식이다. 폰 노이만 엔트로피는 다음과 같은 기본 성질을 갖는다.
 
1) 엔트로피는 0 이상의 값을 가지며, 순수 상태인 경우에만 필요충분적으로 엔트로피가 0값을 갖는다.

2) $$d$$차원 힐베르트 공간에서 엔트로피는 최대 $$\log d$$ 값을 가진다. 상태가 최대 혼합 상태에 있는 경우에만 필요충분적으로 $$\log d$$ 값을 갖는다.

3) 합성 물리계(composite system) $$A$$와 $$B$$가 순수 상태에 있을 때, 다음이 성립한다. $$S(A)= S(B)$$.<ref name =Nielsen />

요약:

한국양자정보학회 위키에서의 모든 기여는 다른 기여자가 편집, 수정, 삭제할 수 있다는 점을 유의해 주세요. 만약 여기에 동의하지 않는다면, 문서를 저장하지 말아 주세요.
또한, 직접 작성했거나 퍼블릭 도메인과 같은 자유 문서에서 가져왔다는 것을 보증해야 합니다(자세한 사항은 한국양자정보학회 위키:저작권 문서를 보세요). 저작권이 있는 내용을 허가 없이 저장하지 마세요!

취소 편집 도움말 (새 창에서 열림)

원본 주소 "https://wiki.qisk.or.kr/양자정보_개요"

양자정보 개요 편집하기 (부분)

둘러보기 메뉴

검색