cross entropy 예제

정보 이론에서 동일한 기본 이벤트 집합에 대한 두 확률 분포 p {displaystyle p}와 q {displaystyle q} 간의 교차 엔트로피는 코딩 체계가 사용되는 경우 세트에서 가져온 이벤트를 식별하는 데 필요한 평균 비트 수를 측정합니다. 집합은 실제 분포 p {displaystyle p}가 아닌 예상 확률 분포 q {displaystyle q}에 최적화되어 있습니다. 짜잔! 우리는 바이너리 크로스 엔트로피 / 로그 손실에 대한 원래의 공식으로 돌아 다 : -) 엔트로피, 크로스 엔트로피 등 모든 개념을 포함하여 정보 이론을 더 깊이 파고 들고 싶다면 Chris Olah의 게시물을 확인하십시오. 농담을 제쳐두고,이 게시물은 매우 수학적으로 기울어질 수 없습니다 … 하지만 당신의 사람들을 위해, 내 독자, 엔트로피의 역할을 이해하고자하는, 이 모든 로그, 여기에 우리가 이동 🙂 반면에, 포인트의 절반이 녹색이고 나머지 절반은 빨간색으로 알고 있다면 어떨까요? 그건 최악의 시나리오, 오른쪽? 우리는 포인트의 색상을 추측에 절대적으로 가장자리가 없을 것이다 : 그것은 완전히 무작위입니다! 이 경우 엔트로피는 아래 공식에 의해 주어집니다 (우리는 두 클래스 (색상)- 빨간색 또는 녹색 – 따라서, 2: 엔트로피 개념의 이해를 도와야 하는 기사Demystifying 엔트로피 이미 그것에 익숙하지 않은 경우. 우리가 아래 볼 수 있듯이, 엔트로피를 표현 하는 다양 한 방법이 있다. 나는 시각적으로 명확하고 간결한 방식으로 이진 크로스 엔트로피 / 로그 손실 뒤에 개념을 설명 할 블로그 게시물을 찾고 있었다, 그래서 나는 데이터 과학 리트리트에서 내 학생들에게 보여 줄 수 있었다. 나는 내 목적에 맞는 것을 찾을 수 없었기 때문에, 나는 그것을 직접 쓰는 일을했다 🙂 로지스틱 회귀에서 사용하는 일반적인 비용 함수는 샘플의 모든 교차 엔트로피의 평균을 취하여 계산됩니다. 예를 들어 n {displaystyle N} 샘플이 n = 1로 인덱싱된 각 샘플이 있다고 가정합니다. 손실 함수는 다음에 의해 주어진: 이 결코 일어나지 않을 가능성이 있기 때문에, 크로스 엔트로피 는 실제 분포에 계산 된 엔트로피 보다 더 큰 값을 가질 것 이다. 게다가, 엔트로피는이 모든 것과 무슨 상관이 있습니까? 왜 우리는 처음에 확률의 로그를 복용? 다음은 유효한 질문이며 아래의 “수학 쇼”섹션에서 답변하기를 바랍니다.

하나의 핫 인코딩을 각 이미지에 대한 확률 분포로 처리할 수 있습니다. 몇 가지 예를 살펴보겠습니다. 정의는 Kullback-Leibler 발산 D K L (p q) {디스플레이 스타일 D_{mathrm {KL} }(p\q)}에서 q {디스플레이 스타일 q} p {디스플레이 스타일 p} (p {displaystyle p}의 상대 엔트로피라고도 함)를 사용하여 공식화될 수 있습니다. — 강조의 반전을 주목). 엔트로피에 대한 짧은 소개, 크로스 엔트로피, KL-발산 우리의 표기칭을 설정 한, p{{y , 1 – y } {y,1-y}} 및 q{{y { y ^ 1 – y ^ {{***}}}}}를 사용할 수 있습니다. ity p {displaystyle p}와 q {displaystyle q} 사이의 ity : 예를 들어 교차 엔트로피를 분류 비용 함수로 사용하는 것은 모델을 더 잘 학습하여 줄이는 데만 신경을 쓰는 것이 합리적입니다. 모든 포인트가 녹색이라면 어떨까요? 그 분포의 불확실성은 무엇입니까? 0, 맞죠? 결국, 포인트의 색상에 대한 의심의 여지가없을 것이다 : 그것은 항상 녹색입니다! 그래서, 엔트로피는 제로입니다! 분포에 대한 교차 엔트로피 p {displaystyle p} 및 q {displaystyle q} 주어진 집합에 대 한 정의: 즉, 엔트로피는 특정 확률 분포를 따르는 이벤트에 대 한 이론적인 최소 평균 인코딩 크기를 알려줍니다.

2nd August 2019 Uncategorized