『壹』 闡述如何計算信息熵計算以下信息熵:設某甲地的天氣預報為晴（佔4/8），陰（佔2/8），大雨（佔1
給個好評吧
『貳』 信息熵的計算公式是什麼
信息熵的計算公式為H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑P(xi)log(2,P(xi)) (i=1,2,..n)。
1948年，香農提出了「信息熵」的概念，才解決了對信息的量化度量問題。信息熵這個詞是C.E.Shannon（香農）從熱力學中借用過來的。熱力學中的熱熵是表示分子狀態混亂程度的物理量。香農用信息熵的概念來描述信源的不確定度。
特點：
信息熵的計算是非常復雜的。而具有多重前置條件的信息，更是幾乎不能計算的。所以在現實世界中信息的價值大多是不能被計算出來的。
但因為信息熵和熱力學熵的緊密相關性，所以信息熵是可以在衰減的過程中被測定出來的。因此信息的價值是通過信息的傳遞體現出來的。在沒有引入附加價值（負熵）的情況下，傳播得越廣、流傳時間越長的信息越有價值。
『叄』 如何計算密碼所攜帶的信息熵
可加性與強可加性（涉及到了兩個變數！）H（XY）為兩個隨機變數的聯合熵。可加性：H（XY）等於 X的無條件熵，加上已知 X 時 Y的條件概率的熵的平均值，即條件熵。對於 X 與 Y 獨立的情況有：（強可加性）資訊理論基礎2011年3月教材和參考書傅祖芸編著《資訊理論－基礎理論與應用》，電子工業出版社，2006第二版. 孟慶生《資訊理論》，西安交通大學，1986。（數學家寫的研究生教材，含編碼和密碼）朱雪龍《應用資訊理論基礎》，清華大學出版社,2000。（研究生教材，面向電子類，含編碼方法。王育民、梁傳甲《信息與編碼理論》，西電教材。 （內容深入，推導過程少）沈連豐、葉芝惠編著《資訊理論與編碼》東南大學碩士教材，科學出版社，2004，（面向通信專業）。周蔭清主編《信息理論基礎》北航出版社，2006（簡潔，面向電子類）T. M. Cover & J. A. Thomas , Elements of Information Theory ，Addison-Wesley Pub, 1990, 清華影印。R. J. McEliece《The Theory of Information and Coding》第二版，電子工業出版社，2003。（內容簡練，編碼方面較全） * J.H.Van Lint 《Introction to coding theory》 GTM 86, Springer-Verlag, 1998. * Roman 《Coding and information theory》, GTM 134，新的教材：在廣義資訊理論、網路資訊理論方面的內容有所增加。第一講 1-1 資訊理論的主要內容 1-2 信息的度量－信息熵 1-3 信息熵的性質 信息熵 1－1. 資訊理論的主要內容 香農資訊理論最初是為了解決通信問題而提出的。通信的重要意義是勿庸置疑的。類傳遞思想、表達情感，就需要相互交流。人類的勞動、生產、政治、文化、日常生活等都離不開通信。人類利用眼、耳、鼻、舌、身等五種感覺器官來感受外界的信息，形成一個信息流通的體系。通信方式的不斷提高，代表了人類文明和科技水平的不斷提高。通信的根本任務：將一地點的消息可靠地、有效地傳送到另一地點。信源干擾源信道信宿通信系統的基本模型：為了使消息可靠地、有效地傳送到信宿，就需要對信源的消息進行處理；信源編碼：實現有效性；信道編碼：實現可靠性；密碼：實現保密性及認證性；有沒有可靠的、有效的處理方法？如何進行編碼？香農資訊理論奠定了通信的理論基礎。信息是消息的不確定性度量。某消息出現的概率大，它的信息量就小，相反某消息出現的概率小，則它的信息量就大。通信的關鍵是信息的傳輸問題。 信源，信源，編碼信宿，信道，信道編碼，信道解碼，信源解碼加密鑰，加密解密鑰，解密 干擾源提出的背景：在香農資訊理論出現以前，沒有系統的通信理論。是香農，開創了資訊理論的研究，奠定了一般性通信 理論的基礎。對數字通信技術的形成有很大貢獻。（不論什麼樣的干擾信道，抓住了本質問題Shannon, 1916－2001)「A Mathematical Theory of Communication 」「 Communication Theory of Secrecy System 」 About Claude Elwood Shannon: 1916年生於 Gaylord, MI 的一個小鎮。母親是一個語言教師和中學校長，父親是一個商人。 16歲高中畢業，進入密西根大學。1936年獲得電子工程和數學雙學士學位。隨後進入 MIT，作為研究生和研究人員。
『肆』 信息熵是什麼
信息理論的鼻祖之一Claude E. Shannon把信息（熵）定義為離散隨機事件的出現概率。所謂信息熵，是一個數學上頗為抽象的概念，在這里不妨把信息熵理解成某種特定信息的出現概率。而信息熵和熱力學熵是緊密相關的。根據Charles H. Bennett對Maxwell's Demon的重新解釋，對信息的銷毀是一個不可逆過程，所以銷毀信息是符合熱力學第二定律的。而產生信息，則是為系統引入負（熱力學）熵的過程。所以信息熵的符號與熱力學熵應該是相反的。一般而言，當一種信息出現概率更高的時候，表明它被傳播得更廣泛，或者說，被引用的程度更高。我們可以認為，從信息傳播的角度來看，信息熵可以表示信息的價值。這樣子我們就有一個衡量信息價值高低的標准，可以做出關於知識流通問題的更多推論。
信息熵的計算是非常復雜的。而具有多重前置條件的信息，更是幾乎不能計算的。所以在現實世界中信息的價值大多是不能被計算出來的。但因為信息熵和熱力學熵的緊密相關性，所以信息熵是可以在衰減的過程中被測定出來的。因此信息的價值是通過信息的傳遞體現出來的。在沒有引入附加價值（負熵）的情況下，傳播得越廣、流傳時間越長的信息越有價值。
熵首先是物理學里的名詞.在傳播中是指信息的不確定性,一則高信息度的信息熵是很低的,低信息度的熵則高。具體說來，凡是導致隨機事件集合的肯定性，組織性，法則性或有序性等增加或減少的活動過程，都可以用信息熵的改變數這個統一的標尺來度量。
『伍』 請問一幅圖像的信息熵怎麼計算信息熵越大越好分類，還是越小越好分類
信息熵是指信息的混亂程度，從這面角度來說，是越小越好分類
『陸』 如何計算影像的信息熵
俗語道：「人要交流，馬要試騎。」人的存在就離不開交往。一個人成功的過程是了解社會，認識社會，充分利用社會給予自己的一切條件去實現自己的遠大理想、目標的過程。在這個過程中，自身要與方方面面的人打交道，與那些對自己的事業有各種影響的
『柒』 信息熵只是物理概念嗎
顯然不是物理概念
信息熵：信息的基本作用就是消除人們對事物的不確定性。多數粒子組合之後，在它似像非像的形態上押上有價值的數碼，具體地說，這就是一個在博弈對局中現象信息的混亂。
香農指出，它的准確信息量應該是
-(p1*log(2,p1) + p2 * log(2,p2) +．．．+p32 *log(2,p32))，
信息熵
其中，p1，p2 ，．．．，p32 分別是這 32 個球隊奪冠的概率。香農把它稱為「信息熵」 (Entropy)，一般用符號 H 表示，單位是比特。
有興趣的讀者可以推算一下當 32 個球隊奪冠概率相同時，對應的信息熵等於五比特。有數學基礎的讀者還可以證明上面公式的值不可能大於五。對於任意一個隨機變數 X（比如得冠軍的球隊），它的熵定義如下：
變數的不確定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。
信息熵是資訊理論中用於度量信息量的一個概念。一個系統越是有序，信息熵就越低；
反之，一個系統越是混亂，信息熵就越高。所以，信息熵也可以說是系統有序化程度的一個度量。
熵的概念源自熱物理學。
假定有兩種氣體a、b，當兩種氣體完全混合時，可以達到熱物理學中的穩定狀態，此時熵最高。如果要實現反向過程，即將a、b完全分離，在封閉的系統中是沒有可能的。只有外部干預（信息），也即系統外部加入某種有序化的東西（能量），使得a、b分離。這時，系統進入另一種穩定狀態，此時，信息熵最低。熱物理學證明，在一個封閉的系統中，熵總是增大，直至最大。若使系統的熵減少（使系統更加有序化），必須有外部能量的干預。
信息熵的計算是非常復雜的。而具有多重前置條件的信息，更是幾乎不能計算的。所以在現實世界中信息的價值大多是不能被計算出來的。但因為信息熵和熱力學熵的緊密相關性，所以信息熵是可以在衰減的過程中被測定出來的。因此信息的價值是通過信息的傳遞體現出來的。在沒有引入附加價值（負熵）的情況下，傳播得越廣、流傳時間越長的信息越有價值。
熵首先是物理學里的名詞。
在傳播中是指信息的不確定性，一則高信息度的信息熵是很低的,低信息度的熵則高。具體說來，凡是導致隨機事件集合的肯定性，組織性，法則性或有序性等增加或減少的活動過程，都可以用信息熵的改變數這個統一的標尺來度量。
『捌』 求信息熵的計算方法!!
H(x)=lb，應該是求平均互信息熵。
熵的計算
『玖』 信宿Y的信息熵怎麼求
Y的信息熵計算為：p(優) = 4/5 = 0.8，p(差) = 1/5 = 0.2，列X的信息熵 為： H（x）= - ( 0.8 * log2(0.8) + 0.2 * log2(0.2)) = 0.72.......
X的信息熵計算為：p(男) = 3/5 = 0.6，p(女) = 2/5 = 0.4，列X的信息熵為：H（x）= - ( 0.6 * log2(0.6) + 0.4 * log2(0.4)) = 0.97.......
由信息熵引出的條件熵，條件熵的概念類似於條件概率，就是再給定X的情況的條件下，y的信息熵。
『拾』 信息熵的計算公式，麻煩通俗地講一下。
信息熵的計算公式：H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑P(xi)log(2,P(xi)) (i=1,2,..n)。
其中，x表示隨機變數，與之相對應的是所有可能輸出的集合，定義為符號集,隨機變數的輸出用x表示。P(x)表示輸出概率函數。變數的不確定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。
信息熵是數學方法和語言文字學的結合，基本計算公式是未H = - LOG2(P)。其中，H 表示信息熵，P 表示某種語言文字的字元出現的概率，LOG2是以二為底的對數，用的是二進制，因而，信息熵的單位是比特（BIT，即二進制的0和1）。信息熵值就是信息熵的數值。
(10)一部電影的信息熵怎麼計算擴展閱讀：
信息熵的相關介紹：
一個信源發送出什麼符號是不確定的，衡量它可以根據其出現的概率來度量。概率大，出現機會多，不確定性小；反之不確定性就大。不確定性函數f是概率P的減函數；兩個獨立符號所產生的不確定性應等於各自不確定性之和。
人們常常說信息很多，或者信息較少，但卻很難說清楚信息到底有多少。比如一本五十萬字的中文書到底有多少信息量。
直到1948年，香農提出了「信息熵」的概念，才解決了對信息的量化度量問題。信息熵這個詞是C．E．香農從熱力學中借用過來的。熱力學中的熱熵是表示分子狀態混亂程度的物理量。香農用信息熵的概念來描述信源的不確定度。資訊理論之父克勞德·艾爾伍德·香農第一次用數學語言闡明了概率與信息冗餘度的關系。