نظرية المعلومات

نظرية المعلومات Information theory أحد تخصصات و فروع الرياضيات التطبيقية الذي يتضمن تكمية Quantification (التحويل إلى كميات) البيانات بهدف تمكين نقل أو تخزين البيانات ضمن وسط ما أو نقلها عبر قناة اتصال ما بأكبر قدر ممكن . قياس المعلومات يعرف عادة بإنتروبية المعلومات و هو عبارة عن العدد الوسطي من البتات اللازم للتخزين أو الاتصال . مثلا ، إذا كان وصف الطقس اليومي له إنتروبية بمقدار 3 ، فذا يعني انه على مدى عدد كاف من الأيام يمكننا وصف الطقس اليومي يمعدل 3 بتات لليوم الواحد .

تطبيقات نظرية المعلومات الأساسية تتضمن : ضغط البيانات غير المنقوص lossless data compression : مثلا زيب (صيغة ملفات) ZIP ، ضغط البيانات المنقوص Lossy compression مثل إم.بي.ثري MP3 ، تشفير قنوات نقل البيانات و سعاتها channel capacity مثل خطوط دي.إس.إل DSL . يقع هذا الفرع عند حدود الرياضيات و الإحصاء ، و علوم الحاسب و الفيزياء و النيوروبيولوجيا و الهندسة الكهربائية . تطبيقاتها كانت أساسية ي نجاح مهمات فوياجير الفضائية ، و اختراع سي.دي CD ، و تطبيقات الهاتف المحمول ، و تطور الإنترنت. و حتى دراسة اللسانيات و الاستشعار الإنساني ، و أيضا فهم ظاهرة الثقوب السوداء و غيرها من الحقول و التطبيقات العلمية .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

 انظر أيضا

• نظرية الاتصالات Communication theory

• فلسفة المعلومات Philosophy of information

 تطبيقات

• علم التعمية Cryptography
• تحليل تعموي Cryptanalysis
• الإنتروبية في الترموديناميك ونظرية المعلومات Entropy in thermodynamics and information theory
• ذكاء (تجميع معلومات) Intelligence (information gathering
• مقامرة Gambling

 التاريخ

• تاريخ نظرية المعلومات
• الخط الزمني لنظرية المعلومات
• كلاود إيلوود سانون ]]
• رالف هارتلي
• هوبرت يوكي

 النظرية

• نظرية التشفير Coding theory
• تشفير مصدري Source coding
• نظرية Detection theory
• نظرية التقدير Estimation theory
• معلومات فيشر Fisher information
• تعقيد كولموغوروف Kolmogorov complexity
• جبر المعلومات Information Algebra

• هندسة المعلومات Information geometry
• نظرية المعلومات و نظرية القياس Information theory and measure theory
• منطق المعلومات Logic of information
• تشفير الشبكة Network coding
• معلوماتية كمومية Quantum information science
• نظرية المعلومات السميوتيكية Semiotic information theory
• فلسفة المعلومات Philosophy of Information

 مصطلحات

• معلومة ذاتية Self-information
• إنتروبية المعلومات Information entropy
• إنتروبية المفصل Joint entropy
• إنتروبية شرطية Conditional entropy
• Redundancy
• فناة (معلومات) Channel (communications
• مصدر اتصال Communication source
• متلقي (نظرية المعلومات) أو مستقبل Receiver (information theory
• إنتروبية رينييه Rényi entropy

• معلومات متبادلة Mutual information
• Pointwise Mutual Information (PMI)
• إنتروبية تفاضلية Differential entropy
• تقارب كولباك-لايبر Kullback-Leibler divergence
• سعة القناة Channel capacity
• Unicity distance
• ban (information)
• Covert channel
• مشفر Encoder
• محلل الشفرة Decoder

 وصلات خارجية

• Gibbs, M., "Quantum Information Theory", Eprint
• Schneider, T., "Information Theory Primer", Eprint
• Srinivasa, S. "A Review on Multivariate Mutual Information" PDF.
• Challis, J. Lateral Thinking in Information Retrieval
• Journal of Chemical Education, Shuffled Cards, Messy Desks, and Disorderly Dorm Rooms - Examples of Entropy Increase? Nonsense!
• IEEE Information Theory Society and the review articles.
• On-line textbook: Information Theory, Inference, and Learning Algorithms, by David MacKay - gives an entertaining and thorough introduction to Shannon theory, including state-of-the-art methods from coding theory, such as arithmetic coding, low-density parity-check codes, and Turbo codes.