25 клод шеннон основоположник теории информации. Клод шеннон краткая биография и интересные факты

В книге прослеживается история и эволюция компьютерного мира, которую можно условно разделить на несколько периодов: период, предшествующий компьютерной эпохе; период создания первых компьютеров и появления первых языков программирования; период становления и развития компьютерной индустрии, возникновения компьютерных систем и сетей; период создания объектно-ориентированных языков программирования и новых компьютерных технологий. Каждая из глав книги посвящена отдельному периоду, изобретателям, конструкторам и программистам - архитекторам компьютерного мира.

Для широкого круга читателей

Книга:

В наше время идеи Шеннона играют важную роль почти во всех системах, хранящих, обрабатывающих или передающих информацию в цифровой форме, от лазерных дисков до компьютеров, от машин до автоматических космических станций…

Дж. Хорган

Клод Шеннон

В конце 1930-х годов Шеннон был первым, кто связал булеву алгебру с переключающими цепями, являющимися составной частью современных компьютеров. Благодаря этому открытию булева алгебра могла быть использована как способ организации внутренних операций компьютера, способ организации логической структуры компьютера. Таким образом, компьютерная промышленность многим обязана этому человеку, даже несмотря на то, что его интересы подчас находились далеко от компьютеров.

Его отец был адвокатом и в течение некоторого времени судьей. Его мать преподавала иностранные языки и стала директором Еайлордской средней школы. Молодой Клод очень любил конструировать автоматические устройства. Он компоновал модели самолетов и радиоцепи, создал также радиоуправляемую лодку и телеграфную систему между своим домом и домом друга. Он исправил радиостанции для местного универмага. Томас Эдисон был одновременно его героем детства и дальним кузеном, хотя они ни разу не встречались. Позже Шеннон добавил Исаака Ньютона, Чарльза Дарвина, Альберта Эйнштейна и Джона фон Неймана в список своих героев. В 1932 году Шеннон был зачислен в Мичиганский университет. Клод Шеннон специализировался в электротехнике. Но математика также его увлекала, и он пытался посещать столько курсов, сколько было возможно. Один из тех математических курсов, по символической логике, сыграл большую роль в его карьере. Он получил степень бакалавра по электротехнике и математике. "Вот история моей жизни, - говорит Шеннон. - Взаимодействие между математикой и электротехникой".

В 1936 году Клод Шеннон стал аспирантом Массачусетского технологического института (MIT). Его руководитель Ванневар Буш, создатель дифференциального анализатора (аналогового компьютера) в качестве темы диссертации предложил описать логическую организацию анализатора.

Работая над диссертацией, Шеннон пришел к выводу, что булева алгебра может с успехом использоваться для анализа и синтеза переключателей и реле в электрических схемах. Шеннон писал: "Сложные математические операции возможно выполнить посредством релейных цепей. Числа могут быть представлены позициями реле и шаговыми переключателями. Соединив определенным образом наборы реле, можно производить различные математические операции". Таким образом, объяснял Шеннон, можно собрать релейную схему, выполняющую логические операции И, ИЛИ и НЕ. Также можно реализовать сравнения. С помощью таких цепей легко осуществить конструкцию "If… then…".

В 1937 году Шенноном написана диссертация под названием "Символический анализ релейных и переключательных цепей". Это была необычная диссертация, она расценивалась как одна из наиболее значимых во всей науке того времени: то, что сделал Шеннон, проложило путь к разработке цифровых компьютеров.

Работа Шеннона имела очень важное значение: теперь инженеры в своей повседневной практике, создавая аппаратуру и программы для компьютеров, сети телефонной связи и другие системы, постоянно пользуются булевой алгеброй. Шеннон преуменьшал свою заслугу в этом открытии. "Просто случилось так, что никто другой не был знаком с этими обеими областями (математика и электротехника. - А. Ч.) одновременно," - говорил он. И после заявлял: "Мне всегда нравилось это слово - булева".

Справедливости ради нужно заметить, что до Шеннона установлением связи между булевой алгеброй и переключательными цепями занимались в Америке Ч. Пирс, в России - П. С. Эренфест, В. И. Шестаков и др.

По совету Буша Шеннон решил добиваться докторской степени по математике в MIT. Идея его будущей диссертации родилась у него летом 1939 года, когда он работал в Cold Spring Habor в Нью-Йорке. Буш был назначен президентом Carnegie Institution в округе Вашингтон и предложил Шеннону провести там немного времени: работа, которую делала Барбара Беркс по генетике, могла послужить предметом, для которого Шеннон применит свою алгебраическую теорию. Если Шеннон смог организовать переключение цепей, то почему он не сможет сделать то же в генетике? Докторская диссертация Шеннона, получившая название "Алгебра для теоретической генетики", была завершена весной 1940 года. Шеннон получает докторскую степень по математике и степень магистра по электротехнике. Т. Фрай, директор отделения математики в Bell Laboritories, был впечатлен работой Шеннона в области символической логики и его математическим мышлением. Летом 1940 года он приглашает Шеннона работать в Bell. Там Шеннон, исследуя переключающие цепи, обнаружил новый метод их организации, позволяющий уменьшить количество контактов реле, необходимых для реализации какой-либо сложной логической функции. Он опубликовал доклад, названный "Организация двухполюсных переключающих цепей". В конце 1940 года Шеннон получил Национальную научно-исследовательскую премию. Весной 1941 года он вернулся в Bell Laboratories. С началом войны Т. Фрай возглавил работу над программой для систем управления огнем для противовоздушной обороны. Шеннон присоединился к этой группе и работал над устройствами, которые засекали вражеские самолеты и нацеливали зенитные установки.

AT&T, владелец Bell Laboratories, была ведущей фирмой мира в области связи и естественно, что в лабораториях Bell также велись работы по системам связи. На этот раз Шеннон заинтересовался электронной передачей сообщений. Мало, что было понятно ему в этой области, но он верил, что математика знала ответы на большинство вопросов.

Сначала Шеннон задался простой целью: улучшить процесс передачи информации по телеграфному или телефонному каналу, находящемуся под воздействием электрических возмущений или шума. Он пришел к выводу, что наилучшее решение заключается не в техническом усовершенствовании линий связи, а в более эффективной упаковке информации.

Что такое информация? Оставляя в стороне вопрос о содержании этого понятия, Шеннон показал, что это измеримая величина: количество информации, содержащейся в данном сообщении, есть функция вероятности, что из всех возможных сообщений будет выбрано данное. Он назвал общий потенциал информации в системе сообщений как ее "энтропию". В термодинамике это понятие означает степень случайности (или, если угодно, "перемешанности") системы. (Однажды Шеннон сказал, что понятием энтропии ему посоветовал воспользоваться математик Джон фон Нейман, указавший, что, т. к. никто не знает, что это такое, у Шеннона всегда будет преимущество в спорах, касающихся его теории.)

Шеннон определил основную единицу количества информации, названную потом битом, как сообщение, представляющее один из двух вариантов: например, "орел" - "решка", или "да" - "нет". Бит можно представить как 1 или 0, или как присутствие или отсутствие тока в цепи.

На этом математическом фундаменте Шеннон затем показал, что любой канал связи имеет свою максимальную пропускную способность для надежной передачи информации. В действительности он доказал, что, хотя можно приблизиться к этому максимуму за счет искусного кодирования, достичь его невозможно. Этот максимум получил известность как предел Шеннона.

Каким образом можно приблизиться к пределу Шеннона? Первый шаг заключается в том, чтобы воспользоваться избыточностью кода. Подобно тому как влюбленный мог бы лаконично написать в своей любовной записке "я лбл в", путем эффективного кодирования можно сжать информацию, представив ее в наиболее компактной форме. С помощью специальных методов кодирования, позволяющих проводить коррекцию ошибок, можно гарантировать, что сообщение не будет искажено шумом.

Идеи Шеннона были слишком провидческими, чтобы иметь немедленный практический эффект. Схемы на вакуумных электронных лампах просто не могли еще вычислять сложные коды, требовавшиеся для того, чтобы приблизиться к пределу Шеннона. На самом деле только в начале 70-х годов с появлением быстродействующих интегральных микросхем инженеры начали в полной мере пользоваться теорией информации.

Все свои мысли и идеи, связанные с новой наукой - теорией информации, Клод Шеннон изложил в монографии "Математическая теория связи", опубликованной в 1948 году.

Теория информации, помимо связи, проникла также и в другие области, в том числе в лингвистику, психологию, экономику, биологию и даже в искусство. В подтверждение приведем, например, факт: в начале 70-х годов в журнале "IEEE Transactions on Information Theory" была опубликована редакционная статья под названием "Теория информации, фотосинтез и религия". С точки зрения самого Шеннона применение информационной теории к биологическим системам вовсе не является таким уж неуместным, поскольку, по его мнению, в основе механических и живых систем лежат общие принципы. Когда его спрашивают, может ли машина мыслить, он отвечает: "Конечно, да. Я машина и вы машина, и мы оба мыслим, не так ли?"

В действительности Шеннон был одним из первых инженеров, высказавших мысль о том, что машины можно запрограммировать так, чтобы они могли играть в карты и решать другие сложные задачи.

В 1948 году он публикует работу "Программирование компьютера для игры в шахматы". Ранее подобных публикаций на эту тему не было, причем созданная Шенноном шахматная программа явилась основой для последующих разработок и первым достижением в области искусственного интеллекта. В 1950 году он изобрел механическую мышь Тесей, которая, будучи управляема магнитом и сложной электрической схемой, скрытой под полом, могла найти выход из лабиринта.

Он построил машину, "читающую мысли" и играющую в "монетку" - игру, в которой один из играющих пытается угадать, что выбрал другой играющий, "орел" или "решку". Коллега Шеннона, также работавший в Bell Laboratories, Дэвид У. Хейджелбарджер построил опытный образец; машина запоминала и анализировала последовательность прошлых выборов оппонента, пытаясь отыскать в них закономерность и на ее основе предсказать следующий выбор.

Клод Шеннон был одним из организаторов первой конференции по искусственному интеллекту, состоявшейся в 1956 году в Дартмупте. В 1965 году он побывал по приглашению в Советском Союзе, где прочитал ряд лекций по искусственному интеллекту.

В 1958 году Шеннон покинул Bell Laboratories, став профессором в Массачусетском технологическом институте. После того как в 1978 году он официально ушел на пенсию, его величайшим увлечением стало жонглирование. Он построил несколько жонглирующих машин и разработал то, что можно было бы назвать объединенной теорией поля для жонглирования.

С конца 50-х годов Шеннон опубликовал очень мало работ по теории информации. Некоторые из его бывших коллег поговаривали, что Шеннон "перегорел" и ему надоела созданная им самим теория, но Шеннон отрицал это. "Большинство великих математиков писали свои лучшие работы, когда были еще молодыми", - говорил он.

В 1985 году Шеннон и его жена внезапно решили посетить Международный симпозиум по теории информации, состоявшийся в английском городе Брайтоне. В течение многих лет он не принимал участия в конференциях, и сначала его никто не заметил. Затем участники симпозиума стали перешептываться: скромный седоволосый джентльмен, который то приходил, то уходил из залов, где слушались доклады, это - Клод Шеннон. На банкете Шеннон сказал несколько слов, немножко пожонглировал тремя мячами и подписал множество автографов инженерам, выстроившимся в длинную очередь. Как вспоминал один из участников, "это воспринималось так, как будто Ньютон появился на конференции, посвященной проблемам физики".

В начале марта 2001 года, в возрасте 84 лет, после продолжительной болезни Клод Шеннон скончался. Как писали вездесущие журналисты - скончался человек, который придумал бит.

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

Министерство образования и науки Российской Федерации

Федеральное агентство по образованию

ГОУ ВПО Сыктывкарский Государственный Университет

Факультет управления

Теория информации Клода Шеннона

Руководитель: Болотов С.П

Исполнитель: Панева Я.В,

411 группа

Сыктывкар 2010

Введение

Теория информации

Заключение

Список литературы

Введение

Клод Элвуд Шеннон (Shannon) (1916 -- 2001) -- американский инженер и математик. Человек, которого называют отцом современных теорий информации и связи.

Осенним днем 1989 года корреспондент журнала "Scientific American" вошел в старинный дом с видом на озеро к северу от Бостона. Но встретивший его хозяин, 73-летний стройный старик с пышной седой гривой и озорной улыбкой, совсем не желал вспоминать "дела давно минувших дней" и обсуждать свои научные открытия 30-50-летней давности. Быть может, гость лучше посмотрит его игрушки?

Не дожидаясь ответа и не слушая увещеваний жены Бетти, хозяин увлек изумленного журналиста в соседнюю комнату, где с гордостью 10-летнего мальчишки продемонстрировал свои сокровища: семь шахматных машин, цирковой шест с пружиной и бензиновым двигателем, складной нож с сотней лезвий, двухместный одноколесный велосипед, жонглирующий манекен, а также компьютер, вычисляющий в римской системе счисления. И не беда, что многие из этих творений хозяина давно сломаны и порядком запылены, -- он счастлив. Кто этот старик? Неужели это он, будучи еще молодым инженером Bell Laboratories, написал в 1948 году "Великую хартию" информационной эры -- "Математическую теорию связи"? Его ли труд назвали "величайшей работой в анналах технической мысли"? Его ли интуицию первооткрывателя сравнивали с гением Эйнштейна? Да, это все о нем. И он же в тех же 40-х годах конструировал летающий диск на ракетном двигателе и катался, одновременно жонглируя, на одноколесном велосипеде по коридорам Bell Labs. Это Клод Элвуд Шеннон, отец кибернетики и теории информации, гордо заявивший: "Я всегда следовал своим интересам, не думая ни о том, во что они мне обойдутся, ни об их ценности для мира. Я потратил уйму времени на совершенно бесполезные вещи."

Теория информации

В 1941 году 25-летний Клод Шеннон поступил на работу в Bell Laboratories. В годы войны он занимался разработкой криптографических систем, и позже это помогло ему открыть методы кодирования с коррекцией ошибок. А в свободное время он начал развивать идеи, которые потом вылились в теорию информации. Исходная цель Шеннона заключалась в улучшении передачи информации по телеграфному или телефонному каналу, находящемуся под воздействием электрических шумов. Он быстро пришел к выводу, что наилучшее решение проблемы заключается в более эффективной упаковке информации.

Но что же такое информация? Чем измерять ее количество? Шеннону пришлось ответить на эти вопросы еще до того, как он приступил к исследованиям пропускной способности каналов связи. В своих работах 1948-49 годов он определил количество информации через энтропию -- величину, известную в термодинамике и статистической физике как мера разупорядоченности системы, а за единицу информации принял то, что впоследствии окрестили "битом", то есть выбор одного из двух равновероятных вариантов. Позже Шеннон любил рассказывать, что использовать энтропию ему посоветовал знаменитый математик Джон фон Нейман, который мотивировал свой совет тем, что мало кто из математиков и инженеров знает об энтропии, и это обеспечит Шеннону большое преимущество в неизбежных спорах. Шутка это или нет, но как трудно нам теперь представить, что всего полвека назад понятие "количество информации" еще нуждалось в строгом определении и что это определение могло вызвать какие-то споры.

На прочном фундаменте своего определения количества информации Клод Шеннон доказал удивительную теорему о пропускной способности зашумленных каналов связи. Во всей полноте эта теорема была опубликована в его работах 1957-61 годов и теперь носит его имя. В чем суть теоремы Шеннона? Всякий зашумленный канал связи характеризуется своей предельной скоростью передачи информации, называемой пределом Шеннона. При скоростях передачи выше этого предела неизбежны ошибки в передаваемой информации. Зато снизу к этому пределу можно подойти сколь угодно близко, обеспечивая соответствующим кодированием информации сколь угодно малую вероятность ошибки при любой зашумленности канала.

Эти идеи Шеннона оказались слишком провидческими и не смогли найти себе применения в годы медленной ламповой электроники. Но в наше время высокоскоростных микросхем они работают повсюду, где хранится, обрабатывается и передается информация: в компьютере и лазерном диске, в факсимильном аппарате и межпланетной станции. Мы не замечаем теорему Шеннона, как не замечаем воздух.

В основу теории информации положен предложенный К.Шенноном метод исчислений количества новой (непредсказуемой) и избыточной (предсказуемой) информации, содержащейся в сообщениях, передаваемых по каналам технической связи.

Предложенный Шенноном метод измерения количества информации оказался настолько универсальным, что его применение не ограничивается теперь узкими рамками чисто технических приложений.

Вопреки мнению самого К.Шеннона, предостерегавшего ученых против поспешного распространения предложенного им метода за пределы прикладных задач техники связи, этот метод стал находить все более широкое примение в исследованиях и физических, и биологических, и социальных систем.

Ключом к новому пониманию сущности феномена информации и механизма информационных процессов послужила установленная Л.Бриллюэном взаимосвязь информации и физической энтропии. Эта взаимосвязь была первоначально заложена в самый фундамент теории информации, поскольку для исчисления количества информации Шеннон предложил использовать заимствованную из статистической термодинамики вероятную функцию энтропии.

Многие ученые (начиная с самого К.Шеннона) склонны были рассматривать такое заимствование как чисто формальный прием. Л.Бриллюэн показал, что между вычисленным согласно Шеннону количеством информации и физической энтропии существует не формальная, а содержательная связь.

В статистической физике с помощью вероятностной функции энтропии исследуются процессы, приводящие к термодинамическому равновесию, при котором все состояния молекул (их энергии, скорости) приближаются к равновероятным, а энтропия при этом стремится к максимальной величине.

Благодаря теории информации стало очевидно, что с помощью той же самой функции можно исследовать и такие далекие от состояния максимальной энтропии системы, как, например, письменный текст.

Еще один важный вывод заключается в том, что с помощью вероятностной функции энтропии можно анализировать все стадии перехода системы от состояния полного хаоса, которому соответствуют равные значения вероятностей и максимальное значение энтропии, к состоянию предельной упорядоченности (жесткой детерминации), которому соответствует единственно возможное состояние ее элементов.

Данный вывод оказывается в равной мере справедливым для таких несходных по своей природе систем, как газы, кристаллы, письменные тексты, биологические организмы или сообщества и др.

При этом, если для газа или кристалла при вычислении энтропии сравнивается только микросостояние (т.е. состояние атомов и молекул) и макросостояние этих систем (т.е. газа или кристалла как целого), то для систем иной природы (биологических, интеллектуальных, социальных) вычисление энтропии может производится на том или ином произвольно выбранном уровне. При этом вычисляемое значение энтропии рассматриваемой системы и количество информации, характеризующей степень упорядоченности данной системы и равное разности между максимальным и реальным значением энтропии, будет зависеть от распределения вероятности состояний элементов нижележащего уровня, т.е. тех элементов, которые в своей совокупности образуют эти системы.

Количество сохраняемой в структуре системы информации пропорционально степени отклонения системы от состояния равновесия, обусловленного сохраняемым в структуре системы порядком.

Сам того не подозревая, Шеннон вооружил науку универсальной мерой, пригодной в принципе (при условии выявления значенй всех вероятностей) для оценки степени упорядоченности всех существующих в мире систем.

Определив введенную Шеноном информационную меру как меру упорядоченности движения, можно установить взаимосвязь информации и энергии, считая энергию мерой интенсивности движения. При этом количество сохраняемой в структуре систем информации пропорционально суммарной энергии внутренних связей этих систем.

Одновременно с выявлением общих свойств информации как феномена обнаруживаются и принципиальные различия относящихся к различным уровням сложности информационных систем.

Так, например, все физические объекты, в отличие от биологических, не обладают специальными органами памяти, перекодировки поступающих из внешнего мира сигналов, информационными каналами связи. Хранимая в них информация как бы "размазана" по всей их структуре. Вместе с тем, если бы кристаллы не способны были сохранять информацию в определяющих их упорядоченность внутренних связях, не было бы возможности создавать искусственную память и предназначенные для обработки информации технические устройства на основе кристаллических структур.

Вместе с тем необходимо учитывать, что создание подобных устройств стало возможным лишь благодаря разуму человека, сумевшего использовать элементарные информационные свойства кристаллов для построения сложных информационных систем.

Простейшая биологическая система превосходит по своей сложности самую совершенную из созданных человеком информационных систем. Уже на уровне простейших одноклеточных организмов задействован необходимый для их размножения сложнейший информационный генетический механизм. В многоклеточных организмах помимо информационной системы наследственности действуют специализированные органы хранения информации и ее обработки (например, системы, осуществляющие перекодирование поступающих из внешнего мира зрительных и слуховых сигналов перед отправкой их в головной мозг, системы обработки этих сигналов в головном мозге). Сложнейшая сеть информационных коммуникаций (нервная система) пронизывает и превращает в целое весь многоклеточный организм.

Уже на уровне биологических систем возникают проблемы учета ценности и смысла используемой этими системами информации. Еще в большей мере такой учет необходим для анализа функционирования интеллектуальных информационных систем.

Глубокое осознание специфики биологических и интеллектуальных систем позволяет выявить те границы, за пределами которых утрачивает свою компетентность разработанный современной наукой информационно-энтропийный подход.

Определить эти границы Шеннону пришлось на самом начальном этапе создания теории информации, поскольку без этого нельзя было использовать количественную меру информации для оценки письменных текстов и других созданных разумом человека информационных систем. Именно с этой целью Шеннон делает оговорку о том, что предложенный им метод исчисления информации письменных текстов игнорирует такие же их неотъемлемые свойства, как смысл и ценность содержащихся в них сообщений.

Так, например, при подсчете количества информации, содержащейся в таких двух сообщениях, как "очередную партию Каспаров играет белыми" и "у гражданина Белова родился сын" получится одна и та же величина - 1 бит. Нет сомнения, что два этих сообщения несут разный смысл и имеют далеко не равнозначную ценность для гражданина Белова. Однако, как было отмечено выше, оценка смысла и ценности информации находится за пределами компетенции теории информации и поэтому не влияет на подсчитываемое с помощью формулы Шеннона количество бит.

Игнорирование смысла и ценности информации не помешало Шеннону решать прикладные задачи, для которых предназначалась первоначально его теория: инженеру по технике связи вовсе не обязательно вникать в суть сообщений, передаваемых по линии связи. Его задача заключается в том, чтобы любое подобное сообщение передавать как можно скорее, с наименьшими затратами средств (энергии, диапазона используемых частот) и, по возможности, безо всяких потерь. И пусть тот, кому предназначена данная информация (получатель сообщений), вникает в смысл, определяет ценность, решает, как использовать ту информацию, которую он получил.

Такой сугубо прагматичный подход позволил Шеннону ввести единую, не зависящую от смысла и ценности, меру количества информации, которая оказалась пригодной для анализа всех обладающих той или иной степенью упорядоченности систем.

После основополагающих работ Шеннона начали разрабатываться основы смысловой (семантической) и ценностной (прагматической, аксиологической) информационных теорий.

Однако ни одной из этих теорий и предлагаемых их авторами единиц измерения ценности или смысла не суждено было приобрести такую же степень универсальности, какой обладает мера, которую ввел в науку Шеннон.

Дело в том, что количественные оценки смысла и ценности информации могут производится только после предварительного соглашения о том, что же именно в каждом конкретном случае имеет для рассматриваемых явлений ценность и смысл. Нельзя одними и теми же единицами измерить ценность информации, содержащейся, скажем, в законе Ома и в признании любви. Иными словами, критерии смысла и ценности всегда субъективны, а потому применимость их ограничена, в то время как мера, предложенная Шенноном, полностью исключает субъективизм при оценке степени упорядоченности структуры исследуемых систем.

Так что же характеризует подсчитанная по формуле Шеннона величина энтропии текста, выражаемая количеством бит? Только лишь одно свойство этого текста - степень его упорядоченности или, иными словами, степень его отклонения от состояния полного хаоса, при котором все буквы имели бы равную вероятность, а текст превратился бы в бессмысленный набор букв.

Упорядоченность текста (или любой другой исследуемой системы) будет тем больше, чем больше различие вероятностей и чем больше вероятность последующего события будет зависеть от вероятностей предыдущих событий.

Согласно негэнтропийному принципу информации количество информации, выражающее этот порядок, будет равно уменьшению энтропии системы по сравнению с максимально возможной величиной энтропии, соответствующей отсутствию упорядоченности и наиболее хаотичному состоянию систем.

Методы исчисления информации, предложенные Шенноном, позволяют выявить соотношение количества предсказуемой (то есть формируемой по определенным правилам) информации и количества той неожиданной информации, которую нельзя заранее предсказать.

Таким способом удается в той или иной степени "разгрузить" предназначенный для передачи сообщений канал. Проведенный Шенноном анализ английских текстов показал, что содержащаяся в них избыточная информация составляет около 80% от общего количества информации, которое заключает в себе письменный текст. Остальные 20% - это та самая энтропия, благодаря которой текст может служить источником непредсказуемой энергии .

Если бы текстовые, устные или зрительные (в частности телевизионные) сообщения были полностью лишены энтропии, они не приносили бы получателям сообщений никаких новостей.

Если бы письменный текст строился только на основании заранее сформулированных правил, то, установив эти правила по тексту первой страницы, можно было бы заранее предсказать, что будет написано на страницах 50, 265, 521 и т.д.

Заключение

шеннон информация канал связь

Но с начала 60-х годов Шеннон не сделал в теории информации практически больше ничего. Это выглядело так, как будто ему всего за 20 лет надоела созданная им же теория. В 1985 году Клод Шеннон и его жена Бетти неожиданно посетили Международный симпозиум по теории информации в английском городе Брайтоне. Почти целое поколение Шеннон не появлялся на конференциях, и поначалу его никто не узнал. Затем участники симпозиума начали перешептываться: вон тот скромный седой джентльмен -- это Клод Элвуд Шеннон, тот самый! На банкете Шеннон сказал несколько слов, немного пожонглировал тремя (увы, только тремя) мячиками, а затем подписал сотни автографов ошеломленным инженерам и ученым, выстроившимся в длиннейшую очередь. Стоящие в очереди говорили, что испытывают такие же чувства, какие испытали бы физики, явись на их конференцию сам сэр Исаак Ньютон.

Клод Шеннон скончался в 2001 году в массачусетском доме для престарелых от болезни Альцгеймера на 84 году жизни.

Список литературы

1. Интернет

2. Шеннон К.Е. Математическая теория связи. Работы по теории информации и кибернетике., М, 1963.

3. Шеннон К. Е. Бандвагон. /Работы по теории информации и кибернетике/М.1963.

Размещено на Allbest.ru

Подобные документы

Общее число неповторяющихся сообщений. Вычисление скорости передачи информации и пропускной способности каналов связи. Определение избыточности сообщений и оптимальное кодирование. Процедура построения оптимального кода по методике Шеннона-Фано.

курсовая работа , добавлен 17.04.2009


Общая схема действия каналов связи, их классификация и характеристика. Дискретный, бинарный канал связи и определение их пропускной способности, особенности действия с помехами и без них по теореме Шеннона. Пропускная способность непрерывного канала.

реферат , добавлен 14.07.2009


Предмет и задачи теории информации, ее функции при создании АСУ. Определение пропускной способности дискретных (цифровых) каналов при отсутствии шумов. Расчет скорости передачи информации. Вычисление значения энтропии - среднего количества информации.

контрольная работа , добавлен 18.01.2015


Вычисление количества информации, приходящейся на один символ по формуле Шеннона. Изменения информационной энтропии в текстах экономического, естественнонаучного и литературного содержания. Максимальное количество информации на знак по формуле Хартли.

лабораторная работа , добавлен 06.12.2013


презентация , добавлен 19.10.2014


Обработка информации, анализ каналов ее возможной утечки. Построение системы технической защиты информации: блокирование каналов несанкционированного доступа, нормативное регулирование. Защита конфиденциальной информации на АРМ на базе автономных ПЭВМ.

дипломная работа , добавлен 05.06.2011


Изучение алгоритмов допускового контроля достоверности исходной информации, с помощью которых выявляются полные и частичные отказы информационно-измерительных каналов. Определение погрешности выполнения уравнения связи между количествами информации.

лабораторная работа , добавлен 14.04.2012


Определение среднего количества информации. Зависимость между символами матрицы условных вероятностей. Кодирование методом Шеннона–Фано. Пропускная способность канала связи. Эффективность кодирования сообщений методом Д. Хаффмана, характеристика кода.

контрольная работа , добавлен 04.05.2015


Анализ источников опасных сигналов и определение потенциальных технических каналов утечки информации и несанкционированного доступа. Организационные и технические методы защиты информации в выделенном помещении, применяемое инженерное оборудование.

курсовая работа , добавлен 18.11.2015


Количество информации и ее мера. Определение количества информации, содержащегося в сообщении из ансамбля сообщений источника. Свойства количества информации и энтропии сообщений. Избыточность, информационная характеристика источника дискретных сообщений.

Клод Э́лвуд Ше́ннон (англ. Claude Elwood Shannon; 30 апреля 1916, Петоцки, Мичиган - 24 февраля 2001, Медфорд, Массачусетс) - американский математик и инженер, его работы являются синтезом математических идей с конкретным анализом чрезвычайно сложных проблем их технической реализации. Он является основателем теории информации, нашедшей применение в современных высокотехнологических системах связи. Шеннон внес огромный вклад в теорию вероятностных схем, теорию автоматов и теорию систем управления - области наук, входящие в понятие кибернетика.

Биография Клод Шеннон родился 30 апреля 1916 года в городе Петоцки, штат Мичиган, США. Первые шестнадцать лет своей жизни Клод провел в Гэйлорде, Мичиган, где он посещал общественную школу, а затем выпустился из высшей школы Гэйлорда в 1932 году. В юношестве он работал курьером службы Western Union. Отец его был адвокатом и в течение некоторого времени судьей. Его мать была преподавателем иностранных языков и, впоследствии, стала директором Гайлордской средней школы. Молодой Клод сильно любил конструировать автоматические устройства. Он собирал модели самолетов и радиотехнические цепи, также создал радиоуправляемую лодку и телеграфную систему между домом друга и своим домом. Временами ему приходилось исправлять радиостанции для местного универмага. Томас Эдисон был его дальним родственником.

В 1932 году Шеннон был зачислен в Мичиганский университет, где выбрал курс, посещая который начинающий ученый познакомился с работами Джорджа Буля. В 1936 г. Клод оканчивает Мичиганский университет, получив степень бакалавра по двум специальностям математика и электротехника, и устраивается в Массачусетский технологический институт, где он работал ассистентом-исследователем на дифференциальном анализаторе Ванневара Буша - аналоговом компьютере. Изучая сложные, узкоспециальные электросхемы дифференциального анализатора, Шэннон увидел, что концепции Буля могут получить достойное применение. Статья, написанная с его магистерской работы 1937 года «Символический анализ реле и коммутаторов», была опубликована в 1938 году в издании Американского института инженеров-электриков (AIEE). Она также стала причиной вручения Шэннону премии Американского института инженерии имени Альфреда Нобеля в 1940 году. Цифровые цепи - это основа современной вычислительной техники, таким образом результаты его работ являются одними из наиболее важных научных результатов ХХ столетия. Говард Гарднер из Гарвардского университета отозвался о работе Шэннона, как о «возможно, самой важной, а также самой известной магистерской работой столетия».

По совету Буша Шеннон решил работать над докторской диссертацией по математике в MIT. Идея его будущей работы родилась у него летом 1939 года, когда он работал в Cold Spring Habor в Нью-Йорке. Буш был назначен президентом Carnegie Institution в округе Вашингтон и предложил Шеннону принять участие в работе, которую делала Барбара Беркс по генетике. Именно генетика, по мнению Буша, могла послужить предметом приложения усилий Шеннона. Докторская диссертация Шеннона, получившая название «Алгебра для теоретической генетики», была завершена весной 1940 года. Шеннон получает Докторскую степень по математике и степень магистра по электротехнике.

В период с 1941 по 1956 гг. Шеннон преподает в Мичиганском университете и работает в компании Белл (Bell Labs). В лаборатории Белл Шеннон, исследуя переключающие цепи, обнаруживает новый метод их организации, который позволяет уменьшить количество контактов реле, необходимых для реализации сложных логических функций. Он опубликовал доклад, названный «Организация двухполюсных переключающих цепей». Шеннон занимался проблемами создания схем переключения, развил метод, впервые упоминавшийся фон Нейманом и позволяющий создавать схемы, которые были надежнее, чем реле, из которых они были составлены. В конце 1940 года Шеннон получил Национальную научно-исследовательскую премию. Весной 1941 года он вернулся в компанию Белл. С началом Второй мировой войны Т.Фрай возглавил работу над программой для систем управления огнем для противовоздушной обороны. Шеннон присоединился к группе Фрая и работал над устройствами, засекавшими самолеты противника и нацеливавшими зенитные установки, также он разрабатывал криптографические системы, в том числе и правительственную связь, которая обеспечивала переговоры Черчилля и Рузвельта через океан. Как говорил сам Шеннон, работа в области криптографии подтолкнула его к созданию теории информации.

С 1950 по 1956 Шеннон занимался созданием логических машин, таким образом, продолжая начинания фон Неймана и Тьюринга. Он создал машину, которая могла играть в шахматы, задолго до создания Deep Blue. В 1952 Шеннон создал обучаемую машину поиска выхода из лабиринта.

Шеннон уходит на пенсию в возрасте пятидесяти лет в 1966 году, но он продолжает консультировать компанию Белл (Bell Labs). В 1985 году Клод Шеннон со своей супругой Бетти посещает Международный симпозиум по теории информации в Брайтоне. Шеннон довольно долго не посещал международные конференции, и сначала его даже не узнали. На банкете Клод Шеннон дал короткую речь, пожонглировал всего тремя мячиками, а затем раздал сотни и сотни автографов изумленным своим присутствием ученым и инженерам, отстоявшим длиннейшую очередь, испытывая трепетные чувства по отношению к великому ученому, сравнивая его с сэром Исааком Ньютоном.

Клод Шеннон ушел из жизни 24 февраля 2001 года. Работа Шеннона «Теория связи в секретных системах» (1945) с грифом секретно, которую рассекретили и опубликовали только лишь в 1949 году, послужила началом обширных исследований в теории кодирования и передачи информации, и, по всеобщему мнению, придала криптографии статус науки. Именно Клод Шеннон впервые начал изучать криптографию, применяя научный подход. В этой статье, Клод определил основополагающие понятия теории криптографии, без которых криптография уже немыслима. Важной заслугой Шеннона является исследования абсолютно секретных систем, и доказательство их существования, а также существование криптостойких шифров, и требуемые для этого условия. Шеннон также сформулировал основные требования, предъявляемые к надежным шифрам. Он ввел ставшие уже привычными понятия рассеивания и перемешивания, и методы создания криптостойких систем шифрования на основе простых операций. Данная статья является отправным пунктом изучения науки криптографии.

Математическая теория связи

Статья «Математическая теория связи», была опубликована в 1948 году и сделала Клода Шеннона всемирно известным. В ней Шенноном изложил свои идеи, ставшие впоследствии основой современных теорий и техник обработки передачи и хранения информации. Результаты его работ в области передачи информации по каналам связи запустили по всему миру огромное число исследований. Шеннон обобщил идеи Хартли и ввел понятие информации, содержащейся в передаваемых сообщениях. В качестве меры информации передаваемого сообщения М, Хартли предложил использовать логарифмическую функцию. Шеннон первым начал рассматривать передаваемые сообщения и шумы в каналах связи с точки зрения статистики, рассматривая как конечные множества сообщений, так и непрерывные множества сообщений. Развитая Шенноном теория информации помогла решить главные проблемы, связанные с передачей сообщений, а именно: устранить избыточность передаваемых сообщений, произвести кодирование и передачу сообщений по каналам связи с шумами. Решение проблемы избыточности подлежащего передаче сообщения позволяет максимально эффективно использовать канал связи. К примеру, современные повсеместно используемые методы снижения избыточности в системах телевизионного вещания на сегодняшний день позволяют передавать до шести цифровых программ коммерческого телевидения, в полосе частот, которую занимает обычный сигнал аналогового телевидения. Решение проблемы передачи сообщения по каналам связи с шумами при заданном соотношении мощности полезного сигнала к мощности сигнала помехи в месте приема, позволяет передавать по каналу связи сообщения со сколь угодно малой вероятностью ошибочной передачи сообщения. Также, это отношение определяет пропускную способность канала. Это обеспечивается применением кодов, устойчивых к помехам, при этом скорость передачи сообщений по данному каналу должна быть ниже его пропускной способности. В своих работах Шеннон доказал принципиальную возможность решения обозначенных проблем, это явилось в конце 40-х годов настоящей сенсацией в научных кругах. Данная работа, как и работы, в которых исследовалась потенциальная помехоустойчивость, дали начало огромному числу исследований, продолжающихся и по сей день, уже более полувека. Ученые из Советского Союза и США (СССР - Пинскер, Хинчин, Добрушин, Колмогоров; США- Галлахер, Вольфовиц, Фейнштейн) дали строгую трактовку изложенной Шенноном теории. На сегодняшний день все системы цифровой связи проектируются на основе фундаментальных принципов и законов передачи информации, разработанных Шенноном. В соответствии с теорией информации вначале из сообщения устраняется избыточность, затем информация кодируется при помощи кодов, устойчивых к помехам, и лишь потом сообщение передается по каналу потребителю. Значительно была сокращена избыточность телевизионных, речевых и факсимильных сообщений, именно благодаря теории информации.

Большое количество исследований было посвящено созданию кодов, устойчивых к помехам, и простых методов декодирования сообщений. Исследования, проведенные за последние пятьдесят лет, легли в основу созданной Рекомендации МСЭ по применению помехоустойчивого кодирования и методов кодирования источников информации в современных цифровых системах.

Теорема о пропускной способности канала.

Любой канал с шумом характеризуется максимальной скоростью передачи информации, этот предел назван в честь Шеннона. При передаче информации со скоростями, превышающими этот предел, происходят неизбежные искажения данных, но снизу к этому пределу можно приближаться с необходимой точностью, обеспечивая сколь угодно малую вероятность ошибки передачи информации в зашумленном канале.

Клод Шеннон родился в 1916 году. Вырос в городе Гэйлорде, в штате Мичиган. Уже в детстве Шеннон проявлял интерес как к технике и ее детальному исследованию, так и к общим математическим принципам. Он копался в первых детекторных приемниках, которые приносил ему отец, и одновременно решал математические задачки и головоломки, которыми снабжала его старшая сестра Кэтрин, ставшая впоследствии профессором математики.

В 1936 году выпускник Мичиганского университета Клод Шеннон, которому было тогда 21 год, сумел ликвидировать разрыв между алгебраической теорией логики и ее практическим приложением.
Шеннон, имея два диплома бакалавра - по электротехнике и по математике, выполнял обязанности оператора на неуклюжем механическом вычислительном устройстве под названием "дифференциальный анализатор", который построил в 1930 году научный руководитель Шеннона профессор Вэннивер Буш . В качестве темы диссертации Буш предложил Шеннону изучить логическую организацию своей машины. Постепенно у Шеннона стали вырисовываться контуры устройства компьютера. Если построить электрические цепи в соответствии с принципами булевой алгебры, то они могли бы выражать логические отношения, определять истинность утверждений, а также выполнять сложные вычисления.

Электрические схемы, очевидно, были бы гораздо удобнее шестеренок и валиков, щедро смазанных машинным маслом у "дифференциального анализатора". Свои идеи относительно связи между двоичным исчислением, булевой алгеброй и электрическими схемами Шеннон развил в докторской диссертации, опубликованной в 1938 году.

В 1941 году 25-летний Клод Шеннон поступил на работу в Bell Laboratories, где, помимо всего прочего, прославился тем, что катался на одноколесном велосипеде по коридорам лаборатории, одновременно жонглируя мячиками.

В то время применение к технике методов английского ученого Джорджа Буля (1815-1864), который в 1847 году опубликовал работу с характерным названием "Математический анализ логики, являющийся опытом исчисления дедуктивного рассуждения" было делом почти революционным. Сам же Шеннон лишь скромно заметил на это: "Просто случилось так, что никто другой не был знаком с обеими областями одновременно".

Большую ценность представляет другая работа - Communication Theory of Secrecy Systems (1949), в которой сформулированы математические основы криптографии.

В годы войны он занимался разработкой криптографических систем, и позже это помогло ему открыть методы кодирования с коррекцией ошибок. Кстати, в те же сороковые годы Шеннон, например, занимался конструированием летающего диска на ракетном двигателе. Одновременно Клод Элвуд Шеннон начал развивать идеи, которые впоследствии легли в основу прославившей его теории информации. Целью Шеннона была оптимизация передачи информации по телефонным и телеграфным линиям. И для того, чтобы решить эту проблему, ему пришлось сформулировать, что такое информация и чем определяется ее количество. В своих работах 1948-49 годов он определил количество информации через энтропию - величину, известную в термодинамике и статистической физике как мера разупорядоченности системы, а за единицу информации принял то, что впоследствии было названо "битом", то есть выбор одного из двух равновероятных вариантов.

C 1956 - член Национальной академии наук США и Американской академии искусств и наук.

В своих работах Клод Шеннон определил количество информации через энтропию - величину, известную в термодинамике и статистической физике как мера разупорядоченности системы, а за единицу информации принял то, что впоследствии окрестили "битом", то есть выбор одного из двух равновероятных вариантов. На прочном фундаменте своего определения количества информации Клод Шеннон доказал удивительную теорему о пропускной способности зашумленных каналов связи. Во всей полноте эта теорема была опубликована в его работах 1957-1961 годов и теперь носит его имя. В чем суть теоремы Шеннона? Всякий зашумленный канал связи характеризуется своей предельной скоростью передачи информации, называемой пределом Шеннона. При скоростях передачи выше этого предела неизбежны ошибки в передаваемой информации. Зато снизу к этому пределу можно подойти сколь угодно близко, обеспечивая соответствующим кодированием информации сколь угодно малую вероятность ошибки при любой зашумленности канала. Помимо этого Шеннон неустанно занимался различными проектами: от конструирования электронной мышки, способной находить выход из лабиринта, до конструирования жонглирующих машин и создания теории жонглирования, которая, впрочем, не помогла ему побить его личный рекорд - жонглирование четырьмя мячиками.

Клод Элвуд Шеннон (англ. Claude Elwood Shannon; 30 апреля 1916, Петоцки, Мичиган, США - 24 февраля 2001, Медфорд, Массачусетс, США) - американский инженер, криптоаналитик и математик. Cчитается «отцом информационного века».

Является основателем теории информации, нашедшей применение в современных высокотехнологических системах связи. Предоставил фундаментальные понятия, идеи и их математические формулировки, которые в настоящее время формируют основу для современных коммуникационных технологий. В 1948 году предложил использовать слово «бит» для обозначения наименьшей единицы информации (в статье «Математическая теория связи»). Кроме того, понятие энтропии было важной особенностью теории Шеннона. Он продемонстрировал, что введенная им энтропия эквивалентна мере неопределённости информации в передаваемом сообщении. Статьи Шеннона «Математическая теория связи» и «Теория связи в секретных системах» считаются основополагающими для теории информации и криптографии. Клод Шеннон был одним из первых, кто подошел к криптографии с научной точки зрения, он первым сформулировал ее теоретические основы и ввел в рассмотрение многие основные понятия. Шеннон внес ключевой вклад в теорию вероятностных схем; теорию игр; теорию автоматов и теорию систем управления - области наук, входящие в понятие «кибернетика».

Биография

Детство и юность

Клод Шеннон родился 30 апреля 1916 года в городе Петоцки (штат Мичиган, США). Отец его, Клод-старший (1862-1934), был бизнесменом, добившимся успеха своими собственными силами, адвокатом и в течение некоторого времени судьей. Мать Шеннона, Мейбел Вулф Шеннон (1890-1945), была преподавателем иностранных языков и впоследствии стала директором Гэйлордской средней школы. Отец Шеннона обладал математическим складом ума и давал себе отчёт в своих словах. Любовь к науке была привита Шеннону его дедушкой. Дед Шеннона был изобретателем и фермером. Он изобрел стиральную машину вместе с многой другой полезной в сельском хозяйстве техникой. Томас Эдисон был дальним родственником Шеннонов.

Первые шестнадцать лет своей жизни Клод провел в Гэйлорде (Мичиган), где в 1932 году закончил Гэйлордскую общеобразовательную среднюю школу. В юности он работал курьером службы Western Union. Молодой Клод увлекался конструированием механических и автоматических устройств. Он собирал модели самолетов и радиотехнические цепи, создал радиоуправляемую лодку и телеграфную систему между домом друга и своим домом. Временами ему приходилось ремонтировать радиостанции для местного универмага.

Шеннон, по собственным словам, был аполитичным человеком и атеистом.

Университетские годы

В 1932 году Шеннон был зачислен в Мичиганский университет, где на одном из курсов познакомился с работами Джорджа Буля. В 1936 году Клод окончил Мичиганский университет, получив степень бакалавра по двум специальностям (математик и электротехник), и устроился в Массачусетский технологический институт (MIT), где работал ассистентом-исследователем. Он выполнял обязанности оператора на механическом вычислительном устройстве, аналоговом компьютере, называемом «дифференциальный анализатор», разработанным его научным руководителем Вэниваром Бушем. Изучая сложные, узкоспециализированные электросхемы дифференциального анализатора, Шеннон увидел, что концепции Буля могут получить достойное применение. После того, как он проработал лето 1937 года в Bell Telephone Laboratories, он написал основанную на своей магистерской работе того же года статью «Символический анализ релейных и переключательных схем». Необходимо отметить, что Фрэнк Лорен Хичкок контролировал магистерскую диссертацию, давал полезную критику и советы. Сама статья была опубликована в 1938 году в издании Американского института инженеров-электриков (AIEE). В этой работе он показал, что переключающиеся схемы могут быть использованы для замены схем с электромеханическими реле, которые использовались тогда для маршрутизации телефонных вызовов. Затем он расширил эту концепцию, показав, что эти схемы могут решить все проблемы, которые позволяет решить Булева алгебра. Также, в последней главе он представляет заготовки нескольких схем, например, 4-разрядного сумматора. За эту статью Шеннон был награждён Премией имени Альфреда Нобеля Американского института инженеров-электриков в 1940 году. Доказанная возможность реализовывать любые логические вычисления в электрических цепях легла в основу проектирования цифровых схем. А цифровые цепи - это, как известно, основа современной вычислительной техники, таким образом, результаты его работ являются одними из наиболее важных научных результатов ХХ столетия. Говард Гарднер из Гарвардского университета отозвался о работе Шеннона, как о «возможно, самой важной, а также самой известной магистерской работе столетия».