Как устроен IBM Watson

Презентация прошла в Российской лаборатории систем и технологий IBM. В рамках мероприятия эксперты рассмотрели различные аспекты развития суперкомпьютеров. Иэн Симпсон (на фото он слева), директор Российской лаборатории систем и технологий, представил историю создания IBM Watson. С комментарием об игре Jeopardy! и участии в ней искусственного интеллекта выступил журналист, политический консультант Анатолий Вассерман, завоевавший титул «Лучший игрок десятилетия» на «Юбилейных играх» «Своей игры» в 2004 г. 
И вот уже компьютерная система IBM Watson бросает вызов самым великим чемпионам телевикторины «Jeopardy» за всю ее историю. Состязание назначено на февраль 2011 г. Корпорация IBM и телевикторина «Jeopardy», одна из самых популярная в США, объявили, что компьютерная система IBM под названием Watson примет участие в телевикторине «Jeopardy» (российский аналог - «Своя Игра»), где будет состязаться с двумя самыми успешными и самыми знаменитыми из ее участников - Кеном Дженнингсом (Ken Jennings) и Брэдом Руттером (Brad Rutter). Первое в истории состязание человека с машиной на шоу «Jeopardy» будет выходить в эфир 14, 15 и 16 февраля 2011 г. - за эти три дня будет сыграно два матча. Главный приз -$1 000 000, приз за второе место $300 000, приз за третье место $200 000. IBM пожертвует выигранные средства в фонды World Visionи World Community Grid.
Система Watson, названная в честь основателя корпорации IBM Томаса Уотсона (Thomas J. Watson), была построена группой ученых IBM, которые стремились тем самым решить сложнейшую задачу - создать компьютерную систему, способную на уровне человека отвечать на вопросы, изложенные на естественном языке, причем быстро, точно и достоверно. Формат викторины «Jeopardy» является исключительно трудным, поскольку предлагаемые участникам подсказки вынуждают их анализировать тонкие смысловые оттенки, учитывать иронию, разгадывать загадки и преодолевать другие сложности, т.е. заниматься теми видами деятельности, которых люди традиционно выполняют лучше, чем компьютеры.
Соревноваться с системой Watson будут два из самых знаменитых игроков, когда-либо участвовавших в викторине «Jeopardy» К. Дженнингс побил рекорд «Jeopardy» по максимальному количеству сыгранных друг за другом игр - на протяжении сезонов 2004-2005 г.г. он выиграл 74 игры подряд, что обеспечило ему выигрыш более 2,5 млн. долл. Б. Руттер выиграл максимальное совокупное количество игр для одного участника «Jeopardy», что принесло ему 3255102 долл. Эта сумма - результат первого появления Руттера в «Jeopardy», состоявшееся 2000 г.), плюс три победы в турнирах «Jeopardy»: «Tournament of Champions» (2001 г.), «Million Dollar Masters Tournament» (2002 г.) и «Ultimate Tournament of Champions» (2005 г.).
«Большой приз» состязания составит 1 млн. долл., а призы за второе и третье места - 300 тыс. долл. и 200 тыс. долл., соответственно. Руттер и Дженнингс пожертвуют по 50% своего выигрыша на благотворительные цели, а корпорация IBM полностью пожертвует своей выигрыш на благотворительные цели.
«После четырех лет работы наша научная группа уверена в том, что система Watson готова к этому состязанию. Она способна быстро осознавать, что означает подсказка «Jeopardy», анализировать доступную информацию и быстро находить точные и достоверные ответы, - говорит д-р Дэйвид Ферруччи (David Ferrucci), ученый, возглавляющий группу из IBM Research, которая создала систему Watson. - Мы не только волнуемся за результаты самого состязания, наша группа испытывает сильное воодушевление благодаря возможностям, которые революционная компьютерная система Watson открывает в таких областях, как построение более разумной планеты и содействие людям в решении бизнес-задач и повышении качества жизни». 
«Мы взволнованы тем, что телевикторина «Jeopardy» считается высочайшим эталоном человеческого знания, - заявил сказал Гарри Фридман (Harry Friedman) исполнительный продюсер «Jeopardy» - Для хорошего выступления на «Jeopardy» требуется обширное сочетание навыков. Это будет грандиозное событие - мы увидим, сможет ли компьютер конкурировать с двумя, возможно, самыми лучшими игроками викторины «Jeopardy» за всю ее историю».
■ Машина готовится сыграть роль человека
Этой осенью система Watson провела более 50 спарринг-игр против прежних участников турнира «Tournament of Champ Jeopardy» на заключительном этапе подготовки к своему телевизионному дебюту. Кроме того, система Watson успешно прошла тот же тест для претендентов, который проходят люди при первичном отборе на участие в шоу «Jeopardy». Это обеспечило продюсерам «Jeopardy» уверенность в том, что предстоящее состязание будет интересным и конкурентоспособным. 
Основные моменты этих спарринг-игр можно посмотреть на Web-сайте www.ibmwatson.com, где они будут доступны на протяжении нескольких следующих недель.
■ Что такое Watson?
Watson - это революционное достижение в научной дисциплине под названием Question Answering (вопросно-ответная система). Программное обеспечение Watson функционирует на сервере IBM POWER7, который оптимизирован для обработки огромного числа задач, которые система Watson должна выполнять за короткое время с целью анализа сложных языковых конструкций и формирования правильных реакций на подсказки «Jeopardy». Эта система включает множество специализированных проприетарных технологий для удовлетворения требований по обработке огромного количества параллельных задач и данных при анализе информации в режиме реального времени.
Watson - это аналитическая вычислительная система, которая специализируется на анализе естественного человеческого языка и очень быстро выдает точные ответы на сложные вопросы. Watson демонстрирует настоящий прорыв в понимании компьютером естественного языка - реального языка, на котором общаются и обмениваются информацией люди, а не машинного языка, специально разработанного или закодированного для компьютеров.
Watson является полностью самодостаточной автономной системой - в том смысле, что она не подключена к Интернету. Используемая Watson технология понимает задаваемый вопрос, анализирует миллионы блоков информации, хранимой во внутренней памяти, и выдает максимально точный ответ, руководствуясь найденными фактическими данными.
Перед шоу Jeopardy! вся информация, которой будет располагать Watson - в виде энциклопедий, справочников, книг, киносценариев и многого другого - загружается в системную память. Во время игры Watson, подобно другим участникам, «копается» в информационных недрах всего, что она «вычитала и выучила», чтобы связать уникальный смысловой язык, содержащийся в вопросах викторины, со знаниями, загруженными в ее память, и уверенно находить правильные ответы.
■ Что такое «Jeopardy»
Телевикторина «Jeopardy», дебютировавшая в 1984 г., 28 раз становилась лауреатом премии «Эмми» и вошла в Книгу рекордов Гиннесса как игровое телевизионное шоу, завоевавшее наибольшее число наград. По совокупности своих достижений «Jeopardy» занимает первое место в категории телевикторин - ежедневно ее смотрят почти 9 миллионов зрителей. Телевикторина «Jeopardy» производится компанией Sony Pictures Television, которая входит в состав корпорации Sony Pictures Entertainment Company. Дистрибуция внутри страны осуществляется компанией CBS Television Distribution, а международная дистрибуция - компанией CBS Television International. Обе вышеуказанных компании являются подразделениями корпорации CBS Corp.
Jeopardy! - это шоу-викторина, охватывающая широкий спектр тем, таких как история, литература, политика, наука, искусство и сфера развлечений. Участие в игре Jeopardy! - чрезвычайно сложная задача для компьютера, поскольку машинный интеллект изначально не понимает естественный человеческий язык. Более того, Jeopardy! - это настоящий вызов для компьютерной системы из-за быстроты, с которой соперники должны давать правильные ответы на вопросы, а также из-за того, что для поиска точного ответа нужно анализировать содержащиеся в вопросах трудноуловимые ассоциации, скрытые значения, иронию, загадки и другие лингвистические и интонационные нюансы. В Jeopardy! игроки должны принимать решения, основываясь на своей уверенности, что им точно известен правильный ответ. Иными словами, здесь нужно делать то, в чем традиционно силен человек, а не компьютер. 
■ О СИСТЕМЕ IBM WATSON: цифры и факты
• Watson - это результат работы 25-ти ученых IBM Research в течение последних четырех лет.
• Watson была названа в честь основателя корпорации IBM Томаса Уотсона (Thomas J. Watson).
• Watson обрабатывает информацию, эквивалентную приблизительно 200 миллионам страниц контента, написанных на естественном человеческом языке, чтобы находить правильные ответы на сложные вопросы телевикторины Jeopardy! (российский аналог - «Своя Игра»).
• Watson, оснащенная десятью аппаратными стойками серверов IBM POWER 750 под управлением ОС Linux, 15 ТБ оперативной памяти и 2880 процессорными ядрами, способна выполнять 80 триллионов операций с плавающей запятой в секунду (80 терафлопс).
• IBM ежегодно инвестирует в исследования и разработки приблизительно 6 млрд. долларов и привлекает к работе ведущих исследователей с мировым именем. Watson служит ярким примером новаторства, реализуемого благодаря этим инвестициям компании и ее неизменной нацеленности на инновации.
■ Почему IBM?
IBM создала Watson как часть своих усилий по содействию компаниям в извлечении ценных для бизнеса знаний из имеющихся массивов данных. Система Watson может анализировать смысловое значение и контекст естественного человеческого языка, и быстро обрабатывать информацию для поиска точных ответов на вопросы, заданные на этом естественном языке. Эти возможности таят в себе громадный потенциал, способный коренным образом изменить то, как компьютеры помогают людям решать их задачи как в бизнесе, так и в общественной и частной жизни.
Watson - это гигантский скачок вперед в способности компьютеров более адекватно реагировать на наши информационные потребности и более точно отвечать на наши вопросы. Watson доставляет информацию быстро, эффективно и в понятном для нас виде, извлекая нужные знания из огромного объема данных на естественном языке, с которыми люди сталкиваются ежедневно. Технология Watson может найти применение в самых разных областях, таких, например, как: быстрая и точная медицинская диагностика; экспресс-исследование потенциального взаимодействия лекарственных препаратов; помощь юристам в быстром поиске прецедентов среди множества ранее рассмотренных судебных дел; оперативный анализ возможных вариантов или альтернативных сценариев; помощь компаниям в интеллектуальной подготовке персонала отделов продаж.
■ Почему Watson, и почему именно сейчас?
Watson - это продукт взрыва инноваций, появившихся вместе и в нужное время. В последние годы было сделано много значимых научных открытий в таких областях как технология обработки естественного языка (Natural Language Processing) и технология обучения вычислительных машин (Statistical Machine Learning). Эти открытия чрезвычайно важны в реализации возможностей компьютерных систем для распознавания и понимания естественного языка. 
Кроме того, вычислительные системы лишь совсем недавно научились одновременно выполнять тысячи процессов на одном кластере быстрых машин, с доступом к огромным массивам памяти. Способность высокопроизводительной параллельной обработки данных, обеспечиваемая системами на базе процессоров IBM POWER7, критически важна для понимания Watson смыслового значения вопросов и быстрого - всего за три секунды - нахождения правильных ответов.
И, наконец, в последние годы мы является свидетелями взрывного роста цифровых знаний, представленных в форме текста на естественном языке (включая энциклопедии, словари, справочники, книги, киносценарии, новостные сообщения и многое другое). Это бум цифровой информации помогает снабдить Watson громадным объемом потенциальных знаний. 
Ученым IBM Research удалось собрать все эти возможности воедино, и они создали уникальную систему Watson.
■ Андрей Филатов, директор департамента аппаратного обеспечения, IBM в России и СНГ, рассказал об использовании технологий POWER7 при создании суперкомпьютера Watson. В аппаратную основу IBM Watson входит процессор POWER7 - вот его некоторые характеристики
- 4, 6 или 8 ядер на сокет
- От 3.0 до 4.14 GHz
- Интегрированная eDRAM L3 Cache
- До 4 потоков на ядро
- Динамическая оптимизация энергопотребления
Подробнее о eDRAM technology. Это прорыв в технологии: размещение памяти на кристалле процессора. Преимущества IBM eDRAM:
- Более высокая плотность
- Низкое энергопотребление
- Меньшая латентность (6:1), большая пропускная способность
- Меньшее количество ошибок
- Более высокая производительность
- Позволяет POWER7 иметь 32MB of встроенной L3 Cache пямяти
■ Ирина Федулова, к.ф.-м.н., инженер-программист Российской лаборатории систем и технологий, рассказала об основных тенденциях развития суперкомпьютерных технологий IBM. Её доклад носил название "IBM Watson: новый виток эволюции суперкомпьютеров IBM". Для начала она коснулась вопросов истории:
- 1944 г. Mark I. Первый программируемый арифмометр.
- 1952 г. IBM 701. Первый компьютер на вакуумных трубках.
- 1954 г. IBM NORC. Вычисление числа Пи с 3089 знаками за 13 минут.
- 1955 г. IBM STRETCH. Конвейер, предвыборка, memory interleaving.
- 1991 г. IBM + Thinking Machines. Идея о массивно-параллельных компьютерах.
- 1997 г. IBM Deep Blue. Шахматный суперкомпьютер.
- 2000 г. IBM ASCI White. Впервые система IBM - № 1 в Top 500.
- 2004 г. IBM Blue Gene/L.
- 2008 г. IBM Roadrunner.
- 2010 г. IBM Watson.
Сделав краткий обзор проектов по биомолекулярному моделированию, выполняемых в IBM Research, Ирина ответила на вопрос о том, почему IBM развивает суперкомпьютинг? Это обеспечит прогресс в следующих сферах:
- Биологические науки и LifeSciences
- Поиск новых лекарств
- Новые материалы
- Автомобили и самолеты
- Окружающая среда и энергия
- Финансы
• оптимизация товаров
• оценка рисков
- Безопасность
• военные исследования
- Борьба с эпидемиями
- Изучение природы
- Green технологии
Конкретно среди недавних достижений - решение таких проблем, как коррозия алюминия (Ford), разрушение аромата кофе (Nestle), создание лекарств (Novartis), оптимизация хвостовых воздушных потоков в авиации, OLED и органическая электроника, новые материалы для полупроводников
А также принёсёт пользу непосредственно IBM:
- Развитие бизнеса
- Стимуляция инноваций
- Создание новых чипов, серверов, ПО
Существует также Blue Brain - совместный проект IBM и EPFL (Швейцарский Федеральный Технический Институт Лозанны). В задачи проекта входит моделирование мозга на клеточном уровне. На конференции Supercomputing 2007было объявлено об успешном моделировании коры мозга крысы (55 миллионов нейронов, 422 миллиарда синапсов, 1 секунда работы коры мозга крысы) на суперкомпьютере Blue Gene/L с использованием 8 терабайт памяти и 32 768 процессоров.
Каковы принципы работы суперкомпьютера IBM Watson? Схема следующая:
▫ ▫ ▫ Обработка естественного языка
- Извлечение данных
- Семантический анализ
• Игра слов
• Контекст
- Автоматический логический вывод
- Формирование гипотез
▫ ▫ ▫  Ранжирование гипотез
- Оценка меры уверенности
- Сортировка и выбор
▫ ▫ ▫ Игровая стратегия
- Выбор категории вопроса
- Определение оптимального размера ставки
▫ ▫ ▫ Подготовка базы данных
- 15 терабайт неструктурированной информации
Кто следующий? Следующий - Blue Gene/Q "Sequoia". Это:
▫ Продолжение линейки Blue Gene
▫ 20 петафлопс
▫ 1.6 миллионов ядер
▫ 1.6 петабайт оперативной памяти
▫ Энергопотребление: 6 Мвт
- В 7 раз эффективнее BG/P
- В 16 раз эффективнее Cray Jaguar
▫ Запуск в 2012 г
- DOE National Security Administration
Новые слагаемые дают качественно новую сумму:
▫ Новые архитектуры
• Многоядерные процессоры
• Многопроцессорные системы
• Использование специализированных ускорителей
+
▫ Новое программное обеспечение
• Специальные языки программирования
• Параллельные программы
=
▫ Более…
• точные модели
• сложные объекты
• длительные процессы
• разумная планета
■ Применение технологии Watson для решения задач реального мира
Помимо участия в викторине «Jeopardy» лежащая в основе системы Watson технология может быть адаптирована для преодоления реальных проблем и достижения прогресса в различных областях. Эта компьютерная система способна просеять огромное количество данных и дать точные ответы, сопровождаемые оценкой их достоверности. К примеру, эта технология может быть с успехом применена для повышения точности диагностирования пациентов в здравоохранении, для совершенствования онлайновых систем поддержки, функционирующих по принципу самообслуживания, для предоставления туристам и гражданам конкретной информации по населенным пунктам, для повышения качества поддержки клиентов по телефону, а также во многих других областях.  В перспективе - новые данные о том, как работает мозг, лечение шизофрении, болезни Паркинсона и т.п.
Среди других перспективных применений Watson:
- Электроника: поддержка пользователей, умный дом, распознавание образов
- Финансовые услуги: оценка рисков, аудит
- Здравоохранение / Life Sciences: дифференциальная диагностика (планируется создание медицинской версии суперкомпьютера) 
- Розничная торговля: обслуживание клиентов
- Транспорт: оптимизация маршрутов
Планируется коммерческое применение системы: начало продаж - примерно через год , стоимость 1 млн долл. Но это только за "жедезо", не считая пакета специализированного ПО. Впрочем, ожидается, что лет через 10 Watson будет размещаться в ноутбуке.

▫ Через некоторое время после того, как состоялась презентация, о которой здесь идёт речь, мы ознакомились с публикациями коллег, также присутствовавших на ней. По большей части. акцент был сделан на игре, что, в принципе, правильно. Но читателей нашего портала больше интересуют вопросы прикладного применения Watson: способность суперкомпьютера решать проблемы, который в нашей стране слишком много. Начнём с того, что в России есть поговорка: "Никакая игра не доводит до добра" - в том смысле, что у игры могут быть довольно серьёзные последствия. Последствия действительно будут серьёзные, причем позитивные. Специалисты в области роботизации знают, что многие перспективные проекты оказания услуг населению наталкивались на непреодолимое препятствие: отсутствие максимально дружественного человеко-машинного интерфейса, позволяющего потребителю-неспециалисту устно задавать вопросы (например, порталам госсулуг, ЖКХ, транспортным предприятиям и т. п.) и получать ответы на естественном языке - не от не всегда адекватного человека, а от компьютера, который одновременно возьмёт на контроль исполнение заявки просителя. Теперь появилась возможность этот пробел устранить, что повлечет за собой масштабные структурные изменения в ведомствах, поскольку многие из ведомств дублируют функции друг друга, а суперкомпьютер, в процессе подготовки его к общению с населением, попутно совместит в себе многие дублирующие функции.
▫ Чтобы продемонстрировать потенциал нашей страны, напомним, что аналогичную принципу работы Watson идею несколько десятилетий назад высказал советский ученый Юрий Лотман, сформулировав: "Искусственный интеллект - это книга". Впрочем, и вся робототехника - это плод творчества сначала писателей, а затем уже ученых и конструкторов. И ведь кстати: понять, почему "Ватсон" не всегда выигрывает, можно, прочтя рассказ Роберта Шекли "Верный вопрос", где был описан Ответчик. О русском языке: будет ли Watson его поддерживать? Прямо об этом не говорится, но, по косвенным данным, американская система "Эшелон" способна понимать телефонные переговоры на языках людей, проживающих на территории США, в число которых входят русские, китайцы и т. д. То есть, в принципе, системная интеграция когда-нибудь будет возможна. Специалистов же в России, способных осуществить такую интеграцию, найти будет можно, причем некоторые российские разработки в области распознавания и синтеза речи описаны на портале e-memory.ru.
▫ Что касается изолированности Watson и того, что "живой" мозг - это открытая система. Сегодня изолированность Watson от Интернета вызвана спецификой подготовки информационного ресурса для реализации первых шагов этого суперкомпьютера. Но, в дальнейшем, возможно, будут разработаны алгоритмы не только для того, чтобы Watson читал тексты из Интернета, но и понимал содержание видеоинформации, не исключено, что и на эмоциональном уровне. Правда, о том, к чему это может привести предупреждал фантастический рассказ Артура Кларка "Зазвонил телефон": там, в результате запуска телекоммуникационного спутника, объединившего десятки миллиардов переключателей телефонных станций, "масса" телефонной сети достигла критического размера. "Телефонный мозг" начал самообучаться, но в процессе своего развития, он, как ребёнок, ломал дорогостоящие игрушки в виде самолётов и т. п.
▫ О "неигровыз" применениях Watson. В материалах IBM говорилось о возможности поддержки клиентов по телефону. Это называется call-center. Действительно, если предприятие с помощью Watson (по принципу cloud computing) создаст свой coll-центр путём введения в память всей документации, открытой для клиентов, то роботизация колл-центров станет возможной. Но это не значит, что специалистам колл-центров угрожает безработица. Наоборот: они смогут переквалифицироваться в редакторов, поскольку подбирать и структурировать информацию для робота-ответчика должны будут всё же люди. И в этой связи существенно вырастет значение литературоведов, киноведов (если суперкомпьютер будет оперировать видеоконтентом) и прочих искусствоведов. И опять же. если говорить о суперкомпьютере, как о сверхмощной технике, возникнут вопросы контроля, доступа и безопасности, поскольку люди во многом несовершенны. Например: что будет, если в Watson кто-то загрузит материалы WikiLeaks? Или все публикации СМИ об уважаемом общественном деятеле? Или другую информацию, кумулятивный эффект от которой будет рождать новые качества и новые смыслы? Тогда выражение "Своя игра" приобретёт новое значение.
▫ Однако главная интрига Wstson, наверное не в этом: использовать его для медицины, колл-центров и т. п. конечно полезно, но это проза жизни. Высшая же материя для современного человечества - это как заработать денег. И люди больше всего ожидают ответов на свои вопросы от таких людей, как финансовые аналитики, биржевые маклеры, а также Сергей Мавроди. По каналу РБК вещает Степан Димура о том, что надо покупать золото. Это понятно не всем, и вот, идя навстречу гражданам, были созданы т. н. биржевые роботы. Но это лишь красивое название для софта, воспользоваться которым в своих целях могут лишь сугубые специалисты. А граждане хотят задать вопрос на естественном языке и получить четкий ответ о том, как получить прибыль. Спрос родит предложение в виде Большого Биржевого Робота на основе суперкомпьютера Watson, который правильно ответит, какие акции покупать, а какие продавать. Могут возразить, что это будет конец фондового рынка, если все будут получать правильные ответы. Нет! Прочтите внимательно упомянутый рассказ Шекли (справа мы привели лишь его начало и концовку, а самое интересное - в середине). То есть, ответы будут правильное, но РАЗНЫЕ - в зависимости от того, насколько грамотно и полно был задан вопрос, а вопросы все люди задают по-разному. Что касается контента финансовой версии Watson, то, скорее всего,  в неё будет заложена вся информация о движении и происхождении капиталов, возможно - информация о банковских реквизитах капиталов и другой собственности из "группы риска" (то есть, принадлежащих коррумпированным чиновникам и криминальным бизнесменам).
▫ Еще один важный аспект влияния Watson на судьбы человечества: рано или поздно в него будет заложена вся информация по мировым религиям, но во что это выльется - нам пока представить сложно. Как, например, суперкомпьютер объяснит бесконечность Вселенной? Возможные последствия предсказал Зиновий Юрьев в фантастической повести "Люди и слепки". И ведь кое-что начало сбываться: в начале 2011 года в СМИ появились сообщения о том, что с помощью мобильного гаджета можно исповедоваться, заполнив электронную анкету.