Машинное обучение: как его понимать. И как заработать на машинном обучении и искусственном интеллекте

1.1 Понятие машинного обучения. Математические основы ML

Понятие машинного обучения

Под термином «машинное обучение» (Machine learning- Ml) принято понимание общего термина для обозначения средства, предназначенного для решения проблем, для которых разрабатывать алгоритмы специалистами по программированию могло бы оказаться чрезмерно затратно. Решения проблем осуществляются в итоге с опорой на оказание машинам помощи в открытии «открытии» своих «собственные» алгоритмов без необходимости получения ими явных указаний, что им делать, используя любые разработанные человеком алгоритмы.

Применение Ml-подходов имело место в таких направлениях (или областях), где осуществление разработки алгоритмов для выполнения нуждающихся в выполнении задач чрезмерно недешево. Это такие направления (или области), как медицина, сельское хозяйство, фильтрация электронной почты, распознавание речи, компьютерное зрение, большие языковые модели.

Для машинного обучения имеет место  существование множества приложений. Этика машинного обучения становится отдельной областью исследований и должна быть интегрирована в команды разработчиков машинного обучения.

Математические основы ML

Если говорить о математических основах ML, то ими обеспечиваются методы математической оптимизации (это из области математического программирования). Параллельной (смежной) областью исследований, в которой основное внимание уделяется исследовательскому анализу данных с помощью «обучения без учителя», является интеллектуальный анализ данных, предназначенный для решения бизнес-задач, известных как «прогнозная аналитика». Не все ML базируется на статистике, однако надо принимать во внимание, что вычислительную статистику считают значимым источником методов в рассматриваемой области.

1.2 Преследуемые современным Ml цели. Машинное обучение как область искусственного интеллекта

Преследуемые современным Ml цели

Целей, преследуемых современным Ml, насчитывается две. Во-первых, это цель классификации данных на базе разработанных моделей, во-вторых – цель прогнозирования будущих результатов с опорой на эти модели. Ml-алгоритм для торговли акциями может информировать трейдера о будущих потенциальных прогнозах. Для классификации данных о родинках возможно использование компьютерного зрения в сочетании с контролируемым обучением, чтобы научить его классифицировать родинки, разделяя их на злокачественные и не злокачественные.

Машинное обучение как область искусственного интеллекта

Как научная деятельность, Ml возникло в результате поисков в области искусственного интеллекта (Artificial Intelligence – AI). На заре AI как академической дисциплины некоторые из исследователей были заинтересованы в том, чтобы происходило обучение машин на данных. Они пытались подойти к проблеме с помощью различных методов, а также того, что было названо «нейронными сетями»; это были в основном перцептроны и иные модели, которые в более позднее время оказались переосмыслением обобщенных линейных статистических моделей. Также применение находили (особенно в автоматизированной медицинской диагностике) вероятностные рассуждения.

Однако имел место рост внимания к логическому, базирующемуся на знаниях подходу. Это спровоцировало раскол между AI и Ml. Вероятностные системы столкнулись с проблемами (теоретического и практического плана) в такой области, как область сбора и представления данных.

К периоду 1980-х годов в AI-области доминирующими стали экспертные системы, оставив позади вышедшую из моды статистику. Работа над базирующимися на знаниях/символизме обучением продолжалась в рамках AI, что привело к индуктивному логическому программированию. Но более статистическое направление исследований теперь оказалось за пределами собственно AI, в области распознавания образов и поиска информации. Исследования в сфере нейронных сетей были практически одновременно прекращены информатикой и AI.

Данная линия также была продолжена как «коннекционизм» исследователями в других дисциплинах, которыми являлись (в том числе) Хинтон, Румельхарт и Хопфилд. Их ключевой успех пришелся на время середины 1980-х г.г., когда ими был изобретен метод обратного распространения ошибки.

Примечание:

Коннекционизм является одним из подходов в области искусственного интеллекта, когнитивной науки под названием «когнитивистика», нейробиологии, философии сознания и психологии. Он из связанных между собой простых элементов моделирует  поведенческие либо мыслительные явления посредством процессов становления в сетях. .

Расцвет машинного обучения, реорганизованного и признанного отдельной областью, пришелся на 1990-е г. г. Эта область с достижениями в области искусственного интеллекта изменила свою цель на решение решаемых проблем практического характера. Он сместил акцент с символических подходов, унаследованных от AI, на модели и методы, заимствованные из таких областей как статистика, теория вероятностей и нечеткая логика.

1.3 Теория вычислительного обучения

Обобщение опыта

Основная цель в обучении – обобщение своего опыта. Обобщением в рассматриваемом контексте является способность обучающейся машины к точному выполнению новых, ранее незнакомых примеров/задач после изучения набора обучающих данных. Обучающие примеры берутся из некоторого, как правило, неизвестного распределения вероятностей (считающегося репрезентативным для пространства событий), и от обучающегося требуется построение общей модели этого пространства, способной давать ему в новых случаях отличающиеся достаточной точностью прогнозы.

Вычислительный анализ алгоритмов машинного обучения и их производительности

Вычислительный анализ ML-алгоритмов и их производительности является разделом теоретической информатики, известным как теория вычислительного обучения, с использованием модели «вероятно приблизительно правильного обучения» (PAC). Так как будущее неопределенно, а обучающие наборы конечны, теория обучения обычно не дает вероятностные границы производительности алгоритмов – здесь обходится без гарантий.

Одним из способов количественной оценки ошибки обобщения является разложение смещения-вариации.

Для достижения наилучшей производительности в контексте обобщения сложность гипотезы должна соответствовать сложности лежащей в основе данных функции. Если вы сталкиваетесь с ситуации меньшей сложности гипотезы в сравнении со сложностью функции, то можно говорить о том, что данные моделью подогнаны недостаточно. Если в ответ обеспечить увеличение уровня сложности модели, то ошибка обучения окажется меньшей Но если гипотеза отличается чрезмерной сложностью, модель может быть переобучена, и обобщение окажется хуже.

Помимо границ производительности, теоретики обучения занимаются изучением временной сложности и осуществимости обучения. В теории вычислительного обучения вычисление считается возможным, если оно может быть выполнено за полиномиальное время.

Имеет место существование 2-х типов результатов по временной сложности: результаты положительные говорят о том, что определенный класс функций можно выучить за полиномиальное время. Результаты отрицательные говорят о том, что некоторые классы не могут быть выучены за полиномиальное время.

2.1 Ml и интеллектуальный анализ данных. Пересечение Ml и DM

Интеллектуальный анализ данных

Интеллектуальный анализ данных (Data Mining – DM) рассматривается в качестве процесса извлечения и обнаружения закономерностей из солидных массивов данных с использованием методов на стыке статистики, машинного обучения и систем баз данных. DM является междисциплинарной областью информатики и статистики, общая цель которой состоит в том, чтобы добиваться извлечения информации (с помощью интеллектуальных методов) из набора данных и преобразования информации в понятную для дальнейшего использования структуру.

DM – это этап анализа « обнаружения знаний в базах данных», процесс, или KDD (Knowledge Discovery Data).

Примечание:

Обнаружение знаний из данных (KDD) является последовательным по характеру процессом извлечения закономерностей либо знаний из огромного массива данных. Обычно люди интересуются данными, отличающимися потенциальной полезностью, нетривиальностью, неизвестностью.

KDD определяется как метод поиска, преобразования и уточнения значимых данных и шаблонов из необработанной базы данных для использования в разных приложениях либо областях.

Помимо анализа необработанных данных, в DM также включаются аспекты управления данными и базами данных, предварительной обработки данных, соображений моделей и выводов, метрик интересности, соображений сложности, постобработки обнаруженных структур, визуализации, онлайн-обновлений.

Пересечение Ml и DM

Машинным обучением и DM нередко применяются одни и те же методы и они в значительной мере пересекаются. В то же время Ml фокусируется на прогнозировании на основе известных свойств, полученных из обучающих данных, а DM – на обнаружении ранее неизвестных свойств в данных (это этап анализа обнаружения знаний в базах данных). В DM практикуется использование множества Ml- методов, но с иными целями; с другой стороны, Ml использует DM- методы как «обучение без учителя». либо в качестве этапа предварительной обработки для повышения уровня точности обучения.

Возникновение большей части путаницы между 2-мя исследовательскими сообществами (зачастую имеющими отдельные журнальные издания и конференции, ECML PKDD – серьезное исключение) происходит из-за основных предположений, с которыми они работают:

в Ml производительность обычно оценивается по способности воспроизводить известные знания, тогда как при обнаружении знаний и интеллектуальном анализе данных (KDD) ключевой задачей является обнаружение ранее неизвестных знаний. При оценке по известным знаниям неинформированному (неконтролируемому) методу легко превзойти контролируемые методы, в то время как в типичной KDD-задаче контролируемые методы не могут использоваться – из-за отсутствия обучающих данных.

2.2 Ml и физика. Ml и статистика. ML и оптимизация

Ml и физика

Полученные из глубинной физики неупорядоченных систем методы вычислительные и аналитические) могут быть распространены на крупномасштабные задачи, не исключая машинное обучение, к примеру, для анализа весового пространства глубоких нейронных сетей. Таким образом, статистическая физика находит применение в области медицинской диагностики.

Ml и статистика

Ml и статистика являются тесно связанными с точки зрения методов областями. Однако между ними имеется отличие по критерию своей основной цели: статистика делает выводы о численности населения на основе выборки, а Ml находит обобщаемые прогнозные закономерности.

У Ml-идей – от методологических принципов до теоретических инструментов – имеется длительная предыстория в статистике. Известен также применяемый для обозначения всей области термин «наука о данных».

Если говорить о традиционном статистическом анализе, ему требуется априорный выбор модели, которая наиболее подходит для набора данных исследования. Помимо этого, практикуется включение в анализ лишь значимых или теоретически значимых переменных, базирующихся на предшествующем опыте.

Построение Ml, наоборот, не происходит на предварительно структурированной модели; скорее, данные формируют модель, обнаруживая имеющиеся основные закономерности.

Чем больше входных данных (переменных) используется в целях обучения модели, тем большая точность будет у конечной модели. Лео Брейманом выделены 2 парадигмы статистического моделирования [1]:

модель данных и алгоритмическую модель, где «алгоритмическая модель» означает более или менее алгоритмы машинного обучения, такие как Random Forest.

Некоторыми статистиками  были взяты на вооружение методы машинного обучения, что привело к созданию объединенной области, которую они назвали «статистическим обучением».

ML и оптимизация

ML также имеет существенную связь с оптимизацией: формулирование многих задач обучения происходит как минимизация некоторой функции потерь на обучающем наборе примеров.

Функции потерь выражают расхождение между предсказаниями обучаемой модели и реальными примерами задачи (к примеру, при осуществлении классификации требуется присвоение метки примерам, и модели обучаются правильному предсказанию заранее присвоенных меток на солидном количестве примеров).

Различие между оптимизацией и ML машинным обучением связано с целью обобщения: если алгоритмы оптимизации позволяют минимизировать потери на обучающем множестве, то машинное обучение нацелено на минимизацию потерь на невидимых выборках. Характеристика обобщения различных алгоритмов обучения является активной темой современных исследований, особенно для алгоритмов глубокого обучения.

Обобщение является концепцией, согласно которой люди, животные и искусственно созданные нейросети прибегают к использованию прошлого опыта в настоящих ситуациях обучения, когда условия в данных ситуациях считаются схожими. Обучающимся ради более эффективной ориентации в мире используются обобщенные модели, принципы и иные сходства между опытом прошлым и опытом новым.

Примером может служить узнавание человека о том, что каждый раз, когда он ест инжир, его горло начинает чесаться и опухать. В итоге он может прийти к предположению, что у него имеется аллергия на все фрукты. Поэтому если вы предложите данному человеку съесть мандарин, он ответит вам отказом, думая, что у него на мандарины тоже аллергия, обобщая, что всеми фруктами вызывается одна и и та же проблема.

Базирующееся на опыте человека с одним фруктом обобщение об аллергии в некоторых случаях может являться правильным, но в других случаях – нет. В образовании были продемонстрированы как отрицательные, так и положительные эффекты обобщения, а также эффекты противоположного обобщению понятия, известного как дискриминационное обучение.

Источник: https://vk.com/wall-25712960_386

3.1 Введение термина «машинное обучение». Разработка экспериментальной «самообучающейся машины»

Введение термина «машинное обучение»

«Артур Самуэль (англ. Arthur Samuel, 5 декабря 1901 – 29 июля 1990) – пионер в области компьютерных игр, искусственного интеллекта и машинного обучения. Его программа Checkers-playing – одна из первых самообучающихся программ в мире и одна из первых демонстраций базовых понятий искусственного интеллекта». Xl2085 – собственная работа. CC BY-SA 4.0. Без изменений. Источник https://ru.wikipedia.org/wiki/Сэмюэл,_Артур

Термин «машинное обучение» был введен в 1959 г. Артуром Сэмюэлем, сотрудником компании IBM, пионером в области компьютерных игр и искусственного интеллекта. В этот период также использовался синоним «самообучающиеся компьютеры».

Разработка экспериментальной «самообучающейся машины»

К началу 1960-х годов компанией Raytheon была разработана экспериментальная «самообучающаяся машина» с памятью на перфоленте под названием Cybertron, которая анализировала сигналы гидролокаторов, электрокардиограммы и речевые шаблоны, используя рудиментарное обучение с подкреплением. Она многократно «тренировалась» человеком-оператором/преподавателем на распознавание паттернов и была оснащена кнопкой «goof», заставляющей ее повторно оценивать неверные решения.

3.2 Книга Нильссона «Learning Machines». Сохранение интереса к распознаванию образов

Книга Нильссона «Learning Machines»

Репрезентативной книгой по исследованиям в области машинного обучения в 1960-х годах была книга Нильссона «Learning Machines», посвященная в основном машинному обучению классификации паттернов.

Сохранение интереса к распознаванию образов

Интерес к распознаванию образов сохранялся и в 1970-е годы, о чем писали Дуда и Харт в 1973 г. В 1981 г. был сделан доклад об использовании стратегий обучения, позволяющих нейронной сети научиться распознавать 40 символов (26 букв, 10 цифр и 4 специальных символа) с компьютерного терминала.

3.3 Определение Тома М. Митчелла. Цели современного машинного обучения

Определение Тома М. Митчелла

Том М. Митчелл дал широко цитируемое, более формальное определение алгоритмов, изучаемых в области машинного обучения: «Считается, что компьютерная программа обучается на основе опыта E в отношении некоторого класса задач T и меры производительности P, если ее производительность на задачах из T, измеряемая P, улучшается с опытом E.» Это определение задач, в которых применяется машинное обучение, предлагает фундаментальное операциональное определение, а не определение области в когнитивных терминах. Это следует предложению Алана Тьюринга в его работе «Вычислительная техника и интеллект», в которой вопрос «Могут ли машины мыслить?» заменяется вопросом «Могут ли машины делать то, что можем делать мы (как мыслящие существа)?».