Сталь, нефть и искусственный интеллект: Yandex Data Factory о новой промышленной революции
Последние годы «большие данные» были одной из самых горячих технологических тем. Без соответствующей секции не обходилась ни одна отраслевая конференция. Влияние «больших данных» на экономику обсуждали правительства, а пресса писала про волшебные новые возможности, которые big data несёт человечеству.
В конце 2014 года Яндекс открыл новое направление — Yandex Data Factory. До этого у нас было несколько экспериментальных проектов: они показали, что технологии Яндекса — в первую очередь, машинное обучение, — могут очень успешно применяться для решения практических задач в отраслях за пределами интернета.
Главной задачей Yandex Data Factory на первые два года было найти такие способы применения наших технологий, которые дали бы наибольший эффект и открыли бы бизнесу самые широкие перспективы развития. Но мы не очень-то вписывались в тему «больших данных» в том смысле, в каком её в тот момент понимал рынок.
На рынке все были озабочены конкретными задачами — как настроить Hadoop или изящно визуализировать накопленные данные. Все планировали инвестиции в «большие данные», но рассматривали их прежде всего как затраты на покупку и внедрение новых систем.
Мы предложили подойти к делу с другой стороны — отталкиваться не от затрат, а от создаваемой ценности. Чтобы не быть голословными, мы измеряли эту ценность прямо — в деньгах, которые можно сэкономить или дополнительно заработать с помощью решений на базе машинного обучения.
Конечно, наши рассказы о том, что в «большие данные» можно не только вложить кучу денег, но и с лихвой возместить инвестиции, вызвали немало интереса. Чтобы превратить этот интерес в реальные проекты, пришлось потратить немало времени и сил на образовательную часть. Мы объясняли, в чём особенности метода. Напоминали о необходимости проводить экспериментальные проверки и замеры. Рассказывали про отличия от традиционной бизнес-аналитики. Наконец, прямо говорили о неприятной особенности решений на основе машинного обучения — невозможности человекопонятно объяснить, что именно на что влияет.
В 2016 году всё резко изменилось. «Большие данные» вышли из моды, и все заговорили про машинное обучение — или, как сейчас модно называть спектр технологий анализа данных, искусственный интеллект. Последствия оказались немного неожиданными, но об этом мы расскажем чуть позже.
Первые прорывы
К счастью, на протяжении этих двух лет находились заказчики, которые были открыты для экспериментов и ещё до начала всеобщего ажиотажа распознали потенциал применения машинного обучения в бизнесе. С ними нам удалось реализовать несколько десятков успешных проектов в разных отраслях.
В конце 2014 года Яндекс открыл новое направление — Yandex Data Factory. До этого у нас было несколько экспериментальных проектов: они показали, что технологии Яндекса — в первую очередь, машинное обучение, — могут очень успешно применяться для решения практических задач в отраслях за пределами интернета.
Главной задачей Yandex Data Factory на первые два года было найти такие способы применения наших технологий, которые дали бы наибольший эффект и открыли бы бизнесу самые широкие перспективы развития. Но мы не очень-то вписывались в тему «больших данных» в том смысле, в каком её в тот момент понимал рынок.
На рынке все были озабочены конкретными задачами — как настроить Hadoop или изящно визуализировать накопленные данные. Все планировали инвестиции в «большие данные», но рассматривали их прежде всего как затраты на покупку и внедрение новых систем.
Мы предложили подойти к делу с другой стороны — отталкиваться не от затрат, а от создаваемой ценности. Чтобы не быть голословными, мы измеряли эту ценность прямо — в деньгах, которые можно сэкономить или дополнительно заработать с помощью решений на базе машинного обучения.
Конечно, наши рассказы о том, что в «большие данные» можно не только вложить кучу денег, но и с лихвой возместить инвестиции, вызвали немало интереса. Чтобы превратить этот интерес в реальные проекты, пришлось потратить немало времени и сил на образовательную часть. Мы объясняли, в чём особенности метода. Напоминали о необходимости проводить экспериментальные проверки и замеры. Рассказывали про отличия от традиционной бизнес-аналитики. Наконец, прямо говорили о неприятной особенности решений на основе машинного обучения — невозможности человекопонятно объяснить, что именно на что влияет.
В 2016 году всё резко изменилось. «Большие данные» вышли из моды, и все заговорили про машинное обучение — или, как сейчас модно называть спектр технологий анализа данных, искусственный интеллект. Последствия оказались немного неожиданными, но об этом мы расскажем чуть позже.
Первые прорывы
К счастью, на протяжении этих двух лет находились заказчики, которые были открыты для экспериментов и ещё до начала всеобщего ажиотажа распознали потенциал применения машинного обучения в бизнесе. С ними нам удалось реализовать несколько десятков успешных проектов в разных отраслях.
Евгения Завалишина
Руководитель направления Yandex Data Factory
Новая промышленная революция
Особняком среди всех отраслей стоит промышленность. В 2015 году мы впервые рассказали о работе Yandex Data Factory с Магнитогорским металлургическим комбинатом (ММК). Тогда многим показалась забавной идея сотрудничества интернет-компании с металлургами. Но промышленность для нас — совсем не случайный выбор. У этой отрасли есть сразу несколько важных особенностей, которые позволяют эффективно применять наши технологии.
Во-первых, промышленные компании давно отладили процессы и накопили большое количество исторических данных, которые необходимы для машинного обучения. Кстати, данным необязательно быть «большими». Да, если везде повесить датчики — их часто показывают в презентациях про промышленный «интернет вещей», — можно собрать терабайты информации. Но в случае с тем же ММК речь шла всего лишь о десятке гигабайт — именно столько весит история плавок за последние годы.
Во-вторых, промышленные компании — это компании с инженерной культурой. Они умеют внедрять новые технологии в существующие процессы и хорошо знают, что такое эксперименты и как их проводить. Именно это, как показывает опыт Yandex Data Factory, является одним из критически важных факторов успешности проекта.
Наконец, промышленность знает цену оптимизации. Экономия на производстве в единицы процентов даётся промышленникам очень нелегко. Это капитальные затраты: денег — на новое оборудование и времени — на внедрение. На этом фоне наши решения, которые предлагают получить оптимизацию в 5-10% за несколько месяцев и без капитальных инвестиций, выглядят действительно революционно.
Спектр возможных применений очень широк — особенно в процессном производстве, когда выпускаются не отдельные товары (автомобили или платья), а материалы, смеси и тому подобное.
Особняком среди всех отраслей стоит промышленность. В 2015 году мы впервые рассказали о работе Yandex Data Factory с Магнитогорским металлургическим комбинатом (ММК). Тогда многим показалась забавной идея сотрудничества интернет-компании с металлургами. Но промышленность для нас — совсем не случайный выбор. У этой отрасли есть сразу несколько важных особенностей, которые позволяют эффективно применять наши технологии.
Во-первых, промышленные компании давно отладили процессы и накопили большое количество исторических данных, которые необходимы для машинного обучения. Кстати, данным необязательно быть «большими». Да, если везде повесить датчики — их часто показывают в презентациях про промышленный «интернет вещей», — можно собрать терабайты информации. Но в случае с тем же ММК речь шла всего лишь о десятке гигабайт — именно столько весит история плавок за последние годы.
Во-вторых, промышленные компании — это компании с инженерной культурой. Они умеют внедрять новые технологии в существующие процессы и хорошо знают, что такое эксперименты и как их проводить. Именно это, как показывает опыт Yandex Data Factory, является одним из критически важных факторов успешности проекта.
Наконец, промышленность знает цену оптимизации. Экономия на производстве в единицы процентов даётся промышленникам очень нелегко. Это капитальные затраты: денег — на новое оборудование и времени — на внедрение. На этом фоне наши решения, которые предлагают получить оптимизацию в 5-10% за несколько месяцев и без капитальных инвестиций, выглядят действительно революционно.
Спектр возможных применений очень широк — особенно в процессном производстве, когда выпускаются не отдельные товары (автомобили или платья), а материалы, смеси и тому подобное.
Листовая сталь
Например, для ещё одной металлургической компании мы делаем прогноз дефектов проката на ранних этапах производства. Модель учится предсказывать, из каких слябов (это такие огромные стальные слитки) получится листовая сталь с дефектом. Заранее зная, где возникнут дефекты, можно своевременно отправить сляб по другому маршруту для производства другого сорта листовой стали. Так можно избежать значительных затрат на высокотехнологичную обработку.
Для другой компании, из нефтехимической отрасли, мы оптимизируем работу установки, которая выполняет газофракционирование — разделяет смеси газов на отдельные фракции. Наше решение рекомендует параметры работы установки — это ещё один пример сложного процесса, где анализ исторических данных позволяет сократить общие издержки.
Для другой компании, из нефтехимической отрасли, мы оптимизируем работу установки, которая выполняет газофракционирование — разделяет смеси газов на отдельные фракции. Наше решение рекомендует параметры работы установки — это ещё один пример сложного процесса, где анализ исторических данных позволяет сократить общие издержки.
Газофракционирующая установка
Промышленность существует сотни лет. Именно там работают компании, которые внедрили принцип постоянных улучшений и знают цену каждому проценту эффективности. Традиционными методами в промышленности уже оптимизировано всё, что можно было оптимизировать, и именно применение технологий машинного обучения и искусственного интеллекта может обеспечить следующий прорыв.
Эра искусственного интеллекта
Сегодня (внезапно!) все вдруг поняли, о чём мы говорим. То, что мы рассказывалиещё в 2014 году, в 2016 году стало регулярно попадать в заголовки.
В январе 2016 года Всемирный экономический форум объявил главной темой на следующие несколько лет четвёртую промышленную революцию. Утверждается, что важнейшую роль в ней сыграют технологии машинного обучения и искусственный интеллект. Правительства тоже переключились на эту тему: в администрации президента США подготовили большой доклад о влиянии искусственного интеллекта на будущее экономики, а премьер-министр Великобритании Тереза Мэй объявила о новой стратегии британского правительства, где ИИ обозначен как одно из ключевых направлений.
Технологические компании одна за другой объявляют о своей приверженности искусственному интеллекту и машинному обучению. Стратегии, в основе которых лежит ИИ, формулируют и игроки в других отраслях. Пресса, вплоть до женских журналов, рисует картины светлого будущего, которое принесёт нам искусственный интеллект. Аналитики перестали прятать когнитивные сервисы внутри решений для бизнес-аналитики и стали выделять их в отдельный миллиардный рынок.
То, о чём мы одними из первых рассказывали не вполне понимающему нас рынку несколько лет назад, буквально у нас на глазах превращается в мейнстрим.
Конечно, это хорошие новости для Yandex Data Factory — мы оказались среди немногих игроков, обладающих практическим опытом применения искусственного интеллекта в традиционных отраслях. Сделанные за это время проекты, а также наши выступления на конференциях, статьи в отраслевых изданиях и прочая пропагандистская работа во второй половине 2016 года стала приносить плоды.
Начался резкий рост спроса на наши услуги. Только за IV квартал мы подписали соглашений примерно на ту же сумму, что за предыдущие три, а по итогам 2016 года сумма подписанных контрактов оказалась почти в три раза выше, чем в 2015 году.
Но, как ни странно, у этого взлёта есть и обратная сторона. Мы стремительно теряем фору. Недаром один из основателей Wired Кевин Келли заявил: «Бизнес-планы следующих 10 тысяч стартапов легко предсказать: берем X и добавляем ИИ».
Yandex Data Factory в промышленных масштабах
Для нас это означает, что ближайшие два-три года станут решающими в гонке. Будущее Yandex Data Factory напрямую зависит от того, насколько хорошо мы сможем распорядиться имеющимся у нас сейчас преимуществом.
Но одновременное присутствие повсюду означает, что нам придётся превратиться в универсальную аутсорсинговую компанию — что-то вроде индийских «фабрик кода», только в области ИИ. А это совсем не тот бизнес, который мы хотим построить.
И поэтому мы решили сосредоточиться на главном: пойти туда, где мы нащупали наибольшой потенциал, где у нас сейчас лидирующие позиции и где мы заметны на международном уровне — в ту самую промышленность, где революция уже началась на наших глазах и при нашем участии.
Рынок промышленного ИИ растёт и формируется на наших глазах. Это огромная новая история, в которой Яндекс намерен сыграть свою роль — примерно так же, как и двадцать лет назад, в эпоху зарождающегося интернета.
Эра искусственного интеллекта
Сегодня (внезапно!) все вдруг поняли, о чём мы говорим. То, что мы рассказывалиещё в 2014 году, в 2016 году стало регулярно попадать в заголовки.
В январе 2016 года Всемирный экономический форум объявил главной темой на следующие несколько лет четвёртую промышленную революцию. Утверждается, что важнейшую роль в ней сыграют технологии машинного обучения и искусственный интеллект. Правительства тоже переключились на эту тему: в администрации президента США подготовили большой доклад о влиянии искусственного интеллекта на будущее экономики, а премьер-министр Великобритании Тереза Мэй объявила о новой стратегии британского правительства, где ИИ обозначен как одно из ключевых направлений.
Технологические компании одна за другой объявляют о своей приверженности искусственному интеллекту и машинному обучению. Стратегии, в основе которых лежит ИИ, формулируют и игроки в других отраслях. Пресса, вплоть до женских журналов, рисует картины светлого будущего, которое принесёт нам искусственный интеллект. Аналитики перестали прятать когнитивные сервисы внутри решений для бизнес-аналитики и стали выделять их в отдельный миллиардный рынок.
То, о чём мы одними из первых рассказывали не вполне понимающему нас рынку несколько лет назад, буквально у нас на глазах превращается в мейнстрим.
Конечно, это хорошие новости для Yandex Data Factory — мы оказались среди немногих игроков, обладающих практическим опытом применения искусственного интеллекта в традиционных отраслях. Сделанные за это время проекты, а также наши выступления на конференциях, статьи в отраслевых изданиях и прочая пропагандистская работа во второй половине 2016 года стала приносить плоды.
Начался резкий рост спроса на наши услуги. Только за IV квартал мы подписали соглашений примерно на ту же сумму, что за предыдущие три, а по итогам 2016 года сумма подписанных контрактов оказалась почти в три раза выше, чем в 2015 году.
Но, как ни странно, у этого взлёта есть и обратная сторона. Мы стремительно теряем фору. Недаром один из основателей Wired Кевин Келли заявил: «Бизнес-планы следующих 10 тысяч стартапов легко предсказать: берем X и добавляем ИИ».
Yandex Data Factory в промышленных масштабах
Для нас это означает, что ближайшие два-три года станут решающими в гонке. Будущее Yandex Data Factory напрямую зависит от того, насколько хорошо мы сможем распорядиться имеющимся у нас сейчас преимуществом.
Но одновременное присутствие повсюду означает, что нам придётся превратиться в универсальную аутсорсинговую компанию — что-то вроде индийских «фабрик кода», только в области ИИ. А это совсем не тот бизнес, который мы хотим построить.
И поэтому мы решили сосредоточиться на главном: пойти туда, где мы нащупали наибольшой потенциал, где у нас сейчас лидирующие позиции и где мы заметны на международном уровне — в ту самую промышленность, где революция уже началась на наших глазах и при нашем участии.
Рынок промышленного ИИ растёт и формируется на наших глазах. Это огромная новая история, в которой Яндекс намерен сыграть свою роль — примерно так же, как и двадцать лет назад, в эпоху зарождающегося интернета.