Big data и облачные технологии

Продолжение статьи «взгляд в будущее», мы поговорим о Big data. Этот термин в переводе с английского означает «большие данные». Он пришел совсем недавно в наш мир, давайте вместе разберемся, что из себя представляет Big Data, и как он взаимосвязан с Бережливым производством и 6 Сигм. 

Что такое Большие данные?

Big data или большие данные как термин был определен в начале 2000-х годов. В разных источниках существуют разные определения Большим данным, но сходятся они в одном, это метод обработки неструктурированных или структурированных данных из разных источников и разных форматов до уровня восприятия человеком.

С течением времени количество данных увеличивается с такой скоростью, что уже один человек не может успеть обработать их все. Например еще в начале 2000 годов объем памяти наших компьютеров составлял 10-20 Гб, а уже сейчас стандартным считается 1Тб. Только мои личные данные составляют около 311Гб, и это только те, которые я храню на жестком диске! А совсем недавно я перешел на хранение данных в облаке, что облегчает мне доступ к ним. Вы, конечно, можете мне возразить, что такое количество места занимает фото и видео! И я отвечу вам – «Да!». Вот именно, Большие данные это не только текст, базы с данными, а это и все возможные форматы файлов на данный момент с которыми и будет работать наш инструмент.

Выделено четыре принципа которые формируют необходимость применения инструмента Большие данные:

1) Объём – такое количество информации, которое мы не в силах обработать. Даже стандартные офисные программы имеют свои ограничения. К примеру, EXCEL имеет ограничения в 1 048 576 строк и 16 384 столбца, и сможем ли мы создать такой файл и работать с ним?

2) Скорость – Работа с потоковыми данными в реальном времени.

3) Разнообразие – Неструктурированные данные. Например: медиа, текстовые, неформализованные данные.

4) Достоверность – Оценка достоверности и релевантности информации. Не всегда, если у нас есть огромное количество данных, то мы найдем в них, что-то полезное. 

Отличный пример демонстрируется в фильме «Автостопом по галактике», где был изобретен суперкомпьютер «Думатель», который должен был дать ответ на вопрос: «О жизни, смерти и вообще». Ответ, который дал «Думатель» - 42. Это с одной стороны та работа, которая должна быть реализована инструментом «Большие данные», а с другой стороны это технология, которую надо понимать и уметь её использовать правильно.

Именно последнее и становиться проблемой при внедрении этой технологии. Маркетологи хайпят этот продукт, говоря, что он решит все проблемы человечества. Как и все технологии Большие данные проходят определенный жизненный цикл, который описан аналитическим агентством GARTHNER. Рассмотрим на рисунке жизненный цикл Больших данных исходя из графика агентства.

Как мы видим сейчас идет этап понимания продукта, и многие сферы бизнеса и государственных структур уже активно используют этот инструмент.

Не могу не пройти мимо США, где используется предиктивная аналитика и интеллектуальный анализ по средствам социальных сетей, геолокации (например, телефона), запросов в интернете и т.д. Ярким примером служат беременные женщины, так как потребительская корзина увеличивается на 200% и все маркетинговые агентства бегают за таким «лакомым» кусочком прибыли.

Первый наделавший шуму в свое время пример. На адрес одной семьи, а конкретно на девочку еще учащуюся в школе постоянно приходила рассылка по разному роду консультаций, товаров и услуг для беременных. Папа семейства не выдержал и начал звонить в эти агентства, и спрашивать почему его дочке приходит такая рассылка. А оказалось эта девочка была уже беременна два месяца, и просто не рассказывала об этом папе. Разгорелся нешуточный скандал, откуда они узнали о беременности раньше Папы девочки.

Вообще в США это определяется с точностью 99%!

Каждый гаджет имеющий доступ к интернету и GPS собирает информацию о своем пользователе. Конечно, эта информация обезличена, но думаю, что определить личность сейчас возможно. 

Пора рассмотреть точки соприкосновения Больших данных и Бережливого производства 

Таблица сравнения

Как мы видим из таблицы сравнения инструмент Большие данные очень сильно пересекается с инструментами Бережливого производства и 6 Сигма, а это означает что если мы не умеем ими пользоваться, то и не сможем управлять Большими данными. Это похоже на игру, когда нам необходимо развить героя до определенного уровня, и только после этого возможно надеть на него самые лучшие и передовые доспехи. 

Применив на практике и закрепив результаты наших курсов, вы сможете начать путь в Бережливое производство и 6 Сигма, чтобы успеть на поезд будущего! 

В будущее Господа! Вместе с Топ-Менеджмент Консалт!