Большие данные: палка о двух концах

Переводные статьи

Популярное | Последнее

Авторизация

E-Mail

703

Сообщество Lean+6Sigma в России

Большие данные: палка о двух концах

Вадим Сеничев, Преподаватель каф. АИДМиСВ МГОУ

17 августа 2022 в 18:00

Бережливое производство LSSRussia.ru 6sigma переводные статьи

Перевод статьи "Big Data: A Double-Edged Sword" автора Джереми Д. Боргера выполнил Вадим Сеничев

Большие данные — относительно новое явление, влияние которого с каждым годом только растет от организации к организации. Но, как и в случае со многими новыми процессами, его применение работает в нескольких направлениях. Большие данные дают положительные преимущества как организации, так и клиентам, но также несут и потенциальные недостатки. Сегодня мы рассмотрим Большие данные с точки зрения профессионала в области качества.

Преимущества больших данных

Большие данные — это накопление и анализ огромных объемов информации. Эта информация обычно делится на две категории: структурированная и неструктурированная. Структурированные данные включают информацию, хранящуюся в электронном виде, такую как электронные таблицы и каталоги. К неструктурированным данным относятся видеофайлы, изображения, твиты и текстовые документы.

Оцифровка данных и интернета в сочетании со статистическими алгоритмами предоставила компаниям и правительствам возможность работать более эффективно, своевременно выявляя и оценивая соответствующую информацию. Такая информация позволяет организациям лучше обслуживать своих клиентов и определять области, которые можно улучшить.

Общий термин, используемый для описания интеграции больших данных, интернета и компьютерного программирования с физическими объектами в частном секторе, называется Индустрия 4.0. На уровне государственного управления этот феномен приобретает форму так называемых «умных городов». Эта интеграция может способствовать повышению качества продукции, выявлению дефектов по мере их продвижения по производственной линии, оценке проблем цепочки поставок и быстрому поиску решений, которые предотвратят серьезные сбои или проблемы с качеством. Следующие примеры позволят проиллюстрировать этот тезис:

Первый пример пришел к нам с нефтеперерабатывающего завода BP Cheery Point в Блейне, штат Вашингтон. Чтобы понять, как можно улучшить процесс переработки, руководители завода установили беспроводные датчики по всему заводу. Датчики обеспечивали непрерывный сбор данных о производственном процессе в режиме реального времени. В результате было установлено, что некоторые виды сырой нефти более агрессивны, чем другие. Эта информация позволила им разработать более эффективные методы обслуживания для решения проблемы.

Второй пример представляют собой книжные рекомендации платформы Amazon. Первоначально подход магазина заключался в том, чтобы предлагать варианты, основанные на последней покупке, с небольшими вариациями. Однако по мере того, как компании стало доступно больше данных, и алгоритмы стали более изощренными, рекомендации стали основываться на том, как покупки других книг коррелировали с покупкой этой конкретной книги. Это предоставило покупателю более широкий выбор, персонализировало покупательский опыт и увеличило продажи компании.

Третий пример — сетевой гипермаркет Walmart. Он был одной из первых компаний, которая использовала большие данные для отслеживания запасов, создания системы их автоматического пополнения и её привязки к поступлению товара точно в срок. Такое управление цепочками поставок позволило Walmart снизить цены и увеличить доходы, сохранив при этом доступность продукции и удовлетворенность клиентов.

Эти примеры показывают, как можно использовать Большие данные для улучшения производственного процесса, обслуживания клиентов и управления цепочками поставок — все это выгодно организациям и специалистам по качеству, отвечающим за поддержание качества продукции и системы управления качеством.

Проблема заключается в том, что по мере того, как этот новый вид данных интегрируется в деловую практику, увеличивается разрыв в навыках, необходимых для анализа и обслуживания Больших данных, и в навыках специалистов по качеству. Это связано с тем, что наличие доступа к такому большому количеству данных означает, что методологии выборки малых групп и точной выборки становятся всё менее актуальны. Количество информации превосходит потребность в точности, потому что информация доступна немедленно. Нет необходимости ждать получения образца или среза данных для выявления проблем — корректировки можно вносить немедленно.

Проблема больших данных

Как отмечалось выше, возможность использовать преимущества Больших данных появилась совсем недавно с развитием суперкомпьютеров, увеличением вычислительной мощности, интернета и огромных ферм серверов. Методы, используемые для анализа структурированных данных, уже хорошо разработаны. Например, в алгоритме книжных рекомендаций Amazon использовались корреляции, а определение корреляции является стандартным статистическим методом. Однако анализ неструктурированных данных требует дополнительных инструментов. Кроме того, из-за размера доступных данных необходимо было разработать методы и навыки для их хранения, сортировки и анализа.

Некоторые навыки согласуются с тем, которыми владеют опытные профессионалы в области качества, такими как Черные пояса по Шесть Сигма. Но есть и существенные различия. Чтобы продемонстрировать это, мы выбрали типичные навыки, используемые аналитиками данных на ежедневной основе.

Вкратце, аналитик данных собирает и идентифицирует соответствующие данные, выполняет проверку их качества, а также анализирует и представляет результаты. Обычно ему необходимы следующие трудные навыки:

• Сбор данных;
• Статистическое моделирование;
• Интеллектуальный анализ данных;
• Управление базами данных;
• Генерация отчетов.

Первоначально для должностей начального уровня требовался уровень бакалавра в области математики, статистики, экономики, финансов, компьютерных наук или опыт работы в экономическом секторе конкретной организации. Сертификационные курсы по анализу данных в настоящее время проводятся такими компаниями, как Google, для входа в профессию. Также желательны навыки использования SAS, Excel, Power BI и Tableau, Python, R и SQL. Для должностей более высокого уровня крайне желательна степень магистра или доктора в информатике, математике или статистике.

В таблице ниже представлено сравнение навыков, которыми обладают аналитики данных и Черные пояса по Шесть Сигма.

Несмотря на то, что перечень статистических навыков невелик, сходства и различия между ними очевидны. Черные пояса сосредоточены на анализе процессов и структурированных данных. Аналитики данных сосредоточены на разделении наборов данных и оценке нестандартных и неструктурированных данных. Что касается статистических навыков - здесь есть совпадения. Это вызывает вопрос. Поскольку Большие данные становятся все более важными и интегрируются в организационные процессы, кто важнее: аналитик данных или Черный пояс по Шесть Сигма?

Этот вопрос становится очень важным, если вспомнить, что большие данные не требуют точной мелкомасштабной выборки продуктов. Он опирается на большое количество одновременно поступающей информации от клиентов, поставщиков и производственной линии. Кроме того, с использованием больших данных в развитии Индустрии 4.0 дефектные продукты могут быть идентифицированы на производственной линии и немедленно удалены роботизированной рукой.

За исключением статистических данных, специально связанных с анализом процессов, аналитик данных обладает статистическими навыками, необходимыми для выполнения большей части анализа, который делает Черный пояс. Более того, аналитик данных лучше справляется с неструктурированными данными. Эти навыки могут быть более важными, в зависимости от степени внедрения Индустрии 4.0 в организации. Следовательно, Черный пояс по Шесть Сигма может не полностью вписаться в эту задачу, но если в вашей компании он уже есть, то часть его навыков будет более чем полезна.

Если навыки Черного пояса, самые сложные в профессии качества, не пользуются таким спросом, как раньше, то какими будут последствия для остальной части профессионалов в области качества?

Подразумеваемое

Приведенный выше сценарий может показаться пугающим, но, как говорится, предупрежден — значит вооружен. Основы профессии в области качества подрываются. Технологические разработки, связанные с Индустрией 4.0 и использованием больших данных, потребуют адаптации навыков и внедрения новых установок.

В будущем каждому специалисту по качеству придется работать в среде Больших данных. Следовательно, вы должны выяснить, используются ли Большие данные в вашей организации, и если да, то как. Ознакомьтесь с терминологией Больших данных и навыками, необходимыми вашей организации для их анализа. Сравните этот набор навыков со своим: там, где существуют пробелы, работайте над их заполнением.

В частности, обратите внимание на свои статистические навыки и уровень знаний в отношении SAS, Excel, Power BI и Tableau, Python, R и SQL. Цель состоит не в том, чтобы стать аналитиком больших данных (если только это не желательно), а в том, чтобы ознакомиться с процессами и методами определения способов применения информации для улучшения качества продукции, удовлетворенности клиентов, управления цепочками поставок и, как правило, системы менеджмента качества.

В более широком смысле, качественные профессиональные организации, такие как ASQ и CQI, должны будут скорректировать объем знаний для каждой сертификации, чтобы включить понимание больших данных, их терминологии, приложений и инструментов. Невыполнение этого требования может привести к тому, что специалисты по качеству окажутся в невыгодном положении по сравнению с аналитиками больших данных.