Бизнес и информационные технологии всегда были тесно переплетены, находясь в зависимости друг от друга. Особая ценность данных для развития компаний была выделена еще в 60-х годах прошлого столетия. Сформировался особый термин — Business Intelligence — и рынок услуг, охватывающий эту сферу.
Business Intelligence — это совокупность методов и программного обеспечения для трансформации различной сопутствующей бизнесу информации в понятные человеку формы. К примеру, изменение цен, сезонный наплыв покупателей, время доставки товара до клиента — все эти, как и любые другие, данные можно визуализировать с помощью BI.
Отличие BI-систем заключается в работе со структурированными данными: они поступают в систему из разных источников, после чего очищаются, структурируются, подготавливаются и выгружаются в хранилище (Data warehouse), где хранятся, обновляясь по мере необходимости.
Цель Business Intelligence — позволить принимать управленческие решения, основываясь на точных и актуальных отчетах в виде понятных графиков, диаграмм и схем. Поскольку все данные уже структурированы, то могут моментально отображать любые внесенные в отчеты коррективы, что помогает прогнозировать влияние изменений тех или иных значений на бизнес-процессы компании.
BI-аналитика — эффективный инструмент для прогнозирования и понимания сложной информации, скрывающейся внутри процессов компании, путем их визуализации. К примеру, BI-аналитика в Битрикс24 имеет штатные интеграции со всеми ведущими платформами BI: Microsoft Power BI, Google Looker Studio и Yandex DataLens.
Сегодняшняя работа с Big Data это не что-то новое, а вполне логичное продолжение желания понять, как извлечь пользу из данных — просто теперь их стало очень много. Если, говоря о Business Intelligence, имеют в виду какие-то, пусть и неструктурированные, разобщенные, тем не менее относящиеся к работе компании, данные, то с большими данными все сложнее.
Потенциал больших данных для бизнеса
Большие данные — это любые данные, которые можно получить, но в таком количестве, что обработать их привычными средствами не получится. Кроме этого, они, как правило, слабоструктурированы или неструктурированы вовсе и поступают с высокой скоростью, которая со временем только увеличивается.
Основными источниками больших данных принято считать:
- интернет вещей (IoT) — его участники генерируют огромное количество данных, порой весьма специфичных;
- социальные сети — сюда относятся как личные блоги и страницы, так и деятельность средств массовой информации;
- данные, получаемые в результате работы компаний — транзакции, веб-ресурсы, логистика, данные служб доставки (обезличенные) и любая другая информация, которая в больших количествах генерируется при любой деятельности.
Для хранения больших данных можно использовать специализированные хранилища «озера данных», — подразумевают хранение больших объемов сырых, неструктурированных данных, — или любые другие привычные способы.
Отличие между Big Data и Business Intelligence состоит в подходе, количестве и качестве данных, а схожесть — в конечной цели. Но если BI чаще используют, чтобы понять, что именно происходит сейчас, то большие данные — это прежде всего взгляд в будущее, разработка стратегии развития в среднесрочной и долгосрочной перспективе.
Потенциал больших данных для бизнеса легче всего раскрыть на примере социальных сетей. Поскольку каждое действие пользователя в соцсети, — лайк, репост или даже простое дочитывание текста, — это уже большие данные, то несложно представить, какое значение они могут иметь для компаний. Цифровой след пользователя включает в себя все его действия: клики мышкой, чтение материалов, переходы по ссылкам, поисковые запросы, покупки, коммуникации, географическое передвижение, время, проведенное на тех или иных страницах и множество других сведений.
Звучит страшно, но переживать не стоит: как мы писали выше, большие данные, как правило, слабоструктурированы или неструктурированы вовсе. А кроме этого, существуют определенные критерии сбора:
- обезличивание — персональные данные не передаются;
- агрегированность — передаются усредненные показатели, а не точные значения.
Компаниям доступны цифры, сообщающие, что по определенному маршруту в такси проехало за 5 часов столько-то человек, и каждый заплатил в среднем по 500 рублей, но кто именно это был — они не узнают, так как для аналитики это не имеет значения.
Преимущества использования аналитики на основе больших данных
Чем больше данных будет обработано, тем точнее можно получить результат, но тем больше потребуется на это затратить ресурсов. Это означает, что, по крайней мере пока, небольшим компаниям проще обращаться к уже обработанным данным в рамках Business intelligence с ETL (Extract, Transform, Load) и привычных источников: складов, ERP, CRM-систем и так далее, а вот более крупным организациям подойдут большие данные.
Большие данные на то и большие, что позволяют решать крупные задачи. Анализ на их основе используют все аналитические отделы корпораций и государственных структур. Большие данные превалируют в государственном управлении, промышленности, медицине, электронной торговле и даже спорте. В бизнесе Big Data помогают решать такие вопросы, как:
- предварительный анализ, предшествующий запуску продукта или услуги — выявление потребностей пользователей, сегментированных по различным признакам;
- сбор и анализ данных, способных описать клиентский опыт — например, на каком этапе пользователи чаще всего покидают сайт, что выделяют в продуктах конкурентов, как выглядит средний профиль активного покупателя и так далее;
- аналитика принятых решений — как повлияли принятые решения на показатели компании, в том числе и скрытые.
Большая часть аналитики для бизнеса приходится на выявление потребностей покупателей, сегментированных по множеству показателей: географическое расположение, пол, возраст, достаток, привычки и традиции, прогнозируемый рост или снижение покупательской способности и много других характеристик.
Есть несколько основных направлений аналитики, основанной на больших данных:
- описательная или дескриптивная аналитика (отвечает на вопрос «Что произошло?») — позволяет анализировать случившиеся, используя для этого закономерности и зависимости, обнаруженные в сырых данных из множества источников;
- прогнозная или предикативная аналитика (отвечает на вопрос «Что произойдет?») — в основе механизма лежит работа с шаблонами, обладающими схожим набором характеристик и ситуаций (к примеру, банк выявляет множество разных характеристик, опираясь на которые формирует «портрет неплательщика», чтобы снизить риски);
- предписательная аналитика (отвечает на вопрос «Что делать?») — с ее помощью можно не просто понять, что произойдет, но и как развить успех или снизить негативный эффект от этого;
- диагностическая аналитика (отвечает на вопрос «Почему это произошло?») — нацелена на решение конкретных задач, позволяя выявить причины, по которым произошло или не произошло событие.
Для аналитики больших данных, помимо серьезной вычислительной мощности, необходимо специальное ПО и методики.
Инструменты и подходы к анализу больших данных
Для работы с большими данными доступно множество решений, предлагаемых в разных редакциях: от облачных Software as a Service (SaaS) до программного обеспечения, разворачиваемого на своей IT-инфраструктуре. При этом крупные организации предпочитают разрабатывать собственные инструменты, часто гибридные, способные работать как с большими данными, так и в качестве BI-платформы.
Среди наиболее популярных выделяются:
- Apache Hadoop — свободное ПО, включающее в себя набор технологий: HDFS, MapReduce, YARN и нужные библиотеки;
- Spark — отличием этого фреймворка является работа с данными в оперативной памяти, а не на привычных накопителях, что позволяет обеспечить существенный прирост в скорости, но обойдется дороже;
- Apache Cassandra — свободно распространяемая СУБД NoSQL, работающая по типу ключ-значение и обладающая рядом других преимуществ, делающих ее хорошим выбором для работы с большими данными.
Существует множество различных инструментов, обеспечивающих лучшую, в сравнении с остальными, эффективность в определенных задачах. Поэтому к выбору инструмента нужно переходить уже после того, как будет ясна задача, которую предстоит решить.
