Смартфоны предлагают нам загрузить все данные в облако, а большие компании вроде Google и «Яндекса» — воспользоваться своими экосистемами. Проще говоря, мы живем в эпоху Big Data. Но что это значит на самом деле?
Еще 30 лет назад, чтобы добыть новую информацию, мы пользовались книгами, СМИ или общались с людьми. Сейчас достаточно секунды и смартфона размером с ладонь. Разбираемся, как цифровые технологии перевернули нашу жизнь
Что такое Big Data?
Big Data или большие данные — это структурированные или неструктурированные массивы данных большого объема. Их обрабатывают при помощи специальных автоматизированных инструментов, чтобы использовать для статистики, анализа, прогнозов и принятия решений.
«Лиза Алерт» использует Big Data, чтобы находить пропавших людей
До 2011 года анализом больших данных занимались только в рамках научных и статистических исследований. Но к началу 2012-го объемы данных выросли до огромных масштабов, и возникла потребность в их систематизации и практическом применении.
Всплеск интереса к большим данным в Google Trends
Что такое цифровые технологии и как они появились?
Основы современной двоичной системы счисления заложил математик Карл Лейбниц в XVII веке. В ХХ веке ее начали применять для программных вычислений: в 1941 году появился первый компьютер, а в 1948-м — первая программа для ЭВМ.
Тогда, в середине XX века, под цифровыми технологиями понимались те, где информация преобразуется в прерывистый (дискретный) набор данных, состоящий из 0 (нет сигнала) и 1 (есть сигнал). Их противопоставляли аналоговым, где данные — это непрерывный поток электрических ритмов разной амплитуды с неограниченным числом значений.
Но позже на смену этому пришло другое определение: цифровые технологии — это те, где информация «оцифровывается», то есть представляется в универсальном цифровом виде. Другой вариант — это все технологии, которые позволяют создавать, хранить и распространять данные. В свою очередь, аналоговые теперь — это те, где информация не унифицирована, а хранится и передается в разных форматах, под каждый тип носителя. К примеру, стационарный телефон — это аналоговая технология, а смартфон с интернетом — уже цифровая.
Говоря самым простым языком, к цифровым технологиям относят все то, что связано с электронными вычислениями и преобразованием данных: гаджеты, электронные устройства, технологии, программы. По сравнению с аналоговыми, цифровые технологии лучше подходят для хранения и передачи больших массивов данных, обеспечивают высокую скорость вычислений. При этом информация передается максимально точно, без искажений. Среди главных недостатков — высокая энергоемкость и негативное воздействие на климат.
Сейчас на долю дата-центров приходится около 0,3% мировых выбросов углерода. Они потребляют около 200 ТВтч в год — это больше, чем годовое потребление энергии в развивающихся странах. Однако к 2030 году этот показатель может вырасти до 20% от всего мирового спроса, что приведет к существенному увеличению выбросов.
Цифровые технологии часто путают с информационными, но на самом деле одно является частью другого. К информационным относят все технологии, связанные с обменом информацией, даже с помощью аналоговых устройств. Например, светофор, сообщающий нам, когда можно идти — это информационное аналоговое устройство, а сервис, где мы отслеживаем пробки — тоже информационное, но уже цифровое.
По данным на 2021 год, через пять лет рынок технологий цифровой трансформации достигнет $3,7 трлн.
ВШЭ исследовала отношение россиян к внедрению современных информационных технологий
Большинство россиян не доверяют цифровизации: предпочитают документы в бумажном виде, видят риски в онлайн-образовании, беспокоятся за персональные данные, показал опрос центра ВШЭ. Опасения во многом оправданны, считают эксперты
14% россиян никогда не пользовались интернетом, следует из исследования Центра исследований гражданского общества и некоммерческого сектора НИУ ВШЭ, посвященного влиянию процессов цифровизации на права человека (есть у РБК).
Исследование проводилось с 14 по 28 июня в форме компьютеризированного телефонного интервью среди россиян старше 18 лет, выборка составила 2007 респондентов.
Как отмечается в исследовании, чаще других никогда не пользовались интернетом респонденты в возрасте от 55 лет с неполным средним образованием, скорее несчастливые и оценивающее свое здоровье как плохое. Среди других выводов исследования:
В целом 44% видят больше пользы от внедрения цифровых технологий, чем вреда, 20% видят только пользу, 15% — больше вреда, чем пользы, и 7% — только вред.
Как отмечается в исследовании, за последние пять лет число преступлений в цифровом пространстве возросло в 25 раз и эти преступления характеризуются низкой раскрываемостью (порядка 25%). В частности, на эти показатели повлияла начавшаяся в 2020 году пандемия коронавируса. Среди основных цифровых угроз правам граждан авторы исследования выделили алгоритмическую обработку данных цифровыми платформами и государством, что может привести к нарушению неприкосновенности частной жизни; цифровую дискриминацию граждан государством или частными корпорациями на основе злоупотребления персональными или большими данными; кибератаки, кибербуллинг, троллинг; информационные войны и рост числа «фейковых новостей» и др.
Почему не доверяют цифровизации
В третьем квартале этого года ежемесячная аудитория интернета в России составляла 100,2 млн пользователей старше 12 лет, по данным Mediascope. Главный аналитик Российской ассоциации электронных коммуникаций (РАЭК) Карен Казарян уверен, что людей, никогда не пользующихся интернетом, в России меньше 14%. « Но пожилые люди обычно не знают ничего об интернете. Внуки учат бабушку общаться по видео, возможно, смотреть что-то. На вопрос, пользуется ли она интернетом, ответ наверняка будет отрицательным. Также дети обычно «не пользуются» интернетом — они смотрят мультики, играют в игры. Люди часто даже не догадываются, что их жизнь неразрывно связана с ним», — рассуждает Казарян. По его мнению, от непонимания смысла интернета следует и отрицательное отношение к нему.
Карен Казарян согласен, что у многих нет доверия к подаче документов в электронном виде, что связано с невозможностью легко проверить правильность и сохранность данных. Кроме того, важно учитывать социальный аспект: кому-то удобнее самому приехать в МФЦ, подать разом все документы и заодно пообщаться (особенно это касается пожилых людей): «Цифровизация в одних сферах может расти огромными темпами, а в других нет. Например, в этом году сервисы доставки растут еще быстрее, чем в пандемию, а в случае с электронными документами люди не хотят перестраиваться».
По мнению эксперта онлайн-сервиса по управлению бизнесом «Битрикс24» Сергея Кулешова, люди отчасти правы и в том, что искусственный интеллект не сможет полностью заменить человека. « Искусственный интеллект сегодня выполняет роль наблюдателя и аналитика по большим данным, выявляет и «подсвечивает» для человека те или иные ситуации, по которым требуется принятие решения. В любом случае окончательные решения по ситуациям, выявленным искусственным интеллектом, еще очень долго будут приниматься человеком», — пояснил он. Например, машина может проанализировать работу сотрудника компании за полгода и сделать вывод о снижении его эффективности, но решение об увольнении должен принять человек, в противном случае это грозит массовыми скандалами и сбоями, судебными исками и потенциальным ущербом для целых отраслей экономики, отметил Кулешов.
Недоверие людей к цифровизации в образовании, по мнению Карена Казаряна, может быть связано с тем, что, как показал прошлый год, образовательные учреждения не понимают, как пользоваться подобными сервисами, из-за чего результаты многих учащихся стали хуже. « Если просто механически заменить учебу в классе на Zoom-конференцию, это не даст результатов. Дети хуже фокусируются, хуже понимают урок. Нужно готовить визуальные материалы, презентации, к чему учителя не привыкли. Люди еще не научились встраивать электронное образование в процесс, нужны методисты, специальные курсы, а пока это действительно профанация», — подчеркнул главный аналитик РАЭК.
Часть пользователей сегодня без доверия относятся к цифровизации образования во многом из-за неразвитости технологий, которые используют в образовательных процессах, согласна глава «ЯКласс» в России Екатерина Рыжова. И в России, и в мире происходит активная цифровая трансформация, но этот процесс требует времени и больших финансовых вложений, которые зачастую ограниченны. Плюс цифровые технологии не так давно массово вошли в повседневную жизнь, а новое всегда требует времени, чтобы привыкнуть. « Чтобы повысить доверие пользователей, крайне важно развивать государственно-частное партнерство, особенно если мы говорим о сегменте школьного или высшего образования. Необходимо повышать цифровую грамотность педагогов, качество инфраструктуры и последовательно рассказывать (и показывать на примерах) родителям о преимуществах онлайн-обучения», — отметила она.
Стоит ли бояться за персональные данные
Мнения относительно озабоченности людей защитой своих персональных данных разнятся. По мнению основателя и гендиректора Qrator Labs Александра Лямина, обеспокоенность безопасностью личных данных является своевременной и оправданной. « Насколько опасным может быть использование персональных данных злоумышленниками, показывают два последних года пандемии, когда мы наблюдали бум телефонного и интернет-мошенничества. Однако, к сожалению, осознание проблемы не эквивалентно ее решению, и мы вынуждены констатировать, что до появления настоящего общественного цифрового иммунитета пройдут еще десятилетия», — уверен Лямин. При этом он подчеркнул, что камеры наблюдения не смогут распознавать только преступников, поскольку подобные решения подразумевают сканирование персональных данных всех людей, находящихся в зоне работы системы видеонаблюдения.
Защита данных на серверах ЕСИА и в многофункциональных центрах госуслуг уже давно реализована на достаточно высоком уровне, что гарантирует соответствующую защиту собираемых персональных, в том числе биометрических, данных, считает директор по стратегическим коммуникациям Infosecurity a Softline Company Александр Дворянский. « Люди опасаются за свои биометрические данные, всего лишь о фото, при этом спокойно оставляют свои полные персональные платежные и другие высокочувствительные данные на непроверенных и часто мошеннических ресурсах в интернете. И, как показывает практика, риски скомпрометировать свои персональные данные самостоятельно в интернете гораздо больше, чем при использовании биометрии», — отметил Дворянский. Он считает, что постепенно пользователи поймут и оценят удобство использования биометрии для аутентификации, что будет способствовать ее развитию.
Развитие цифровых технологий
Ближайшие пять лет — переломный период цифровой трансформации, когда digital-технологии охватывают даже те сферы, где всегда господствовали аналоговые. Государственные, финансовые, медицинские услуги переходят в онлайн-формат, появляются первые прототипы электронных паспортов и цифровые платежные системы без привязки к физическим валютам и банкам.
Синергия цифровых технологий поможет объединить офлайн и онлайн, делая все устройства и сервисы взаимосвязанными между собой. Искусственный интеллект и большие данные помогают принимать более обоснованные решения, а VR и AR — проводить сложные операции, путешествовать и учиться в любой точке.
Такое будущее выглядит очень комфортным, но не для всех. Например, футуролог Герд Леонгард призывает обратить внимание на тотальную цифровизацию и ее возможные последствия. Например, полная замена реального общения цифровым или утрата человечности при принятии глобальных решений, которые мы все больше доверяем ИИ.
Какие есть характеристики Big Data?
Благодаря высокопроизводительным технологиям — таким, как грид-вычисления или аналитика в оперативной памяти, компании могут использовать любые объемы больших данных для анализа. Иногда Big Data сначала структурируют, отбирая только те, что нужны для анализа. Все чаще большие данные применяют для задач в рамках расширенной аналитики, включая искусственный интеллект.
1. Описательная аналитика (descriptive analytics) — самая распространенная. Она отвечает на вопрос «Что произошло?», анализирует данные, поступающие в реальном времени, и исторические данные. Главная цель — выяснить причины и закономерности успехов или неудач в той или иной сфере, чтобы использовать эти данные для наиболее эффективных моделей. Для описательной аналитики используют базовые математические функции. Типичный пример — социологические исследования или данные веб-статистики, которые компания получает через Google Analytics.
Антон Мироненков, управляющий директор «X5 Технологии»:
«Есть два больших класса моделей для принятия решений по ценообразованию. Первый отталкивается от рыночных цен на тот или иной товар. Данные о ценниках в других магазинах собираются, анализируются и на их основе по определенным правилам устанавливаются собственные цены.
Второй класс моделей связан с выстраиванием кривой спроса, которая отражает объемы продаж в зависимости от цены. Это более аналитическая история. В онлайне такой механизм применяется очень широко, и мы переносим эту технологию из онлайна в офлайн».
2. Прогнозная или предикативная аналитика (predictive analytics) — помогает спрогнозировать наиболее вероятное развитие событий на основе имеющихся данных. Для этого используют готовые шаблоны на основе каких-либо объектов или явлений с аналогичным набором характеристик. С помощью предикативной (или предиктивной, прогнозной) аналитики можно, например, просчитать обвал или изменение цен на фондовом рынке. Или оценить возможности потенциального заемщика по выплате кредита.
3. Предписательная аналитика (prescriptive analytics) — следующий уровень по сравнению с прогнозной. С помощью Big Data и современных технологий можно выявить проблемные точки в бизнесе или любой другой деятельности и рассчитать, при каком сценарии их можно избежать их в будущем.
4. Диагностическая аналитика (diagnostic analytics) — использует данные, чтобы проанализировать причины произошедшего. Это помогает выявлять аномалии и случайные связи между событиями и действиями.
Например, Amazon анализирует данные о продажах и валовой прибыли для различных продуктов, чтобы выяснить, почему они принесли меньше дохода, чем ожидалось.
Примеры визуализации данных (data-driven animation)
Как отметил в подкасте РБК Трендов менеджер по развитию IoT «Яндекс. Облака» Александр Сурков, разработчики придерживаются двух критериев сбора информации:
Чтобы обрабатывать большие массивы данных в режиме онлайн используют суперкомпьютеры: их мощность и вычислительные возможности многократно превосходят обычные. Подробнее — в материале «Как устроены суперкомпьютеры и что они умеют».
Big Data и Data Science — в чем разница?
Data Science или наука о данных — это сфера деятельности, которая подразумевает сбор, обработку и анализ данных, — структурированных и неструктурированных, не только больших. В ней используют методы математического и статистического анализа, а также программные решения. Data Science работает, в том числе, и с Big Data, но ее главная цель — найти в данных что-то ценное, чтобы использовать это для конкретных задач.
Big Data в России и мире
Как большие данные помогают онлайн-кинотеатрам подбирать персональные рекомендации
Мировыми лидерами по сбору и анализу больших данных являются США и Китай. Так, в США еще при Бараке Обаме правительство запустило шесть федеральных программ по развитию больших данных на общую сумму $200 млн. Главными потребителями Big Data считаются крупные корпорации, однако их деятельность по сбору данных ограничена в некоторых штатах — например, в Калифорнии.
В Китае действует более 200 законов и правил, касающихся защиты личной информации. С 2019 года все популярные приложения для смартфонов начали проверять и блокировать, если они собирают данные о пользователях вопреки законам. В итоге данные через местные сервисы собирает государство, и многие из них недоступны извне.
С 2018 года в Евросоюзе действует GDPR — Всеобщий регламент по защите данных. Он регулирует все, что касается сбора, хранения и использования данных онлайн-пользователей. Когда закон вступил в силу год назад, он считался самой жесткой в мире системой защиты конфиденциальности людей в Интернете.
Подробнее — в материале «Цифровые войны: как искусственный интеллект и большие данные правят миром».
В каких сферах применяют цифровые технологии?
Институт статистических исследований и экономики знаний (ИСИЭЗ) НИУ ВШЭ составил рейтинг самых перспективных цифровых технологий за 2020 год. В процессе подготовки эксперты использовали систему интеллектуального анализа больших данных iFORA, которая содержит более 500 млн документов: научные публикации, аналитика рынков, доклады международных организаций, правовые документы и др.
Топ-15 наиболее значимых технологий:
Как видно из рейтинга, подавляющее большинство технологий имеет отношение к искусственному интеллекту, нейросетям и машинному обучению. Но это далеко не единственная сфера, которая определяет развитие технологий сегодня.
Ключевые цифровые технологии ХХI века
Смартфоны объединили в себе персональный компьютер и телефон, став вместилищем для десятков цифровых технологий. С их помощью мы говорим, обмениваемся сообщениями, пишем письма, слушаем музыку, делаем фото и видео.
Первый КПК Nokia появился в 1996 году, первый смартфон Ericsson — в 2000-м. Но настоящую революцию совершил iPhone, впервые представленный в 2007-м: с тех пор все смартфоны постепенно перешли на сенсорные дисплеи без стилусов, а чуть позже появились и планшеты — своего рода промежуточное звено между смартфоном и ноутбуком. Лишь за 2020 год в мире было продано свыше 1,3 млрд смартфонов, а тройку лидеров на рынке составляют Samsung, Apple и Xiaomi.
Одной из самых продвинутых технологий, применяемых в смартфонах, является цифровая фотография: когда алгоритмы ИИ обрабатывают серию снимков и данные об освещении так, чтобы на выходе получилось одно, но лучшее по качеству фото.
Интернет вещей (Internet of Things, IoT)
Интернет вещей — это технология, которая позволяет объединять сенсоры, гаджеты, бытовую технику и даже автомобили в единую сеть при помощи беспроводной связи. Всеми этими устройствами можно управлять при помощи приложений и объединять их в разнообразных автоматических сценариях — например, управлять заводским оборудованием. По данным на конец 2020 года, к интернету вещей в мире было подключено 11,7 млрд устройств, а через пять лет эта цифра вырастет до 30 млрд.
Большие перспективы для IoT открывает новый стандарт беспроводной связи — 5G. С его помощью данные можно передавать быстрее, без сбоев и с минимальными задержками, подключая еще больше устройств.
Беспроводной интернет, Wi-Fi 6 и 5G
Мобильный интернет зародился еще в 1991 году, а беспроводной стандарт Wi-Fi был создан в 1998-м, в австралийской лаборатории радиоастрономии CSIRO. Спустя более 20 лет к интернету подключены практически все электронные устройства. Теперь появились новые технологии высокоскоростной связи: 5G и Wi-Fi 6.
5G предоставляет широкополосную мобильную связь на высокой скорости и с минимальной задержкой сигнала — всего 1–2 мс. По данным Accenture, в ближайшем будущем с помощью 5G можно будет подключить до 1 млн устройств на 1 кв. км. Сотрудники большинства компаний смогут окончательно перейти на удаленную работу и быстрее принимать решения, основываясь на аналитике потоковых данных.
«Обычный» Wi-Fi работает на частотах 2,4 и 5 ГГц, а Wi-Fi 6 добавит к ним новую — 6 ГГц. Это поможет ускорить передачу данных на мобильных устройствах до 2 Гб/сек, и сделать ее более стабильной. Первые 316 млн мобильных устройств с поддержкой Wi-Fi 6E появятся уже в 2021 году.
Беспилотные автомобили
Беспилотные системы сегодня используют в такси, общественном транспорте, дронах и авиации. На них возлагают надежды как на самый рентабельный коммерческий транспорт и самый безопасный личный. Пока еще на наших дорогах нет полностью автономных машин, которые могут двигаться абсолютно независимо от человека (они бывают разного уровня автономности). Но в некоторых штатах США и азиатских странах уже можно вызвать беспилотное такси. Главное, что сейчас сдерживает распространение технологии, — это законы: не все государства готовы выпускать беспилотники на дороги общего пользования и пока не до конца понимают, как их регулировать.
Выпуск YouTube-канала «РБК Тренды», посвященный тестированию российского беспилотника
Внедрение 5G позволит объединить системы управления беспилотными автомобилями с городской инфраструктурой: дорогами, светофорами, дорожными знаками и парковками.
Искусственный интеллект и машинное обучение
Чаще всего под «искусственным интеллектом» подразумевают любые алгоритмы, которые решают какие-либо задачи независимо от человека: производят сложные вычисления, распознают изображения и речь, собирают и обрабатывают массивы данных. Но настоящий «искусственный интеллект» — тот, что не только сам решает задачи, но и ставит новые, сам принимает решения и выходит за рамки своих изначальных возможностей.
Чтобы ИИ мог действовать самостоятельно, применяют продвинутые алгоритмы машинного и глубокого обучения, а также конструируют нейросети — по аналогии с системами нейронов в человеческом мозгу. Сегодня ИИ находит для нас нужную информацию, рекомендует подходящие товары или видео, строит аналитические прогнозы, помогает лечить пациентов и управлять беспилотниками.
Как работает глубокое обучение в беспилотниках
Но предел его возможностей все еще достаточно далеко, и главный вопрос, который волнует ученых и разработчиков — станет ли ИИ сильнее и важнее человеческого?
Виртуальная и дополненная реальность (VR и AR)
Первыми возможности AR и VR оценили разработчики игр и маркетологи. Первые использовали виртуальную реальность, чтобы добиться эффекта полного погружения в игру или виртуальный тур, а вторые — чтобы предложить покупателям «примерить» одежду или мебель. Statista оценила рынок VR и AR в $18,8 млрд в 2020 году — в три раза больше, чем в 2016-м. А еще через четыре года он вырастет к 2020-му в 15 раз.
Сегодня технологии AR/VR распространяются и на другие сферы. Например, в образовании виртуальная среда помогает наглядно изучить анатомию, архитектуру или древние цивилизации. В медицине, с применением дополненной и смешанной реальностей, проводят онлайн-консилиумы и операции. С помощью VR можно посещать другие страны и достопримечательности, музеи и даже затонувшие корабли. Во время пандемии стали востребованы разработки, позволяющие проводить встречи в AR и VR.
3D-печать
Первые 3D-принтеры появились в конце 1980-х годов. В ближайшем будущем именно 3D-печать может заменить большую часть производственных технологий и материалов.
Выпуск YouTube-канала «РБК Тренды» о 3D-принтерах в России
В отличие от традиционного производства, эта технология не требует таких огромных инвестиций и ресурсов, а еще — производит намного меньше вредных отходов. На 3D-принтерах печатают детали и запчасти, кабели, мебель и фурнитуру, одежду и обувь и даже дома. В ближайшем будущем мы сможем покупать трехмерные модели онлайн и печатать нужные вещи у себя дома. В медицине набирает популярностью технология биопринтинга — когда на 3D-принтерах, из специального биогеля печатают человеческие ткани и органы.
Робототехника
Первые прототипы роботизированных устройств появились еще в XIX веке, а во второй половине XX века роботизация вышла на промышленный уровень. Появился термин «Индустрия 4.0» — четвертая промышленная революция, которая связана с тотальной автоматизацией и сведению к минимуму человеческого труда. Роботов используют для сборки машин и электроники, логистики, курьерской доставки, приготовления блюд и даже хирургических операций.
Выпуск YouTube-канала «РБК Тренды», посвященный российской робототехнике
Облачные вычисления
Облачные технологии основаны на распределенном сетевом доступе к ИТ-инфраструктуре, чтобы хранить и обрабатывать данные любого объема. Как правило, это удаленные серверы или ИТ-сервисы, которые можно арендовать по мере необходимости. Такой подход позволяет компаниям быстро наращивать вычислительные мощности, запускать или масштабировать онлайн-проекты, которые требуют очень больших ресурсов.
Есть три вида облачных сервисов:
Блокчейн и криптовалюта
Блокчейн — это технология, при которой данные обо всех совершаемых транзакциях хранятся в единой системе в виде отдельных блоков и удостоверяются цифровой подписью, защищающей от взлома. База данных в системе — распределенная между всеми участниками, то есть без какого-либо централизованного управления и контроля. Это делает ее, по мнению создателей, наиболее независимой, безопасной и устойчивой к коррупции.
В блокчейне используются токены — невзаимозаменяемые, уникальные сущности, — а также смарт-контракты — алгоритмы для формирования, контроля и предоставления информации о владении чем-либо (например, криптовалютой). Первый блок был сгенерирован в 2009 году, а сегодня в мире существует более 2 тыс. разных систем блокчейна.
Одна из последних модификаций — технология NFT, которую применяют для продажи произведений искусства, музыкальных треков и других видов интеллектуальной собственности. Каждому изображению, видео или аудио присваивается уникальный цифровой сертификат, который можно купить, чтобы стать владельцем произведения. N FT можно перепродавать, зарабатывая на этом, как на физических предметах искусства.
Криптовалюта — полностью цифровая валюта, созданная по технологии блокчейна, которая используется для виртуального обмена и платежей. Она не зависит от банков или других финансовых структур. Для ее защиты, обмена и контроля операций применяют специальные методы шифрования.
Технологии блокчейна в ближайшем будущем могут привести к появлению полностью автономной финансовой системы, которая не будет зависеть от государственных и международных финансовых институтов. Возможно, возникнет даже что-то вроде цифрового государства или виртуальной вселенной, со своими внутренними рынками и законами.
Каковы проблемы и перспективы Big Data?
Плюсы и перспективы:
Как Big Data и ИИ меняют наше представление о справедливости
Big Data в бизнесе
Большие данные полезны для бизнеса в трех главных направлениях:
Крупные компании — такие, как Netflix, Procter & Gamble или Coca-Cola — с помощью больших данных прогнозируют потребительский спрос. 70% решений в бизнесе и госуправлении принимается на основе геоданных. Подробнее — в материале о том, как бизнес извлекает прибыль из Big Data.
Как собирают и хранят большие данные?
Большие данные необходимы, чтобы проанализировать все значимые факторы и принять правильное решение. С помощью Big Data строят модели-симуляции, чтобы протестировать то или иное решение, идею, продукт.
Главные источники больших данных:
С 2007 года в распоряжении ФБР и ЦРУ появилась PRISM — один из самых продвинутых сервисов, который собирает персональные данные обо всех пользователях соцсетей, а также сервисов Microsoft, Google, Apple, Yahoo и даже записи телефонных разговоров.
Современные вычислительные системы обеспечивают мгновенный доступ к массивам больших данных. Для их хранения используют специальные дата-центры с самыми мощными серверами.
Как выглядит современный дата-центр
Помимо традиционных, физических серверов используют облачные хранилища, «озера данных» (data lake — хранилища большого объема неструктурированных данных из одного источника) и Hadoop — фреймворк, состоящий из набора утилит для разработки и выполнения программ распределенных вычислений. Для работы с Big Data применяют передовые методы интеграции и управления, а также подготовки данных для аналитики.
В каких отраслях уже используют Big Data?
«IoT-решение из области так называемого точного земледелия — это когда специальные метеостанции, которые стоят в полях, с помощью сенсоров собирают данные (температура, влажность) и с помощью передающих радио-GSM-модулей отправляют их на IoT-платформу. На ней посредством алгоритмов big data происходит обработка собранной с сенсоров информации и строится высокоточный почасовой прогноз погоды. Клиент видит его в интерфейсе на компьютере, планшете или смартфоне и может оперативно принимать решения», — прокомментировали в «МегаФоне».
Подробнее — в материале «Умные» комбайны и дроны-геологи: как цифровизация меняет экономику».