ТОВ «ЄВРОТЕЛЕКОМ» - КОМПАНІЯ ПРОФЕСІЙНОГО ІТ - СЕРВІСУ
+38 044 222 56 51
+38 099 915 91 59
ГІС
ГІС
Big Data
Big Data
IT Інфраструктура
IT Інфраструктура
IT Безпека
IT Безпека
Аутсорсінг
Аутсорсінг

Big Data

Big Data

Кожну хвилину кожен день, бізнес-лідери та великі гравці на ринку IТ стикаються з проблемою обробки і аналізу інформації, серед величезної кількості даних, а згодом із проблемою правильного прийняття рішеня.

Пов'язано це з тим, що в епоху інформаційних технологій, особливо після буму соціальних мереж, по кожному користувачеві Інтернеті стало накопичуватися значна кількість інформації, що, в результаті, сприяло розвитку напряму Big Data.

Кожні 60 сек.:

  • Більше 5 мільйонів відео переглядів (YouТube)
  • 138.8 мільйонів е-mail
  • 571 нових сайтів
  • 2,66 мільйонів пошукових запитів (Google)

Сукупність постійно зростаючого обсягу даних з Інтернету, соціальних мереж, даних з джерел обладнання, датчиків, призвели до революції в зберіганні даних та аналізу.

Термін «Big Data» викликає безліч суперечок, багато хто вважає, що він означає лише обсяг накопиченої інформації, але не варто забувати і про технічну сторону, даний напрямок включає в себе технології зберігання, обчислення, а також сервісні послуги.

Слід зазначити, що до даної сфери відноситься обробка саме великого обсягу інформації, який важко обробляти традиційними способами.

Досягнення в області серверів, програмного забезпечення, мереж і технологій зберігання даних дозволили зберігати, отримувати доступ і аналізувати обсяг даних, про які 20 років тому назад нам навіть і не снилося. Є можливість на сьогоднішній день підключити велику кількість розподілених серверів, щоб розділяти і володарювати величезними масивами даних, робити аналіз цих даних, будь то реляційна або нереляційних база даних.

Ось ми і підійшли до питання: І як же подолати обмеження баз даних і інструментів управління даними, які не були призначені для світу великих обсягів даних?

Слід також зазначити, що Big Data є однією з найбільш швидкозростаючих сфер інформаційних технологій, згідно зі статистикою, загальний обсяг одержуваних і збережених даних подвоюється кожні 1,2 року.

Застосування:

Big Data набули широкого поширення в багатьох галузях бізнесу. Їх використовують в охороні здоров'я, телекомунікаціях, торгівлі, логістиці, в фінансових компаніях, а також в державному управлінні. Існують галузі, де дані збираються і накопичуються дуже інтенсивно. Наприклад, у виробничій сфері, такої як електростанції, безперервний потік даних генерується іноді для десятків тисяч параметрів кожну хвилину або навіть кожну секунду.

Крім того, за останні кілька років, впроваджуються так звані «smart grid» технології, що дозволяють комунальним службам вимірювати споживання електроенергії окремими родинами кожну хвилину або кожну секунду. Для такого роду додатків, в яких дані повинні зберігатися роками, накопичені дані класифікуються як Extremely Big Data.

Для деяких компаній, великими даними можуть бути і 100 ГБ, для інших - 100 терабайт. Для третіх же, ця множина, може обчислюватися в петабайтах та за їх межами. Зростає і число додатків Big Data серед комерційних і державних секторів, де обсяг даних в сховищах, може становити сотні терабайт або петабайт.

Сучасні технології дозволяють «відстежувати» людей та їх поведінку різними способами. Наприклад, коли ми користуємося інтернетом, робимо покупки в Інтернет-магазинах або великих мережевих магазинах, або переміщаємося з включеними мобільними телефонами - ми залишаємо «слід» наших дій, що призводить до накопичення нової інформації.

Різні засоби зв'язку, від простих телефонних дзвінків до завантаження інформації через сайти соціальних мереж, таких як Facebook (згідно з даними Вікіпедії, обмін інформацією щомісяця складає 30 млрд. одиниць), або обмін відео на таких сайтах, як YouTube (Youtube стверджує, що він завантажує 24 години відео кожну хвилину; див. Wikipedia), щодня генерують величезну кількість нових даних.

Де застосовуємо Big Data?

Там, де актуальна робота з величезними обсягами даних, де постійно відбувається збільшення швидкості потоку даних, саме в таких сферах як: економіці, банківської діяльності, виробництві, маркетингу, телекомунікації, веб-аналітиці, медицині та ін.

Разом зі стрімким накопиченням інформації швидкими темпами розвиваються і технології аналізу даних. Якщо ще кілька років тому було можливо, скажімо, лише сегментувати клієнтів на групи зі схожими перевагами, то тепер можливо будувати моделі для кожного клієнта в режимі реального часу, аналізуючи, наприклад, його переміщення по мережі Інтернет для пошуку конкретного товару. Інтереси споживача можуть бути проаналізовані, і відповідно до побудованої моделі виведена відповідна реклама або конкретні пропозиції. Модель також може налаштовуватися і перебудовуватися в режимі реального часу, що було неймовірно ще кілька років тому.

Завдання, які стоять перед Big Data:

Багато організацій занепокоєні тим, що кількість накопичених даних стає настільки великим, що важко знайти найбільш цінну і потрібну інформацію.

  • Що робити, якщо ваш обсяг даних стає настільки великим і різноманітним, що ви не знаєте, як з цим боротися?
  • Чи зберігаєте Ви всі ваші дані?
  • Чи аналізуєте ви все це?
  • Як ви можете дізнатися, які відомості дійсно важливі?
  • Як ви можете використовувати це в своїх інтересах?

Але який сенс збирати і зберігати терабайти даних, якщо ви не можете проаналізувати їх в повному контексті, або, якщо вам доведеться чекати кілька годин або днів, щоб отримати результат?

Існують три типи завдань пов'язаних з Big Data:

1. Зберігання і управління

Обсяг даних в сотні терабайт або петабайт не дозволяє легко зберігати і управляти ними за допомогою традиційних реляційних баз даних.

2. Неструктурована інформація

Більшість всіх даних Big Data є неструктурованими. Тобто як можна організувати текст, відео, зображення, і т.д.?

3. Аналіз Big Data

Як аналізувати неструктуровану інформацію? Як на основі Big Data складати прості звіти, будувати і впроваджувати поглиблені прогностичні моделі?

Це дійсно велика проблема, пов'язана з аналізом неструктурованих даних Big Data: як аналізувати їх з користю.

Важливість Великих обсягів Даних і те, чого можна досягти з їх допомогою:

Справжня проблема не в тому, що ви отримуєте великі обсяги даних, а в тому, що ви робите з тими даними. Є бажання, щоб організації могли брати дані з будь-яких джерел, систематизувати і аналізувати їх, щоб знайти відповіді, які дозволять:

  • Зменшити витрати;
  • Скоротити час на обробку даних;
  • Розробити нові продукти і оптимізовані пропозиції;
  • Приймати правильні бізнес-рішення.

Так, шляхом поєднання великих обсягів даних і якісного аналізу можна:

  • Визначити кореневу причину невдач, проблем і недоліків у режимі, близькому до реального часу, тим самим потенційно економити мільярди доларів щорічно.
  • Оптимізувати маршрути для багатьох тисяч транспортних засобів доставки в той час, коли вони вже знаходяться в дорозі.
  • Відправляти конкретні рекомендації на мобільні пристрої, коли клієнти знаходяться саме у тій зоні, де можна придбати ваш товар.
  • Прорахувати весь набір ризиків протягом декількох хвилин.
  • Швидко визначити клієнтів, які мають велике значення.
  • Використовувати аналіз історії відвідувань та інтелектуальний аналіз даних для виявлення шахрайства.

Результат:

У результаті використання Big Data маємо поліпшення за 4-ма основними напрямками:

  • Збільшується на 50% якість і швидкість прийняття рішень;
  • На 49% збільшується якість продукції;
  • На 46% збільшується розуміння потреб клієнтів;
  • На 47% збільшується визначення потреб і активно використовуються бізнес-можливості.

Технології Big Data:

Технології, які використовуються для збору і обробки Big Data, можливо поділити на 3 групи:

  • Програмне забезпечення;
  • Устаткування;
  • Сервісні послуги.

До технологічного обладнання відносять:

  • Сервери;
  • Інфраструктурне обладнання.

Сервісні послуги включають в себе послуги з побудови архітектури системи бази даних, облаштування та оптимізації інфраструктури та забезпечення безпеки зберігання даних.

Програмне забезпечення, обладнання, а також сервісні послуги разом утворюють комплексні платформи для зберігання і аналізу даних. Такі компанії, як Oracle, HP пропонують послуги з розробки, розгортання рішень Big Data та управління ними.

Приклади використання Big Data:

На сьогоднішній день Big Data активно впроваджуються в зарубіжних компаніях. Такі компанії, як Nasdaq, Facebook, Google, IBM, VISA, Master Card, Bank of America, HSBC, AT & T, Coca Cola, Starbucks і Netflix вже використовують ресурси Big Data.

  • United Parcel Service отримує в середньому близько 40 млн. відстежень запитів клієнтів за день.
  • Всього за чотири години на "чорну п'ятницю" 2012 Walmart оброблено 10 млн. касових операцій - майже 5 000 пунктів за секунду;
  • Facebook має більше 1 млрд. активних користувачів, які спілкуються постійно в соц. мережі;
  • RFID (radio frequency ID - радіохвилі) системи генерують до 1000 разів більше інформації, ніж звичайні штрих-кодові системи;
  • VISA проводить понад 170 мільярдів операцій по пластикових картах кожен день.
  • Більше 5 мільярдів чоловік в один і той же час дзвонять, відправляють СМС, спілкуються в чатах і переглядають веб-сторінки з мобільних пристроїв;
  • 500 мільйонів повідомлень відправляються в день. Це майже 6000 повідомлень в секунду.

Висновки:

Все швидше і швидше дані стають найціннішою валютою в сучасній економіці. Вкрай важливо, зробити Ваш бізнес більш успішним - всі козирі у ваших руках! Рішення BigData дозволить Вам не тільки змінити правила гри, але і виграти - швидко і ефективно перетворить всю вашу інформацію в можливості, не без допомоги аналітики, інтеграції, управління даними, та інфраструктурних рішень, що насамперед  дозволить Вам:

  • Використовувати всі дані, безпосередньо пов'язані з вирішенням ваших бізнес-задач, без обмежень;
  • Відкрити для себе нових клієнтів, джерела доходів і поліпшити способи ведення бізнесу.

Оперуючи даними, це допоможе Вам стати більш гнучкими, надихнути «правильних людей» прийняти «правильні рішення».

Результат завжди буде більш важливий, ніж продуктивність.

Для того, щоб отримувати новини, додайте e-mail