hadoop

Delinea AD Bridging: Якщо ви використовуєте його тільки для автентифікації, ви втрачаєте багато можливостей
За матеріалами Oberig IT 11 ноября, 2022
Корпоративні інфраструктури сьогодні є гібридними включаючи системи Windows, Linux і UNIX, різні хмарні ресурси, що ставить перед ІТ-відділом і службою IT Sec складне завдання управління доступом. Протягом багатьох років Active Directory Bridging допомагала цьому, дозволяючи користувачам входити в не-Windows системи за допомогою корпоративного облікового запису Active Directory.
Хакеры сбросили индексы 1200 баз данных Elasticsearch и требуют выкуп
06 июня, 2022
Эксперты Secureworks (входит в состав Dell Technologies) выявили масштабную вымогательскую кампанию. Злоумышленники получают доступ к плохо защищенным серверам Elasticsearch и заменяют данные в каталоге запиской с требованием выкупа.

Gartner предсказал Hadoop бесславный уход
Иван Николенко 19 октября, 2017
Аналитики Gartner считают, что Hadoop никогда не достигнет «плато продуктивности». Причина состоит в том, что его облачные аналоги обходятся дешевле, и их можно настраивать. Однако «плато» достигнет блокчейн, как и распределенные реестры вообще, в течении 5-10 лет.
Softprom будет продавать решения Nutanix в Украине и Грузии
По материалам Softprom 12 июля, 2017
Компания Nutanix - признанный лидер в решениях для построения виртуальных датацентров и Softprom by ERC, Value Added Distributor в странах СНГ и Восточной Европы, объявили о подписании дистрибьюторского контракта.
SAP завершил поглощение Altiscale, провайдера сервисов для Big Data
03 октября, 2016
По оценке Forrester Research, компания Altiscale со штаб-квартирой в Пало-Альто (США) считается одним из ведущих провайдеров сервисов для управления большими данными. Под брендом SAP компания Altiscale будет предлагать решения, позволяющие ускорить и упростить развертывание решений Big Data для крупных компаний. На решение SAP о приобретении Altiscale повлиял ряд факторов: Обе компании реализуют взаимодополняющие подходы к внедрению корпоративных решений для работы с большими данными (решений Big Data). SAP стремится создавать решения для анализа больших данных на основе глубокого понимания требований корпоративных приложений, аналитики, платформы данных, хранения данных и облачной платформы. Altiscale фокусируется на облачной инфраструктуре и инфраструктуре данных, предлагая клиентам инструмент для работы с большими данными Altiscale Data Cloud, включающий в себя высокооптимизированную облачную инфраструктуру, платформы Spark и Hadoop. Altiscale полностью соответствует концепции SAP, так как внимание обеих компаний сосредоточено на том, чтобы помогать клиентам извлекать выгоду из информации — максимально эффективно использовать большие данные. Компания Altiscale является лидером на рынке решений для управления большими данными (Big Data-as-a-Service) на базе платформ Hadoop и Spark. Это позволит SAP непрерывно повышать ценность больших данных с помощью технологий, платформы данных, PaaS, аналитики и стека приложений.
Oracle Big Data Appliance занимает верхнюю строчку рейтинга Forrester «систем, оптимизированных для Hadoop»
03 августа, 2016
При составлении рейтинга компания Forrester рассматривала системы, оптимизированные для Hadoop (Hadoop Optimized Systems) семи основных вендоров: Cisco, Cray, Dell, IBM, NetApp, Oracle и Teradata. Они оценивались по обширному набору из 26 критериев. Во всех категориях, таких как «текущее предложение» (Current Offering), «стратегия» (Strategy) и «присутствие на рынке» (Market Presence), Oracle Big Data Appliance (BDA) заняла первое место.
Десять лучших продуктов на рынке Big Data в этом году
27 июля, 2016
Технология больших данных продолжает оставаться одной из самых динамично развивающихся в ИТ-отрасли. Неослабевающий поток продуктов Продажи приложений, инструментария и услуг обработки больших данных и бизнес-аналитики в прошлом году достигли почти 122 млрд. долл. и к 2019 году вырастут более чем на 50% до 187 млрд. долл., согласно прогнозу IDC. Так что неудивительно, что этот конвейер, поставляющий на рынок новые решения для Big Data, как от известных вендоров, так и стартапов, продолжает работать, не ослабевая. CRN/США представляет десять продуктов в этом сегменте, которые привлекли внимание редакции за первые шесть месяцев года. Некоторые из них (но не все) дебютировали на конференции Strata + Hadoop World в марте и на Hadoop Summit в июне.
Рейтинг платформ бизнес-аналитики «Магический квадрант» Gartner 2016
24 мая, 2016
Бизнес-аналитика традиционно была задачей, техническое выполнение которой ложилось на ИТ-отдел: используя сложное ПО, создавались отчеты, которые затем анализировались специалистами по маркетингу и другими подразделениями в организациях. В последние годы произошел значительный сдвиг в этой сфере, так как растет предложение средств подготовки и обнаружения данных с самообслуживанием, предназначенных непосредственно для самих бизнес-пользователей. Как результат, выполнение этих задач, а также принятие решений о покупке инструментов BI (и общий баланс сил) всё больше смещается непосредственно к подразделениям. Gartner прогнозирует, что к 2018 году «интеллектуальное, направляемое обнаружение данных, хранящихся в Hadoop, найденных средствами поиска и с функциями визуализации, сольется в единую технологию <...> следующего поколения, которая будет включать подготовку данных с самообслуживанием и генерирование [отчетов] на естественном языке». Согласно прогнозу Gartner, в текущем году общий доход вендоров мирового рынка бизнес-аналитики и инструментов анализа вырастет на 5,2% и достигнет 16,9 млрд. долл. Рынок находится сейчас на финальной стадии перехода от систем аналитики, управляемых ИТ-отделом, к аналитике с самообслуживанием, находящейся в руках бизнес-пользователей. Это означает приход нового поколения BI-платформ и инструментов анализа, готовых удовлетворить сегодняшние потребности организаций — простоты доступа, гибкости и более глубокого понимания, отмечает Gartner.
Актуальны ли еще хранилища данных?
27 апреля, 2016
Очевидно ответ нужно искать где-то посередине. EDW-хранилища, так же как и сопутствующие им пакетные ETL-процессы (extraction, transformation and loading — извлечение, преобразование и загрузка), могут функционировать в связке с технологией Hadoop в рамках единой стратегии, предлагающей наглядный план действий для создания аналитических (в т. ч. бизнес-аналитических) систем.

Успешные компании смогли создать и внедрить четкие процессы для обеспечения более свободного доступа к данным, многофункциональной аналитики и реальных преимуществ для бизнеса посредством проектов по обработке данных. Они наделили свои бизнес-подразделения беспрецедентной мощью, которую заключает в себе информация.

Сомнения насчет предпочтительности того или иного варианта вполне понятны. EDW лежит в основе любой бизнес-аналитической системы и чаще других систем применяется для обработки хорошо организованных, структурированных данных вроде тех, что используются в финансовой отчетности.

Тем не менее, EDW являются дорогостоящими структурами хранения данных, а их возможности ограничены. Обработка и объединение объемных данных, поступающих из разных источников, по разным причинам представляют определенные трудности, в том числе из-за сложностей доступа к историческим данным, медлительности пакетной обработки, сложности задачи.
LinkedIn открывает исходный код Dr. Elephant
15 апреля, 2016
Компания LinkedIn открыла исходный код своего средства настройки производительности Hadoop и Spark, известного как Dr. Elephant, чтобы помочь пользователям Hadoop и Spark оснастить свои продуктивные среды удобными инструментами самообслуживания. В размещенном в корпоративном блоге сообщении по поводу этого средства инженер-программист LinkedIn Акшай Рай охарактеризовал Dr. Elephant как простой инструмент для пользователей Hadoop и Spark, помогающий понимать, анализировать и улучшать производительность выполняемых операций. Hadoop представляет собой свободно распространяемый программный фреймворк для хранения данных и выполнения приложений на кластерах, построенных на основе общераспространенного оборудования. Он позволяет осуществлять распределенную обработку больших объемов данных в вычислительных кластерах, используя простые модели программирования. Hadoop предназначен для масштабирования с уровня единичных серверов до тысяч аппаратных систем, предоставляющих свои локальные ресурсы для вычислений и хранения данных. Apache Spark тоже является Open Source-фреймворком для кластерных вычислений. Spark является быстродействующей системой для обработки больших данных со встроенными модулями для потоковой передачи данных, SQL, машинного обучения и обработки графики.
Большие Данные как сервис — анализ без рутины
04 апреля, 2016
Умение хранить и анализировать данные играет для предприятий все более важную роль. Но как интегрировать работу с Большими Данными в корпоративную инфраструктуру? В стремлении представить Большие Данные как доступную и понятную аналитику организациям все чаще приходится задумываться о переносе соответствующих функций в облако. Отдавая предпочтение Большим Данным, предлагаемым в качестве сервиса, когда поставщик берет на себя требующее серьезных затрат времени и ресурсов управление технологиями Больших Данных (Hadoop, Spark, Hive и пр.), предприятия получают возможность избавиться от черновой работы и переключить внимание на преимущества Больших Данных. В эпоху Больших Данных перед организациями встают фундаментальные вопросы использования их потенциала, расширения сферы применения и интеграции в уже существующие корпоративные хранилища и киоски данных
Кластерные вычисления для больших данных на подходе
15 марта, 2016
в Нью-Йорке состоялась конференция Spark Summit East 2016, посвященная вопросам развития технологий больших данных. Несмотря на инновационность обсуждавшихся тем, многие собравшиеся, как отмечает издание Syncsort, сравнивали ее с конференциями Strata+Hadoop World пятилетней давности. Главной отличительной чертой тех мероприятий была ориентация исключительно на интересы разработчиков без уделения должного внимания вопросам развития в интересах заказчиков. Сравнение с Hadoop в данном случае неслучайно: последние два года парадигма развития этой платформы явно претерпевает смещение в сторону участия бизнеса. Аналогичную траекторию развития предсказывают и в отношении Apache Spark — эффективного и быстрого фреймворка для обработки больших массивов данных.
Пятерка лучших дистрибутивов Hadoop по версии Forrester
03 февраля, 2016
Аналитики прогнозируют, что со временем платформа получит применение абсолютно на всех крупных предприятиях. В опубликованном недавно докладе Forrester Research выражается убеждение, что внедрение Hadoop является «обязательным» для любой организации, в которой хотят выполнять сложную аналитику и извлекать полезные сведения из имеющихся данных. На сегодня от 60 до 73% данных, к которым есть доступ на предприятиях, все еще не используются для нужд бизнес-аналитики, и это неприемлемо в эпоху, когда наличие глубоких аналитических знаний о заказчиках и не только — просто обязательное условие участия в конкурентной борьбе, пишут аналитики Forrester Майк Гуалтьери и Ноэль Юханна в докладе, посвященном дистрибутивам Hadoop. Специалисты по разработке и доставке приложений осваивают Hadoop «в массовом порядке», утверждают аналитики, прогнозируя, что в конечном счете платформу возьмут на вооружение абсолютно все крупные предприятия.
Cisco представила архитектуру для построения кластера SAP HANA Vora на базе Cisco UCS Integrated Infrastructure for Big Data и Cisco ACI
02 февраля, 2016
Одна из постоянных тем, обсуждаемых теми, кто занимается управлением данными, — не вытеснят ли решения для обработки больших данных ( Big Data ) традиционные системы управления базами данных. Отраслевые тенденции говорят о том, что такого вытеснения не произойдет и оба направления будут сосуществовать, дополняя друг друга. Придерживаясь того же мнения, Cisco два года назад обнародовала стратегию интеграции с такими платформами, как SAP HANA и Hadoop . Как вы, наверное, знаете, SAP HANA — это СУБД, работающая на основе технологии in - memory и предназначенная для обработки транзакций, а также решения аналитических задач и приложений, тогда как платформа Hadoop , созданная фондом Apache software foundation для управления масштабными данными и их распределенной обработки, способна анализировать большие объемы разнообразных наборов данных. Объединение SAP HANA и Hadoop может вывести аналитику данных на новый уровень. Наш новый интеграционный проект показал , как с помощью общей инфраструктуры и архитектуры унифицированного управления можно добиться упрощения масштабных внедрений при меньшей совокупной стоимости владения.
Toп-10 свободных проектов: версия OpenSource.com
17 декабря, 2015
Продолжается подведение итогов уходящего года. На этот раз сайт OpenSource.com предложил свою версию десятки лучших проектов с открытым исходным кодом. Apache Spark Благодаря этому решению Hadoop перестала быть единственной известной всем системой для работы с Big Data. При помощи свободной программы Apache Spark можно создавать распределённые приложения, позволяющие получить существенный выигрыш в производительности благодаря использованию примитивов в оперативной памяти. В текущем году Apache Spark установил рекорд скорости, обработав 100 Тб данных всего за 23 минуты. В настоящее время интерес к проекту продолжает расти, свидетельство чему — много новых участников. Хорошие перспективы Apache Spark уже ни у кого не вызывают сомнений.
10 лучших продуктов на рынке Big Data в 2015 году
16 декабря, 2015
Рынок быстро растет Сегмент технологии больших данных остается одним из самых быстро растущих в ИТ-отрасли. В ноябре IDC опубликовала новый прогноз, что рынок инфраструктуры, ПО и услуг для Big Data будет демонстрировать среднегодовой темп роста (CAGR) 23,1% вплоть до 2019 года, и общие расходы на конец этого периода достигнут 48,6 млрд. долл. В частности, IDC ожидает, что продажи ПО для Big Data продемонстрируют CAGR 26,2%. Поэтому неудивительно, что на рынок выходит всё больше новых продуктов. CRN/США выбрал десять наиболее интересных предложений, появившихся в этом году. Apache Spark Помимо платформы Hadoop, наверно, нет другой столь же революционной технологии на рынке Big Data, как Apache Spark. Этот мощный механизм обработки-в-памяти кардинально ускоряет работу Hadoop, открывая возможность создания приложений бизнес-аналитики, способных работать в потоке данных в реальном времени, что не было возможно раньше. Spark — это свободное ПО, но есть также коммерческая версия, предлагаемая компанией Databricks, учредителями которой были первые разработчики Spark. Последняя на сегодня версия Spark 1.5, дебютировавшая этой осенью, включает ряд изменений, которые повышают ее производительность, удобство использования и устойчивость в работе.
Splice Machine объединит OLTP и OLAP
27 ноября, 2015
Версия реляционной СУБД Splice Machine 2.0 сочетает в себе масштабируемость Hadoop и присущую Spark скорость обработки данных в оперативной памяти. Компания Splice Machine анонсировала вторую версию своей системы управления реляционными базами данных, которая обещает предоставить клиентам масштабируемость Hadoop в сочетании с производительностью Spark, при этом не потребуется переписывать код SQL и переобучать персонал. «Это настоящий прорыв в технологиях СУБД, – заявил один из основателей и генеральный директор Splice Machine Монте Цвебен. – До недавних пор объединение разнородной рабочей нагрузки в рамках одной СУБД представляло очень сложную задачу. Компаниям приходилось обрабатывать транзакции в реальном времени на одной платформе, а затем переносить все данные на другую платформу с помощью технологий ETL (extract, transform, load) и уже там анализировать их». Такая архитектура приводила к существенным задержкам при принятии решений: фактически компании были вынуждены оперировать вчерашними данными.
Hortonworks помогает запускать проекты Больших Данных
16 ноября, 2015
В рамках услуги Hortonworks Big Data Scorecard предприятиям оказывается содействие в оценке имеющихся возможностей и разработке плана по реализации инициатив по трансформации бизнеса в опоре на данные. На конференции Strata + Hadoop World компания Hortonworks представила инструмент Big Data Scorecard, помогающий организациям в разработке планов по запуску проектов в области Больших Данных. «В Hortonworks всегда стремились к партнерским отношениям с заказчиками, ставя своей задачей помогать им добиваться максимального успеха инициатив в сфере Больших Данных, — заявил Херб Кунитц, президент Hortonworks. — Опираясь на свой опыт, мы упрощаем работу с Большими Данными, помогаем сделать их двигателем бизнеса заказчика. Hortonworks Big Data Scorecard позволяет ускорить проекты, связанные с Большими Данными, и подхлестнуть трансформацию бизнеса».
Dell представляет новую версию аналитического пакета Statistica
23 октября, 2015
Statistica 13 — новая версия известного пакета, разработанного в компании StatSoft, которую Dell купила в марте прошлого года. Среди сервисов анализа данных появились новые, ориентированные на конкретные отрасли экономики. На конференции Dell World компания Dell представила аналитический пакет Statistica 13 — новую версию известного пакета, разработанного в компании StatSoft, которую Dell купила в марте прошлого года. Среди всех особенностей новой версии в Dell выделяют возможность запуска аналитических процедур непосредственно в базе данных. Обычно данные для анализа приходится переносить из базы данных или кластера Hadoop на сервер или настольный компьютер. Аналитические модели, построенные в Statistica 13, можно преобразовать в программы на Си, SQL или Java и запустить непосредственно на кластере или в базе. Таким образом, анализу будут подвергнуты все имеющиеся данные. Впрочем, пока поддерживается только Microsoft SQL Server. Поддержку других СУБД планируется реализовать позднее.
Teradata выпускает новые средства анализа данных Интернета вещей
20 октября, 2015
Пакеты Teradata Listener и Teradata Aster Analytics для Hadoop предназначены для анализа в реальном времени журналов серверов, лент социальных сетей, потоков данных с датчиков и телеметрического оборудования и прочих источников. Teradata Listener как в облачной версии пакетов, так и в версии для установки на собственной аппаратной платформе клиента отвечает за сбор данных и передачу их средствам анализа, в качестве которых могут использоваться Hadoop, Teradata Aster Analytics, Teradata Database и другие. Сейчас пакет проходит бета-тестирование. Выпуск финальной версии запланирован на первый квартал будущего года.
IBM претендует на часть рынка x86-серверов
19 октября, 2015
Новые системы на платформе Power/Linux предназначены для облачных сред и обработки Больших Данных. Корпорация IBM решила потеснить производителей серверов x86-архитектуры, представив новое семейство систем Power, которые работают под управлением Linux и будут продаваться клиентам напрямую через Интернет. Новая линейка серверов LC предназначена для организаций, которые развертывают кластерные или облачные среды и обрабатывают большие объемы данных с помощью Hadoop, Spark и других подобных технологий.