О стремительном росте объёмов информации, генерируемой во всём мире, говорится на каждом углу. Обычно об этом вспоминают, когда речь заходит о сетевой инфраструктуре, клиентском контенте, поисковых технологиях и многих других вещах. Та же самая ситуация наблюдается и в корпоративном сегменте: в большинстве организаций многократно растут объёмы хранимой информации. Согласно отчёту Forrester Research, около 85% данных в корпоративных системах представляет собой статичный контент, который уже никогда не будет меняться. Всевозможные требования властей и регуляторов обязывают организации хранить различную информацию за несколько лет (например, информацию по всем клиентам и совершённым сделкам и т.д.). В результате бизнесу приходится тратить значительные средства на обеспечение хранения этой информации, вкладываясь в парк серверов, СХД, приобретение ПО и т.д.
Ещё одним следствием роста объёмов хранимых данных стало желание многих компаний иметь возможность проводить анализ и поиск по всему имеющемуся объёму накопленной информации. С определённого момента такая задача превращается в задачу обработки Big Data. Как следствие, возникает необходимость поиска решений, больше подходящих для хранения и работы с подобными массивами информации. Поэтому многие ищут более выгодные решения для хранения подобных массивов информации и работы с ними.
Любопытен пример компании Nokia, недавно продавшей своё мобильное подразделение Microsoft. Согласно условиям контракта, финны должны были передать новому владельцу весь информационный архив подразделения. Учитывая большой объём данных, в Nokia подошли к этому творчески: была приобретена компактная система архивного хранения, в базу данных которой залили всю необходимую информацию, а затем всю эту систему целиком просто отправили в Microsoft.
Говоря о росте объёмов хранимой информации, нужно упомянуть и о накоплении данных из устаревших приложений. По мере модернизаций информационных систем меняются рабочие среды, внедряются новые программные пакеты, перестраивается структура баз данных. В результате накапливается большой массив информации, хранимой в уже неиспользуемом организацией виде. Но, поскольку зачастую требуется обеспечивать доступность этих данных, то на поддержание уже неактуального оборудования и ПО годами тратятся дополнительные средства.
Сегодня многие склонны рассматривать архивные системы как устаревшую или неактуальную технологию. Например, считается, что резервное копирование успешно заменяет архивирование. На деле же это вовсе не взаимозаменяемые понятия. В отличие от резервного копирования, архив предназначен для сохранения информации без её избыточного дублирования, позволяет структурировать и индексировать данные, обеспечивает доступ к ним с возможностью поиска с опциональным шифрованием и применением разных политик. Кроме того, перенос статических данных в архив позволяет снизить нагрузку на приложения и обойтись более дешёвыми серверными кластерами и СХД.
Также распространено мнение, что архив — это некая беспорядочная груда информации, отражающая историю компании и ненужная для решения текущих и будущих бизнес-задач. Однако выше мы уже упомянули о таком тренде, как анализ массива данных о работе компании, накопленный за время её существования. По прогнозу Gartner, к 2017 году около 75% организаций будут использовать собственный архив как первоначальный источник информации. Сегодня таких организаций около 10%.
Следующее предубеждение относительно архивирования связано с желанием скрыть какую-то неудобную информацию от регулятора. Ведь в архиве куда проще что-то найти. Однако у этой ситуации есть обратная сторона: размер штрафов за непредоставление запрошенной регулятором информации может составить миллионы долларов. А это многократно больше расходов на создание архива.
Кстати о расходах. Бытует мнение, что архивирование — дорогое удовольствие. Однако на деле архивные системы дают заметную экономию средств. Это связано с использованием более дешёвых носителей, с уменьшением стоимости поддержки и ростом производительности основных рабочих систем. Также нужно напомнить и о том, что в 2014 стал рекордным по количеству утечек информации, а объём похищенных данных вырос по сравнению с 2013 на 78%. Репутационные и судебные издержки также могут обойтись куда дороже, чем использование архивной системы с шифрованием данных.
Наконец, ещё одним аргументом против создания архивов является мнение, что тот же функционал обеспечивают и ЕСМ платформы. Но есть ряд отличий. Во-первых, архив предназначен для работы одновременно со структурированными и неструктурированными данными. Он оптимизирован для хранения миллиардов записей и документов. Во-вторых, как отмечалось выше, хранение данных в архиве обходится дешевле за счёт переноса на более дешёвые носители, а также уменьшения размера резервной копии и высвобождения ресурсов рабочей системы.
Также важным свойством архива является хранение структурированной и неструктурированной информации в единой БД. Естественно, база должна быть развёрнута на отдельной горизонтально-масштабируемой СХД, чтобы можно было безболезненно расширять архив по мере увеличения объёмов данных.
В качестве подобного решения может быть использовано архивное решение M1:Архив. Также решение будет полезено, когда необходимо хранить унаследованные данные из разнородных систем и в разных форматах, а также для задач анализа озёр данных. Под «озером данных» подразумевается репозиторий с очень большим объёмом сырых данных в исходных форматах, без какой-либо иерархической структуры. В зависимости от конкретных условий (количество структурированных и неструктурированных данных; наличие и состав поддерживаемых в компании устаревших систем; потребность в использовании аналитических инструментов; создание облачных сервисов и т.д.) решение может быть построено на базе различных СХД.
Особенностью решения является то, что все данные должны быть переданы в систему либо в виде информационных пакетов, согласно стандарта OAIS или в виде простых XML структур, если заказчику не требуется соответствия со стандартом OAIS. Также вся хранящаяся информация может быть доступна через JDBC, JSON для последующего использования/восстановления в исходном приложении. Данные в реляционных БД представляются в виде связанных таблиц. Когда пользователь запрашивает какую-то информацию, приложение рассылает запросы по таблицам, агрегирует полученные ответы и предоставляет пользователю.
Сегодня архивные системы в первую очередь внедряются в тех компаниях, в которых острее всего стоят проблемы нарастания объёмов данных, которые необходимо хранить и предоставлять по требованию регуляторов. В первую очередь это финансовый сектор, телекоммуникационная отрасль, коммунальное хозяйство и госсектор. И как показывает практика нашей компании, интерес к архивам всё чаще проявляют компании среднего размера, активно старающиеся усилить свои рыночные позиции. Наглядное свидетельство наступления информационной эры.