Поскольку ресурсы ограничены, будь то бюджетные или физические, поставщики решений по хранению данных стремятся повысить эффективность хранения данных. С другой стороны, ключом к решению этой дилеммы являются также программные политики сокращения объема данных.
Сокращение объема данных — это общее описание технологии уменьшения практического объема необработанных данных. Дедупликация и сжатие — наиболее распространенные стратегии, применяемые организациями для решения проблемы растущего объема данных. Поэтому мы рассмотрим обе эти функции и выясним их преимущества и возможные недостатки.
Компрессия
Сжатие данных — это технология хранения данных, предназначенная для уменьшения размера файлов или наборов данных. Благодаря более эффективному кодированию информации сжатие позволяет минимизировать объем пространства, необходимого для хранения данных, без потери их существенного содержания.
В предприятии сжатие широко используется в различных приложениях для оптимизации хранения, увеличения скорости передачи данных и повышения общей эффективности хранения. Резервное копирование и архивирование являются лучшими приложениями для сжатия. Другие типы данных, к которым обращаются нечасто, также подходят для применения сжатия, например, обмен файлами или управление файлами журналов.
Сжатие может чаще использоваться для различных типов приложений в предприятиях. Тем не менее, некоторые недостатки ограничивают эффективность сжатия. Во-первых, эффективность сжатия сильно зависит от алгоритма и механизма поставщика хранилища. Кроме того, существуют некоторые типы данных, которые ограничивают производительность сжатия. Например, зашифрованные данные слишком сложны для сжатия. Данные, к которым часто обращаются, также могут не подходить для политики сжатия.
Дедупликация
Дедупликация данных — это технология сжатия данных, предназначенная для сокращения количества избыточных копий данных. Вместо хранения нескольких экземпляров одних и тех же данных, дедупликация выявляет и удаляет дубликаты блоков, оставляя только одну копию. Это позволяет значительно сэкономить место на диске без ущерба для целостности данных.
Дедупликация обычно используется, когда ваши данные содержат большой объем избыточных данных, которые регулярно повторяются. Например, виртуализированная среда создает виртуальные машины повторно. В большинстве случаев ИТ-специалисты создают одинаковые виртуальные машины, и разнообразие данных заключается только в информации о пользователях. В этом случае дедупликация может быть идеальным решением.
Несмотря на преимущества технологии дедупликации, она также имеет некоторые ограничения. При включении дедупликации страдает пропускная способность. При доступе клиента к данным необходимо выполнять поиск дедуплицированных данных. Таким образом, требуется мощное устройство хранения. Во-вторых, дедупликация работает только в том случае, если все данные в основном одинаковы. При внедрении дедупликации использование традиционных жестких дисков может привести к сбоям индексирования из-за относительно низкой скорости чтения и записи. Процессы дедупликации включают интенсивную индексацию и сравнение блоков данных, и традиционные жесткие диски могут не справляться с требованиями к производительности, что приводит к задержкам и потенциальным сбоям на этапе индексирования. Поэтому вендоры систем хранения данных, как правило, используют полностью флэш-массивов для обеспечения требуемой производительности.
Руководство по Применению Принципа Сокращения Объема Данных
Хотя возможности приложений для сокращения объема данных ограничены, в большинстве случаев они все же являются более экономически эффективными. Согласно отчету SNIA, процент совокупной стоимости владения (TCO) на ТБ для «традиционных жестких дисков: SSD NVMe» составляет приблизительно 45,37 %. Когда коэффициент сокращения данных приложения достигает 54,63% или выше, использование дедупликации позволяет добиться более низкой совокупной стоимости владения, чем внедрение нового устройства хранения, как показано на рисунке ниже.
Кроме того, политики сокращения данных могут привести к снижению производительности, но опыт внедрения SSD в среду хранения данных все равно станет более эффективным.
Заключение
Сжатие данных представляет собой универсальную технологию хранения, которая позволяет минимизировать объем пространства, необходимого для хранения данных, без ущерба для их содержания. Она широко используется в различных корпоративных приложениях для оптимизации хранения, увеличения скорости передачи данных и упрощения резервного копирования и архивирования. Однако ее эффективность зависит от алгоритма поставщика хранилища, а некоторые типы данных, такие как зашифрованные или часто используемые данные, могут создавать проблемы для оптимальной производительности сжатия.
Дедупликация представляет собой технологию, которая эффективно устраняет избыточные копии данных и является ценной политикой в сценариях, где повторение данных является распространенным явлением, например, в виртуализированных средах.
Несмотря на значительную экономию емкости хранилища и снижение затрат, существуют также компромиссы в плане производительности. В результате при проектировании среды хранения организации должны найти баланс между экономией затрат и потенциальными накладными расходами на производительность.
