Активируем дедупликацию данных в Windows 8 / 8.1 | Windows для системных администраторов

Активируем дедупликацию данных в Windows 8 / 8.1

Напомним, что в Windows Server 2012  появилась встроенная возможность активации дедупликации данных на дисковых разделах. Цель технологии дедупликации – экономия дискового пространства на файловых серверах за счет поиска и удаления дублирующих данных. Т.е. система ищет на томе с файловой системой NTFS одинаковые блоки, и удаляет их, заменяя такие блоки ссылками на оригинал, освобождая тем самым место на дисках (подробнее про технологию написано здесь). Данная технология ориентирована на серверный сегмент и в клиентской Windows 8 не доступна даже в старших редакциях.

Однако существует трюк, позволяющий задействовать технологию дедупликации в Windows 8 (и Windows 8.1) . Для этого любители выпилили соответствующие пакеты из Windows Server 2012 / R2.

Примечание. Официально функционал дедупликации для клиентских ОС не поддерживается и является unsupported configuration.  Однако, задействовав функционал дедупликации для таких задач, как: тестовая среда виртуализации Hyper-V или для диска, хранящего образы и дистрибутивы различного ПО, вы можете сэкономить до 90% дискового пространства, чего не достичь при использовании NTFS компрессии или Single Instance Storage (уже канувшей в лету).
  1. Скачайте и распакуйте архив с файлом, содержащим накопительный пакет, активирующий дедупликацию:
  2. Выполните (с правами администратора) следующие команды:
    • Для Windows 8:
      dism /online /add-package /packagepath:Microsoft-Windows-VdsInterop-Package~31bf3856ad364e35~amd64~~6.2.9200.16384.cab /packagepath:Microsoft-Windows-VdsInterop-Package~31bf3856ad364e35~amd64~en-US~6.2.9200.16384.cab /packagepath:Microsoft-Windows-FileServer-Package~31bf3856ad364e35~amd64~~6.2.9200.16384.cab /packagepath:Microsoft-Windows-FileServer-Package~31bf3856ad364e35~amd64~en-US~6.2.9200.16384.cab /packagepath:Microsoft-Windows-Dedup-Package~31bf3856ad364e35~amd64~~6.2.9200.16384.cab /packagepath:Microsoft-Windows-Dedup-Package~31bf3856ad364e35~amd64~en-US~6.2.9200.16384.cab

      dism /online /enable-feature /featurename:Dedup-Core /all

    • Для Windows 8.1:
      dism /online /add-package /packagepath:Microsoft-Windows-VdsInterop-Package~31bf3856ad364e35~amd64~~6.3.9600.16384.cab /packagepath:Microsoft-Windows-VdsInterop-Package~31bf3856ad364e35~amd64~en-US~6.3.9600.16384.cab /packagepath:Microsoft-Windows-FileServer-Package~31bf3856ad364e35~amd64~~6.3.9600.16384.cab /packagepath:Microsoft-Windows-FileServer-Package~31bf3856ad364e35~amd64~en-US~6.3.9600.16384.cab /packagepath:Microsoft-Windows-Dedup-Package~31bf3856ad364e35~amd64~~6.3.9600.16384.cab /packagepath:Microsoft-Windows-Dedup-Package~31bf3856ad364e35~amd64~en-US~6.3.9600.16384.cab

      dism /online /enable-feature /featurename:Dedup-Core /all

      Установка компонента дедупликации в windows 8.1

  3. Примечание. Так как пакеты дедупликации «выковыряны» из Windows Server 2012/R2, то работать они будут только на 64 разрядных версиях Windows 8. На русифицированных версиях в процессе установки могут появиться «кракозябры», но на работоспособность компонента это не повлияет.
  4. После установки компонента в “Компонентах Windows” (раздел Control Panel\All Control Panel Items\Programs and Features\Turn Windows Features on or off) появится новая, ранее отсутствующая опция File Server Role -> Data DeduplicationКомпоненты Windows: Data Deduplication

Управление дедупликацией в Windows осуществляется через PowerShell, запущенный с правами администратора (естественно, что графическая утилита управления, входящая в состав консоли Server Manager, работать не будет).

Чтобы включить дедупликацию для тома D:, выполните команду:

Enable-DedupVolume -Volume D:

Совет. Дедупликацию нельзя включить для системного или загрузочного тома.

В Windows 2012 R2 (PowerShell 4.0) из дуплицируемых данных на диске возможно исключить некоторые каталоги:

Set-DedupVolume -volume D: -ExcludeFolder d:\WorkFolder;d:\Video

Чтобы запустить процесс дедупликации немедленно, выполните команду:

Start-DedupJob –Volume D: –Type Optimization

Статус процесса можно узнать так:

Get-DedupStatus

Get-DedupStatus черех Powershell

Примечание. В официальных источниках указывается, что на среднестатистическом железе скорость выполнения дедупликации составляет порядка 100 Гб/час.

При установке компонента дедупликации в Windows 8, в планировщике заданий создаются три новых задания, которые по определенному расписанию выполняют операцию дедупликацию данных на томах. Посмотреть и поменять параметры заданий можно через графический интерфейс планировщика (Task Sheduler -> Task Sheduler Library -> Microsoft -> Windows -> Deduplication).

Планировщик заданий дедупликации

или через PoSh:

Get-DedupSchedule

powershell Get-DedupSchedule

Совет. Также стоит осознавать, что дедупликация отчасти снижает производительность системы. Это естественно, т.к. системе приходится тратить дополнительные системные ресурсы на поиск одинаковых блоков на томе. Поэтому стоит настроить расписание таким образом, чтобы дедупликация выполнялась в нерабочие для пользователя ПК часы.

По умолчанию процесс дудупликации задействуется для файлов, которые не изменялись более 5 дней. В большинстве случаев (особенно в тестовой среде) стоит включить дедупликацию для всех файлов, независимо от времени их изменения.

Set-Dedupvolume D: -MinimumFileAgeDays 0

После окончания дедупликации оценить ее результаты (заключающиеся в экономии места на диске) можно с помощью PoSh:

Get-DedupStatus

Или визуально в свойствах диска

Размер данных на диске после выполнения дедупликации

Инфо. В нашем примере для диска, содержащего образы дистрибутивов Windows и другого системного ПО, после дедупликации размер данных на диске уменьшился более чем в 100 (!!) раз.
Важно. При включении дедупликации данных на диске их нельзя будет прочитать на другом ПК, если на нем не установлен данный компонент. Т.е., хотя вы и увидите список файлов на диске, но прочитать их не получится. Если на другом компьютере компонент дедупликации установить нельзя, необходимо запустить процесс дедупликации данных на томе:

 Start-DedupJob -Volume D: -Type Unoptimization

А после его окончания, когда данные будут «развернуты» в исходное состояние, отключить дедепликацию для тома:

Disable-DedupVolume -Volume D:
Еще записи по теме: Windows 8
Понравилась статья? Скажи спасибо и расскажи друзьям!
Назад:
Вперед:

Комментариев: 25

Оставить комментарий
  1. Profi | 12.11.2013

    +1!   храню на отдельном диске кучу iso с различными версиями винды. Скачал и активировал эту фичу в Windows 8 x64 Pro. После выполнения дедудликации — вместо 80 Гб на диске занято всего 20 Gb!
    Тема!!!
    А не может быть проблем, если что-то случится с файловой системой?

    Ответить
    • Алексей | 24.12.2013

      На самом-то деле сжатие в 100 раз вряд ли произошло. В каталоге System Volume Information строится база этого сервиса, там же и информация из файлов содержится. Но 20-30 Гб из 100 вполне реально сэкономить.

      Ответить
  2. IQIT | 14.01.2014

    Данный мануал применим и к Hyper-V Server 2012 R2
    Но после PowerShell, дополнительно активировать ничего не надо.

    Ответить
  3. Andrico | 17.01.2014

    ресурс — просто кладезь unsupported-решений «на свой страх и риск»… даю наводку — не дай б. вашему тому оказаться подключенному к другой клиентской ОС без приколхоженного компонента дедупликации и быть проверенным чекдиском :)

    Ответить
    • itpro | 21.01.2014

      У вас уже был печальный опыт с чекдиском и дедуплицированным томом?  Или информация чисто теоретическая?
      Ну да, данное решение не для продакшена. Но для домашнего использования или в тестах- почему бы нет?  Можно существенно сэкономить места для хранения образов и дистрибутивов.
       

      Ответить
      • Andrico | 21.01.2014

        Да, в ближайшем окружении — четырежды. Сценарий, как правило, у всех один и тот же — VHDX с дедуплицированным томом, по неосторожности подмонтированный к клиенту… в статье бы упомянули disclaimer на этот счёт — не просто нельзя прочитать, а в определённых сценариях может быть мучительно больно….

        Ответить
      • Артем | 24.08.2014

        А какой может быть печальный опыт?
        Чекдиск отрабатывает точно так же, он работает несколько на другом уровне нежели дедупликация. И чекдиск может натворить делов даже на томе который не дедуплицирован.
        За сохранность данных отвечают бэкапы.
        По поводу использования в продакшене — только так работает, две сотни файловых баз 1с на ssd дедуплицированны.
        Так же пять виртуальных машин на ssd с дедупликацией.
        Уже год полет отличный.

        Ответить
  4. Чайник | 18.02.2014

    Обрабатывается 1 из 6 — Добавление пакета Microsoft-Windows-Dedup-Package~31bf3856ad364e35~amd64~en-US~6.3.9600.16384
    [==========================100.0%==========================]
    Обрабатывается 2 из 6 — Добавление пакета Microsoft-Windows-Dedup-Package~31bf3856ad364e35~amd64~~6.3.9600.16384
    [==========================100.0%==========================]
    Обрабатывается 3 из 6 — Добавление пакета Microsoft-Windows-FileServer-Package~31bf3856ad364e35~amd64~en-US~6.3.9600.163
    84
    [==========================100.0%==========================]
    Обрабатывается 4 из 6 — Добавление пакета Microsoft-Windows-FileServer-Package~31bf3856ad364e35~amd64~~6.3.9600.16384
    [==============             25.0%                          ]
    Произошла ошибка — «Microsoft-Windows-FileServer-Package» Ошибка: 0x800f0831
    Обрабатывается 5 из 6 — Добавление пакета Microsoft-Windows-VdsInterop-Package~31bf3856ad364e35~amd64~en-US~6.3.9600.163
    84
    [==========================100.0%==========================]
    Обрабатывается 6 из 6 — Добавление пакета Microsoft-Windows-VdsInterop-Package~31bf3856ad364e35~amd64~~6.3.9600.16384
    [==========================100.0%==========================]
    Ошибка: 0x800f081e
    Указанный пакет неприменим к этому образу.
    Указанный пакет неприменим к этому образу.
    Указанный пакет неприменим к этому образу.
    Указанный пакет неприменим к этому образу.
    Команда выполнена с ошибками.
    Дополнительные сведения см. в файле журнала.
    Файл журнала DISM находится по адресу C:\WINDOWS\Logs\DISM\dism.log

    Ответить
    • itpro | 19.02.2014

      Какой пакет использовали и какая версия ОС ?

      Ответить
  5. Александр | 19.04.2014

    «Важно. При включении дедупликации данных на диске их нельзя будет прочитать на другом ПК, если на нем не установлен данный компонент. »
    На другом ПК это как? Если я винт к другому ПК подключу напрямую или через локальную сеть? В каком случае?

    Ответить
  6. Александр | 19.04.2014

    Да, еще и не ясно, что будет с данными если эту функцию отключить? они обратно распухнут, как было? А если уже места нет?

    Ответить
    • itpro | 21.04.2014

      1. Если доступ по локальной сети — то проблем не будет, драйвер дедупликации будет прозрачно отдавать корректные данные.
      Если же диск физически подключить к другому компьютеру, на котором отсутствует компонент дедупликации — система не сможет прочитать эти данные. Кроме того, по информации Andrico в этом случае есть опасность повреждения при их проверке chkdsk.
      2. При отключении функции — данные «разворачиваются» обратно. Если места на диске недостаточно, часть информации может остаться в дудуплицированном состоянии пока не появится свободное место

      Ответить
      • Александр | 22.04.2014

        Командой Disable-DedupVolume -Volume X: отключил дедупликацию, а процесс «разворачивания» как запустить? Винт не хрустит. В Get-DedupStatus раздел числиться.
         

        Ответить
        • itpro | 22.04.2014

          Возможно инициальный цикл дедупликации не прошел и данные так и остались в начальном состоянии?
          Покажите что возвращает команда Get-DedupStatus? Есть ли «оптимизированные» файлы (колонка OptimizedFiles)?
          Попробуйте отключить оптимизацию командой:
          Start-DedupJob -Volume X: -Type Unoptimization
          И через некоторое время еще раз проверить статус
           

          Ответить
          • Александр | 22.04.2014

            Ага,  Get-DedupStatus говорит, что есть OptimizedFiles. запустил деоптимизацию, винт захрустел процесс пошел.
            Думаю, в статью надо добавить комментарий с командой Start-DedupJob -Volume X: -Type Unoptimization.
             

            Ответить
  7. itpro | 24.04.2014

    Ок, статью дополнил.
    PS. если у вас начал хрустеть диск, может быть его уже пора заменить :) ?

    Ответить
    • Александр | 25.04.2014

      Ага, самая полезная команда: Help Dedup.
      А что делает GarbageCollection и Scrubbing?

      Ответить
      • itpro | 30.04.2014

        Scrubbing - процедура проверки контрольных сумм и метаданых дедуплицированных данных. Также посзволяет в некоторых случаях восстановить поврежденные данные.
        Garbage - процесс сбора «мусора», который со временем накапливается на томе, с целью освобождения свободного места.  Позволяет найти удаленные и перезаписаные данные в дедуплицированный файлах и вычистить ненужную информацию с диска

        Ответить
  8. Enzain | 17.11.2014

    1. А никому не лень достать те же пакеты только русские? В принципе по идее это не сложно.
    2. Сталкивался кто-то или нет — исключения не включал, но видео и фото как-то совсем не уменьшаются в размере … оно по умолчанию не пытается даже чтоль дедуплицироваться?
     

    Ответить
    • itpro | 18.11.2014

      А какой смысл от русифицированного пакета? Команды Poweshell в любом случае на английском будут.
      Видео, фото, музыка — это мультимедийные данные, дедупликация которых не даст особой экономии. Так как практически не содержат повторяющихся блоков данных (за счет замены которых и реализуется экономия места)

       

      Ответить
  9. Максим | 20.07.2015

    Обновился на Windows 10, а дедубликация не пашет, файлы не читаются :( Что делать? Есть пакеты для новой винды? Если подключить винт к другому компу с установленными пакетами дедубликации смогу ли я отменить её? PS: Возврат на 8.1 только вчера удалил за ненадобностью, а дедублицированный диск только сегодня поюзать решил :(

    Ответить
    • Максим | 22.07.2015

      Решил задачу :) Поставил Hyper-V, в нём Windows 8.1 с прямым доступом к дедублицированному винту, поставил пакеты, дедублицировал, отключил винт из виртуалки и вуаля ;)

      Ответить
      • itpro | 23.07.2015

        Остроумное решение :)
        Будьте теперь очень крайне острожным при работе с файловой системой на диске с дедуплицированными данными из-под Windows 10. Речь об утилитах проверки дисков, дефрагментаторов и всяких оптимизаторах файловой системы. Иначе первый же залетевший дятел разрушит всю вашу цивилизацию.
        По пакету дедупликации для Windows 10: в клинских ОС он не по прежнему поддерживается, вероятно придется ждать окончательно релиза Windows Server 2016 из которого можно получить нужный пакет

        Ответить
        • IQIT | 18.12.2015

          Хорошо что кто-то написал про обновление на Win 10 с включенной дедупликацией.

          Ответить
          • itpro | 23.12.2015

            Пока не выйдет RTM версия Windows Server 2016 компоненты дедупликации для Win 10 найти будет проблематично, если только энтузиасты не выпилят cab файлы компонента из Windows 2016 Technical Preview

            Ответить
Полные правила комментирования на сайте winitpro.ru. Вопросы, не связанные с содержимым статьи или ее обсуждением удаляются.

Сказать Спасибо! можно на этой странице или (еще лучше) поделиться с друзями ссылкой на понравившуюся статью в любимой социальной сети(специально для этого на сайте присуствуют кнопки популярных соц. сетей).

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Я не робот( Обязательно отметьте)



MAXCACHE: 0.28MB/0.00112 sec