LINUX.ORG.RU

Избранные сообщения Clockwork

Тестирование производительности ZFS на SSD /2023

Форум — Admin

Скоро (ближе к концу января) буду вводить в эксплуатацию сервер, хочу потестить производительность ZFS.

Цели:

  • выявить и исправить косяки в конфигурации
  • определить готовность ZFS к разного вида нагрузкам
  • лучше понять, как тестировать дисковую подсистему
  • лучше понять, как настраивать ZFS

Тестировать буду Intel P5800X (Optane) и Samsung PM1735 (TLC). Будет средний сервер на Xeon’e. Дистрибутив — Proxmox VE.

Принимаются пожелания (в виде указаний по настройке ZFS и конфигов/команд fio).

Предыдущее тестирование (2019 г.)

Тема в reddit/zfs. Может там чего-нибудь дельного посоветуют.

 , ,

Harliff
()

Как лучше хранить большой массив информации? mdadm / lvm / zfs / btrfs

Форум — Admin

<UPD> Остановился на ZFS по следующим причинам:
* Попробовать интересно
* Контрольные суммы для данных, что должно повышать надёжность
* Это решение всё в одном. Например, ZFS знает, какие блоки принадлежат файлам, а какие свободные. Поэтому при сборке массива не надо ждать, пока по-XOR-ится свободное место, в отличии от mdadm.

Я попробовал mdadm, не увидел, чтобы с ним было быстрее. Возможно, это бы проявилось на SSD, но у меня обычные HDD. Да, в варианте с ZFS есть недостаток, что массив нельзя расширить просто добавив один диск. Но мне прямо сейчас оказалось не надо, это на будущее. А, как тут писали, скоро необходимое решение появится.

Всем спасибо!
</UPD>
-----------
Доброе утро, ЛОРчане!

Подскажите, как лучше организовать надёжное хранение большого объёма данных, с кучей файлов. Данных всего примерно 13 ТиБ, может быть чуть больше.

Их можно разделить на две группы:
* 8 ТиБ, примерно 450 000 файлов, размером в среднем от 10 МиБ до 25 МиБ. В 90% случаев они будут только читаться, в 8% дополняться, в 2% удаляться/перезаписываться. Данные уже сжатые, сжать лучше вряд ли получится.
* Примерно 5 ТиБ и около 5 300 000 файлов, очень разного размера, несколько сотен тысяч совсем мелких, по 5 КиБ, какие-то крупные, по несколько гибибайт. Эта группа будет активно обновляться, перезаписываться, удаляться. Тут, теоретически, данные сжимаемые, но не уверен, что это имеет смысл.

Для этого всего припасено 5 дисков TOSHIBA HDWG160, 6 ТБ (5.4 ТиБ).

Я планировал из них собрать что-то вроде программного RAID 6, т.е. полезный объём будет равен объёму только трёх дисков, 18 ТБ.

Что лучше для этого использовать? Собрать средствами mdadm/lvm и сверху разместить ext4 или использовать модные ZFS/BTRFS? Что более надёжно? Что расширяемо? Теоретически, может настать момент, когда объёма хватать перестанет. Смогу ли я добавить ещё такой же диск в массив не потеряв надёжность? Какой вариант будет легче/быстрее восстановить, если накроется один диск? А два?

Каких-то особых возможностей на данный момент не требуется, снапшотов, вероятно - тоже. Может быть, «версионирование» состояний некоторой части данных, для которого хватит скрипта, что будет создавать директории с датой в имени и хардлинки для файлов между ними. Но, если это будет происходить средствами ФС, то хорошо.

P.S.: Памяти 32 ГиБ, Error Correction Type: Multi-bit ECC, что для ZFS должно быть вполне хорошо.
P.P.S.: Может быть какой туториал посоветуете?

 , , , ,

ls-h
()

Перепись freebsd'шников

Форум — Talks

В этом месяце еще не было. Виндо-бояр уже переписывали, линуксуалов вроде бы тоже, макобои и так на учёте стоят, поэтому сабж.

upd.

@iZEN

@mord0d

@Clockwork

@slovazap

@amd_amd

@andytux

@dsdqmhsx

@Keltir

@reprimand

@Minona

@IPR

@curver

@unC0Rr

@sparkie

@matcha

@frunobulax

@iron

@Daedalus

@Lordwind

@crypt

@zgen

@Grapow

@Slack

@filosof

@Wens

@bambie

 ,

chenbr0
()

FreeBSD на рабочем ПК

Форум — General

Последнюю неделю смотрю видео с канала Robo Nuggie на ютубе. Он так душевно повествует, как у него все хорошо работает на фряхе. Железо у него не новое, но отзывчивость на видео выглядит не хуже, чем на линуксе, особенно в 13 версии. Призываю тех, кто использует/использовал FreeBSD. Расскажите в двух словах:

  1. сколько стоит времени завести FreeBSD на десктопе/ноуте 2-3 летней давности (проц ноута - ryzen 4700U - проверил тут - есть 3 пользователя), сетевуха RTL8111/8168/8411, аудио Advanced Micro Devices, Inc. [AMD] Family 17h (Models 10h-1fh) HD Audio Controller?

  2. как дела с энергоэффективностью на ноутах? На линуксе мой ноут держит примерно 7 часов просмотра 1080p 30fps по вайфаю в gnome. Можно расчитывать на близкий результат?

  3. есть ли ощутимая разница (отклик, стабильность, специфичные баги) по сравнению с линуксами при использовании FreeBSD для работы в Libreoffice, чтения интернета в Firefox, просмотра почты в Thunderbird, просмотра видео 2-4К h264/h265/vp9 через mpv/vlc, рисования в Gimp?

  4. есть какие-то инструменты, чтобы завести winbox (виндовая гуевина для работы с роутерами MikroTik) на FreeBSD? На линуксе под вайном отлично работает.

  5. есть что-то близкое к kvm по производительности виртуализации, если нужно засунуть линукс/винду в виртуалку и делать там что-то с гуями?

 ,

Akkozen
()

Вирутализация: когда не рекомендуюется использовать контейнеры, а рекомендуют VM

Форум — General

Привет.

Практически во всех статьях про сравнение контейнеров и VM, всё сводится к тому, что контейнеры по всем параметрам лучше. И тогда не понятно когда и зачем использовать виртуалки.

В каких случаях противопоказано использовать контейнеры, а следует использовать именно виртуальные машины?

 , , , ,

Kroz
()