LINUX.ORG.RU

Экономное зеркалирование репозитариев Linux


0

1

Когда на предприятии требуется обновлять множество Linux машин, как правило, создают полные зеркала репозитариев, что требует загрузки большого объема данных. Однако в большинстве случаев все пакеты из репозитария не нужны, т.е. при классическом зеркалировании происходит загрузка ненужных пакетов, что "ударяет" по кошельку предприятия.

Для создания "экономных" зеркал репозитариев предлагается использовать сетевую виртуальную файловую систему с кешированием - LftpFS. Она основана на FUSE и всем известном консольном клиенте LFTP, который поддерживает необходимые протоколы FTP, HTTP и работает через различные виды прокси-серверов.

Технология следующая: монтируем каталог репозитария посредством LftpFS (см. документацию), настраиваем доступ по FTP в этот каталог для Linux машин, ну и настраиваем обновление машин с этого ресурса.

В итоге: все машины видят листинг репозитария и загружают только необходимые пакеты, при этом загрузка пакетов происходит один раз с учетом кэширования. Экономия на лицо!

>>> Подробности



Проверено: Shaman007 ()

Ответ на: комментарий от r

На Дальнем Востоке, к примеру. Тут понятия как безлимитные тарифы вообще нету (от 1.53 до 2.00 рэ за мегабайт).

propheta
()
Ответ на: комментарий от r

> Существует много чего. Пользуйся релизами дистров - там будет минимум ошибок. Он для того вообще и оформляетсмя как релиз. Апдейт делай массовый при выходе следующих версий.

Как раз в релизах-то ошибок как раз больше, чем в последующих обновлениях к релизу. В другом мире живёшь?

> Ага - на локальных линкс-десктопах. Им очень важны эти проблемы безопасности в апаче и пыхе.

Десктопов на работе почти нет, зато есть пара-тройка терминальных серверов, кроме прочих.

> Держи. У тебя его ферма держит из ста выставленных голым задом в инет серверов? Да еще держит на таком дерьмовом и дорогом канале? Меня это просто поражает такой противоречивый набор аргументов - сначала инет дорогой и спутники не ловятся, а потом сайты на этом же инете.

А про канал свой я ничего не говорил. ADSL, входящий 2MBit, но на всех одновременно ломящихся уже давно не хватает, и прокси тут помогает мало. Каждый входящий мегабайт стоит денег, которые на интернет государство давать не желает. Исходящий трафик бесплатный - так нам теперь сайт закрыть?

> Аааа - ясно. Вывод - 3 сервака которые нужно обновлять и остальное что обновлять не нужно по причине того что нужно переставлять. Зеркало не нужно.

Т.е. "3" (по твоим подсчётам) сервака обновлять нужно, но без частичного зеркала, и качать всегда из инета?

Не надо другим навязывать своего мнения. Я ведь не говорю, как тебе у себя делать, правда?

У нас своё положение вещей, которое "зажравшиеся" не понимают.

ximeric
()
Ответ на: комментарий от r

>Во вторых ты пока изложил противоречивый сценарий - с одной стороны у тебя apt download-only - ты потом будешь бегать по тачкам и все ставить?

Это совершенно другая задача. Я предполагаю, что клиенты сами ставят пакеты или им по утвержденной процедуре ставят то, что им надо. У меня вот, минимум, три компа дома + сервер. Я не хочу каждый раз ждать, пока там апдейты выкачаются. вот у меня выбор - зеркало с обновлением по расписанию или такой кеш.

Если надо делать автоапдейт клиентов, то понятно, что это будет вообще не зеркало, а совершенно отдельный репозитарий с ручной проверкой и обновлением единичных пакетов только по самой крайней нужде. При чем тут вообще зеркало?

AVL2 ★★★★★
()
Ответ на: комментарий от ximeric

>Как раз в релизах-то ошибок как раз больше, чем в последующих обновлениях к релизу. В другом мире живёшь?

Не знаю как у вас а в цивилизации релизом называется то что достигло работоспособной фазы так что людям пожно дать/продать. Особенно что касается операционок. А обновления - это исправления ошибок и есть.

>Исходящий трафик бесплатный - так нам теперь сайт закрыть?

Ты для обновления одного сайта зеркало делал для выхода этой либы? Нет? А теперь ее поставишь? Ну попробуй. Похоже никто из защитников даже по ссылкам не сходил, а не то что попробовать.

r ★★★★★
()
Ответ на: комментарий от AVL2

>При чем тут вообще зеркало?

>Когда на предприятии требуется обновлять множество Linux машин, как правило, создают полные зеркала репозитариев...

Текст новости. Для твоего случая зеркало естественно не при чем. Я что - против кешей принципиально выступаю? Я просто говорю что эта либа ниразу не замена ситуации когда люди дохзодят до создания зеркал.

r ★★★★★
()
Ответ на: комментарий от r

НАписал бы автор не бредовый вариант обмена шила на мыло, а что вышла fuse ftpfs - был бы ему респект и уважуха, а так... что то типа "замена rpm на zip который тоже может сжимать файлики".

r ★★★★★
()
Ответ на: комментарий от r

> Ты для обновления одного сайта зеркало делал для выхода этой либы? Нет?

ПисАл выше. Самописный скрипт, обновляющий нужные мне пакеты.

> А теперь ее поставишь? Ну попробуй.

Если определю подходящую ситуацию, то поставлю. А пока положусь на твой анализ исходников ;-), и для зеркала пакетов делать не буду. Не устраивает зависимость доступности зеркала от доступности источника.

В открытых проектах важнее выстрелить начальной реализацией идеи, а потом уже допиливать и оптимизировать, т.ч. ещё не вечер.

> Похоже никто из защитников даже по ссылкам не сходил, а не то что попробовать.

Почему же? На страницу проекта я зашёл сразу. Кстати, защищал не этот проект, а локальные зеркала в организациях.

ximeric
()
Ответ на: комментарий от AcidumIrae

>> повторюсь, если предприятию критично 1000 уе на инет, то это не предприятие, а soho какое-то :)

Всё больше убеждаюсь в том, что около 80% форумчан-писателей на ЛОРе - школьники. Т.к. уже на 1-2 курсах института начинают преподавать экономику. Мало того, что школьники учат жизни - так эти школьники ещё и не работают. Максимум - поддерживают пяток писюков в школьном классе информатики.

1. Любое обеспечивающее подразделение в коммерческой организации - бухгалтерия, юристы, сантехники, компьютерщики - занимается НЕ зарабатыванием денег, а СОКРАЩЕНИЕМ ИЗДЕРЖЕК. В части ИТ - сокращение издержек на услуги связи в том числе. 2. Канал в Инет - это не только и даже не столько способ проапдейтить компьютеры, сколько сечас столь же критичный для Основного Бизнеса сервис, как телефония. В некоторых компаниях - даже значительно более критичный. И если такие горе-админы будут думать только о ущербности гендиректора, которому жалко какую-то штуку грина, то на их место найдут другого сисадмина, более толкового.

Задачка для школьников. Средняя контора с годовым оборотом в 84 млн. баксов имеет суммарно 500 хостов, требующих апдейта. Один общий апдейт на 10 МБ. Суммарный трафик - 5 ГБ. Контора имеет доступ в Инет 512 кбит/с. Т.е. за секунду принимаются 64 кбайт. Получается примерно 78 тыс. секунд, или 1300 минут, или 21 час. И всё это время контора "курит", дожидаясь, пока криворукий сисадмин проапдейтит весь свой парк машин?

Wbr, Saigak.

anonymous
()
Ответ на: комментарий от AVL2

>Во первых, зачем сразу обновление? man apt на предмет опций download-only. Для yum придется взять список, чего он там запросил и поставить в очередь самому.

для yum-downloadonly можно ставить

типа yum-downloadonly.noarch 1.0.4-3.el5.centos.2 base

ilnurathome
()
Ответ на: комментарий от r

за что люблю западеньских дебилов, так за свою непробиваемую тупость и идиотизм.. Первое, даже вукраине легко можно найти города, где мег стоит 120гр/мег, и никаких безлимитов. второе - все же сайт ру, в не Ридна украина, думать надо... желательно мозгами...

anonymous
()
Ответ на: комментарий от r

>ы интересно - эта штука - это FS. как ообще сеяб поведет mount этого дела если источник недоступен? ;))

>посмотрел исходники - не смонтируется. То есть зависимость локальной файловой системы от связи с источником - полная. Что вполне логично для FTPFS. И совсем нехорошо для зеркала.

man yum.conf

baseurl=url://server1/path/to/mountpoint url://server1/path/to/cachepoint

biakus
() автор топика
Ответ на: комментарий от r

>Никакого хендлинга открытия одного и того же файла двумя процессами одновременно не нашел. Как 2 процесса смогут открыть файл который не в кеше? Они конкурентно будут писать его в кеш? Один дописал 99 мегабайт из 100, второй тут же затрет и начнет заново и они намусоряд друг другу и вообще выпадут с ашипками?

А где вы увидели многопоточный режим? man Fuse

>Плюс по коду - очень фиговая практика вот так писать >каждый lftp_getattr - это ползанье по FTP. Мало того что операция неатомарна (а вдруг файл там как раз меняется) так еще и одни и те же данные получение которых очень дорого получаются много раз. У этой файловой системы будет "скорость ах%@вающая" (C) Лесь Подеревьянский. И стабильность. Короче до "предприятий" проекту еще развиваться и развиваться.

если вы заметили, там используется кэширование

PS Одна из самых больших опасностей для человека - заблуждение..

Просьба к r больше не постить сюда, претензии по коду на форум проекта.

biakus
() автор топика

1. Безлимит в Москве есть, но стоит 20к$ за 100Mbit в месяц, так что решайтесь, кто может позволить. 2. Ситуация в России с интернетом и телефонией - говно, говно и ещё раз говно. 3. Проксирование трафика вообще не отменялось, но и создавать репозитарий нужно. к примеру: 1. Репозитарий баз антивиря, он каждый день качает базы и добавки к базам, ну прокси нам в помощь ибо объем в 10-20 Метров в нем хранить реально. 2. Вот допустим у мну генту, и я переодично ставлю её на тачки, каждый раз качать сырцы, ну уважьте, с кедами и оо сырцов будет на 600 метров, и это минимум, если по хорошему, то сырцы переваливают за 1.5Gb достаточно часто, т.е. если я ставлю с 10 машин в месяц - жопа, зачем мне 10 раз качать OO, если я могу использовать nfs. 3. В конторе (гос. учреждении) при количестве M$ машин в 100 штук, неизбежно возникнет проблема, что машина в месяц на антивирь и update тратит по 300-400 Метров, итого без помощи сп. программ типа wsus имеем 30-40 Gb инфы, которая уходит в никуда.

icegreg
()
Ответ на: комментарий от icegreg

для справки - укрАина, Одэсса 20$ за мегабит...

Есть ли жизнь за мкадом? :D

GH
()
Ответ на: комментарий от AcidumIrae

>не плачьте пожалуйста. возьмите спутник. я летом на даче пользую сезонный пакет и не плачу ;)

так ведь рассеею спутники то облетают стороной!

aydef
()
Ответ на: комментарий от anonymous

>если операционные расходы это 1000$, то моя зарплата ровно настолько-же меньше. Терять 12 000 $ в год из-за какой-то ..ни, я себе позволить не могу

а для диких стран есть винда.

aydef
()

И чего только не изобретут чтобы не пользовать AFS...

cvv ★★★★★
()

У кого-нибудь модуль перловый Fuse для этой штуки собирается?

anonymous
()

Неповторимый и качественный ремонт офисов, строительство коттеджей - всем советую!!! Это просто невероятное качество работы, до сих пор им благодарен. Подробнее http://www.kitish.ru

kitish
()
Ответ на: комментарий от kitish

В Ринстрой скидки на все строительные леса, бетоносмесители, вышки-туры. До конца зимы. Подробнее http://www.rinstroy.ru

kitish
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.