LINUX.ORG.RU

Highload++ — конференция разработчиков высоконагруженных систем (Москва)

 , ,


1

1

28 октября, уже в седьмой раз, стартует «Highload++» — крупнейшая в России, да и во всей Европе, седьмая профессиональная конференция для разработчиков высоконагруженных систем.

В секции баз данных выступают Петр Зайцев (Percona), Монти (Monty), Олег Бартунов, Федор Сигаев, Илья Космодемьянский, Константин Осипов.

Константин Осипов расскажет про современные алгоритмы хранения данных на диске: LevelDB, TokuDB, LMDB, Sophia; а Alvaro Videla — про внутреннюю архитектуру RabbitMQ. AdRiver раскроет тему о хранении и обработке 60 тысяч событий в секунду, а Одноклассники — об обработке миллиардов записей в статистике этой социальной сети.

Поиск представлен уникальной технологией мультитерабайтного Sphinx-кластера, 2ГИС рассказывает про вертикальный поиск, а Mail.ru про организацию их собственного полнотекстового поискового движка.

Также в программе сравнение производительности NoSQL баз данных, распределённых файловых систем, тестирование производительности DNS-серверов, расчёт аппаратной нагрузки highload-проектов, вопросы безопасности, целый блок докладов про правильную организацию API.

>>> Подробности

★★★★★

Последнее исправление: unfo (всего исправлений: 3)

Новый урожай технологий хранения данных созрел? :)

aist1 ★★★
()
Ответ на: комментарий от asaw

Вроде на заре этой конференции была конференция Highload, которая потом разделилась на Highload и Highload++, после чего первая вроде бы зачахла, а вторая осталась.

Reset ★★★★★
()

И ни где никакой информации о цене. Это хороший показатель качества организации. И он хорошо скажется на моём желании туда пойти.

Goury ★★★★★
()
Ответ на: комментарий от Goury

13 000 до 21 000 рублей

видимо окончательный ценник тебе вывесят после регистрации и скорее всего он будет равен 21т :)

Reset ★★★★★
()
Ответ на: комментарий от Reset

Мне не вывесят, я не хожу на представления маилру

Goury ★★★★★
()
Ответ на: комментарий от punya

правильно, надо сразу грузить в мозг через libastral

leave ★★★★★
()
Ответ на: комментарий от Reset

в создании системы максимально отзывчивой для пользователя. в этом деле уже давно узкое место фронтенд.

punya ★★
()
Ответ на: комментарий от punya

Фронтенд всего лишь отдает текст, какая разница что там? Или ты имеешь ввиду рендеринг на самом браузере?

Reset ★★★★★
()
Ответ на: комментарий от Reset

я имею в виду что серверу мешает фронтенд и калечные браузеры. вопрос в передаче и обработке данных. отсутствие http pipelining и поэтому 1 запрос/1 коннект, костыли comet, только недавно дали вебсокеты. передача данных только в текстовом виде и поэтому ненужная компрессия. только благодаря канвасу и файловому апи (!) появились возможности принять и обработать бинарные данные : uint8, BinaryFileReader и тд. css это вообще лютый капец. как только в css попал урл он тут же ставит его на загрузку. дизайнеры делают «спрайты» 5000х5000. и тд и тп.

но бэкендщики все еще думают что именно они являются узким местом в проекте. хех.

punya ★★
()
Последнее исправление: punya (всего исправлений: 2)
Ответ на: комментарий от punya

отсутствие http pipelining и поэтому 1 запрос/1 коннект

Это слабо связанные вещи. Современные браузеры через один коннекшен делают несколько запросов, но делают это последовательно (pipelining == параллельно).

костыли comet, только недавно дали вебсокеты. передача данных только в текстовом виде и поэтому ненужная компрессия. только благодаря канвасу и файловому апи (!) появились возможности принять и обработать бинарные данные : uint8, BinaryFileReader и тд. css это вообще лютый капец. как только в css попал урл он тут же ставит его на загрузку. дизайнеры делают «спрайты» 5000х5000. и тд.

Какую альтернативу ты предлагаешь?

но бэкендщики все еще думают что именно они являются узким местом в проекте. хех.

Потому что это так. Отрендерить выдачу того же гугла на порядки более простая операция чем её сгенерить.

Reset ★★★★★
()
Последнее исправление: Reset (всего исправлений: 1)
Ответ на: комментарий от Reset

Это слабо связанные вещи. Современные браузеры через один коннекшен делают несколько запросов, но делают это последовательно (pipelining == параллельно).

ей богу щас не хочу тебя обидеть, но хотяб википедию открой насчет этого понятия.

альтернатива проста. несколько сокетов открыл, планировщик их загрузки настроил. bson принял и передал. по таймауту сокеты можно закрыть чтобы не висели. http 1.0 вообще не задумывался что его так будут юзать.

Отрендерить выдачу того же гугла на порядки более простая операция чем её сгенерить.

я имею ввиду всякие «рич» сайты с которыми постоянно на работе мучаемся.

punya ★★
()
Ответ на: комментарий от punya

ей богу щас не хочу тебя обидеть, но хотяб википедию открой насчет этого понятия.

Ты сам то открывал? tcpdump'ом смотрел что делает браузер? http 1.1 сейчас используется, через один коннекшен делается несколько запросов.

альтернатива проста. несколько сокетов открыл, планировщик их загрузки настроил. bson принял и передал. по таймауту сокеты можно закрыть чтобы не висели.

Что лежит внутри этого bson? Что со скриптами? Со стилями? С версткой? Это не альтернатива, это вообще ничто.

я имею ввиду всякие «рич» сайты с которыми постоянно на работе мучаемся.

Ну это не highload о котором речь идет в сабже :)

Reset ★★★★★
()
Ответ на: комментарий от Reset

от pipelining толку нет пока его во всех браузерах не запилят. в хроме работает это да.

Что лежит внутри этого bson

данные, скрипты, стили, шаблоны всей верстки, шрифты. к сожалению картинки засунуть туда не получится т.к. css.

punya ★★
()
Ответ на: комментарий от punya

от pipelining толку нет пока его во всех браузерах не запилят. в хроме работает это да.

Я тебе не про pipelining говорю. Может откроешь википедию и запустишь tcpdump? Всё везде работает.

данные, скрипты, стили, шаблоны всей верстки, шрифты. к сожалению картинки засунуть туда не получится т.к. css.

Почему ты думаешь, что это будет лучше и быстрее чем text over gzip? Как быть со всеми браузерами? Переписать?

Reset ★★★★★
()
Ответ на: комментарий от Reset

Может откроешь википедию и запустишь tcpdump

открыл фф (проверил что pipelining по умолчанию отключен) и tcpdump. навалило 200 запросов. ничего другого кроме него для передачи http запросов через 1 коннект я не видел http://www.w3.org/Protocols/rfc2616/rfc2616-sec8.html

Почему ты думаешь, что это будет лучше и быстрее чем text over gzip

например нужно предоставить юзеру рамки, фильтры и тд перделки для редактора фоток. юзер хочет жать на перделку и мгновенно видеть результат => прелоадинг нельзя. все бзделки пойдут в виде base64 + компрессия. 20 метров получи и распишись. мобильный телефон нагибает неслабо.

punya ★★
()
Ответ на: комментарий от punya

навалило 200 запросов

а коннекшенов сколько?

через 1 коннект я не видел

почему 1? коннектов <= числа запросов. и что ты грузишь? у тебя сам сервер может соединение рвать, например тот же nginx в связке с proxy_pass по-дефолту работает фактически в 1.0 режиме, поэтому лучше тестировать на статике или вообще на самописном http, чтобы реально видеть сколько коннектов идет и кто инициирует закрытие соединения.

например нужно предоставить юзеру рамки, фильтры и тд перделки для редактора фоток. юзер хочет жать на перделку и мгновенно видеть результат => прелоадинг нельзя. все бзделки пойдут в виде base64 + компрессия. 20 метров получи и распишись. мобильный телефон нагибает неслабо.

применение преобразований где выполняется? что именно передается?

Reset ★★★★★
()

Обана. Мою заявку на доклад уже проанонсировали на ЛОРе, но еще не принял программный комитет самой конференции. Если не примут, то ни доклада, ни меня на конференции не будет. Извините, дорого.

anonymous
()

Ого, а я думал у нашей компании дорогие конфочки (до 9тр). Ошибался.

kovrik ★★★★★
()

наблюдается некое сезонное оживление

kto_tama ★★★★★
()
Ответ на: комментарий от punya

недавно дали вебсокеты

дали же

дизайнеры делают «спрайты» 5000х5000.

или внедряют картинки
или используют шрифты
или svg

Но вообще все не просто, да.

special-k ★★★★
()
Последнее исправление: special-k (всего исправлений: 1)
Ответ на: комментарий от nerdogeek

«Cборка мусора в Java без пауз» Только ради этого стоит сходить

1. Структуры данных вне кучи.

2. Приемы типа Javolution.

aist1 ★★★
()
Ответ на: комментарий от Reset

коннектов <= числа запросов

лень доказывать что 1/1 идет. но могу сказать что 100% - каждый аджакс запрос идет через отдельный конекшен. доказательство - существование comet. на прошлом проекте у нас был вагон запросов. очень сложная логика обработки данных. с помощью вебсокетов для нормальных браузеров мы ускорились в среднем в 5 раз.

punya ★★
()
Ответ на: коммент про видео от nempyxa

видео с прошлых конференций по-прежнему недоступно?

вроде нет, они его продают в виде лекции в формате учебного дня очно или через веб.

autonomous ★★★★★
()
Ответ на: комментарий от punya

лень доказывать что 1/1 идет

Доказать то чего нет невозможно :) Ты тут теоретизируешь, а я реально видел как оно работает

доказательство - существование comet

Ты опять путаешь теплое с мягким. comet нужен для push уведомлений, инициатором которой является серверная сторона. В классической модели узким местом является не число коннектов, а число запросов, так как надо самому _опрашивать_ сервер.

Reset ★★★★★
()
Ответ на: коммент про видео от nempyxa

Книгу лучше купи. Ну или скачай, думаю весь тираж уже распродан.

anonymous
()
Ответ на: комментарий от Reset

Ты тут теоретизируешь, а я реально видел как оно работает

я каждый день вижу как оно не работает. кто тут теоретизирует.

Ты опять путаешь теплое с мягким. comet нужен для push уведомлений

вырвал из контекста и щаслив. я тебе говорю что 20 аджакс запросов во много раз медленнее чем 20 запросов через открытый вебсокет. с тобой говорить как апстену бится.

punya ★★
()
Ответ на: комментарий от punya

я каждый день вижу как оно не работает. кто тут теоретизирует.

Ты не туда смотришь.

вырвал из контекста и щаслив

Не выдрал. Это не является доказательством, так как вообще не про то. Ты раз за разом подтверждаешь свой комментарий к нику :)

Reset ★★★★★
()

Зарегистрировался на он-лайн вместе с учебным днём

На кой? Who knows!

Woofywoof
()
Ответ на: комментарий от Reset

если tcp конекшен не закрылся после запроса то это http 1.1 persistent (keep-alive хедер). это использует comet для эмуляции постоянного соединения. если по этому конекшену браузер погнал другие запросы то это pipelining. другого не может быть. можешь ровнять свой метод измерения. создать церковь священного pipelining. это уже твое личное дело. развлекайся.

punya ★★
()
Последнее исправление: punya (всего исправлений: 1)
Ответ на: комментарий от punya

Ну хорош тупить уже. Пойди почитай свои же ссылки на rfc. Ты бред несешь. Сейчас открыл свой сервис на dojo, никаких comet у меня нет, pipelining в браузере тоже отключен (дефолт), зато есть опрос в цикле одной ручки, которая json возвращает. После загрузки страницы вижу netstat'ом 3 соединения в состоянии ESTABLISHED и 0 (!!!) в состоянии TIME_WAIT с моего ip. wireshark показывает аналогичную картину по открытию/закрытию сокетов.

Reset ★★★★★
()
Ответ на: комментарий от punya

Для справки: в HTTP 1.1 _все_ соединения являются persistent, если не указано обратного (Connection: close).

Reset ★★★★★
()
Последнее исправление: Reset (всего исправлений: 2)
Ответ на: комментарий от punya

офигенно и что теперь. у тебя в голове конекшен == сокет?

Внезапно!? Советую вместе с rfc проштудировать еще и Стивенса.

Reset ★★★★★
()

Завалишин будет косплеить Столлмана?

slackwarrior ★★★★★
()
Ответ на: комментарий от nerdogeek

«Cборка мусора в Java без пауз»
Только ради этого стоит сходить

Да ну! Они докажут что такое невозможно - ты раньше догадвался а теперь знаешь! Я те съэтономил 19 тонн, не благодари.

anonymous
()
Ответ на: комментарий от autonomous

продают видео

продают видео кривое - если представленный сэмпл - это лучшее, что есть. То денег за это платить наверно смысла нет никакого.

nempyxa ★★
()
Ответ на: продают видео от nempyxa

продают видео кривое - если представленный сэмпл - это лучшее, что есть.

я имел ввиду специальный день на котором они дают выжимку из прошлых конференций. они не выкладывают видео, скорее всего для того, чтобы народ покупал на этот день билеты по 100$ с человека.

autonomous ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.