Честный стресс-тест Bitrix

[Lazy Badger]

Есть у меня желание провести честное стресс-тестирование свежего Битрикса (а не то, что мутил QSoft).
Что подразумевается под "честное"
- Используется сервер, реально доступный SME-клиенту
- Не используются сакральные знания о настройке используемых компонент, только те, что применимы в отношении "нормального админа"
- MySQL backend (My и побыстрее, и думается, что используется значительно чаще...)
- Структура сайта отражает некое усредненное состояние  "сайта компании" (не только RO страницы со статикой, но и немного "вебдванольности" - типа есть шоп, комменты к статьям, форум...)
- Популяция имитируемых пользователей более-менее соответствует реальному распределению их на сайте
- результат: диаграммы, показывающие некие замеряемые и ощущаемые в реальном мире параметры (время ожидания, количество и % ошибок)

Мне лично не хватает тазика, соответствующего п.1, и живущего в локалке хоть из двух хостов...
Со своей стороны могу пообещать сценарий, который достаточно только запустить в тестилке... и дождаться результатов... Ну и интерпретацию цифр, если кому-то эдакое потребуется

[Сергей]

Может еще какие cms необходимо потестировать ? А то брать сервак под одну как-то неразумно, а завалявшихся у посетителей форума как-то не появилось. 

[Lazy Badger]

Оно понятно, что брать под один тест - это разврат...
Лично у меня интереса в таких данных нет, да и никто же кроме Битрикса такой тест (и на такой подозрительной базе) не проводил...
Может быть стоит задать этот вопрос вендорам, играющим примерно в том же сегменте рынка? но я не знаю, что у нас предлагается массово в качестве альтернативы Битриксу... Уми, Або, Неткаты-сбилдеры?!

[edogs]

Оно понятно, что брать под один тест - это разврат...
Лично у меня интереса в таких данных нет, да и никто же кроме Битрикса такой тест (и на такой подозрительной базе) не проводил...
Может быть стоит задать этот вопрос вендорам, играющим примерно в том же сегменте рынка? но я не знаю, что у нас предлагается массово в качестве альтернативы Битриксу... Уми, Або, Неткаты-сбилдеры?!

1) какой тазик нужен? на какое количество времени?
2) у битрикса будет стандартная отмаза "это кривые настройки сервера а вот если бы..."
3) есть смысл (имхо) только если провести тест паралельно нескольких цмс, не обязательно из одного сегмента рынка кстати. мы например не против увидеть жумлу против мамбы против хупса и прочая и прочая, да заодно и сравнение форумов
4) Если кто-нибудь предоставит п.1 он может рассчитывать на что-то взамен при условии выполнитель теста  напряжется и выполнит п.3

[Lazy Badger]

1) какой тазик нужен?

Чесслово, точно - не знаю... Есть у меня только ощущения, что обыковенный пользователь не будет брать Крафтвэй описанный для "поставить на коло"... А что будет - конечно лцчше спросить у реальных людей, а не гадать...

на какое количество времени?

Не зная количество сценариев, сразу не сказать... Навсидку и с очень лихим допуском - по 1 часу на сценарий (я когда тестил, мне для понимания разницы между 1 тысячей юзеров и 6 хватало и 15минутных прогонов на каждом количестве)

2) у битрикса будет стандартная отмаза "это кривые настройки сервера а вот если бы..."

Если первоначальная настройка делается не юными пионерами, а вменяемыми админами, давно в этом (хостинговом) бизнесе живущих, то я скорее отвечу 1. "А пох... если он так не сделали, то скорее всего никто так бы не сделал" 2. "А в нашей настройке - это реально живущий, а не идеальный"

3) есть смысл (имхо) только если провести тест паралельно нескольких цмс, не обязательно из одного сегмента рынка кстати. мы например не против увидеть жумлу против мамбы против хупса и прочая и прочая, да заодно и сравнение форумов

Возможно, но моя первоначальная мысля была, прочитавши про естирование QSoftа, сказать "Да... результат вот при таких-тои таких условиях подтверждается" или "Соврамши, судари, потому что..." Про многосистемный тест не думал, ибо это несколько иная постановка задачи (я не возражаю против нее, просто поясняю, что у меня было за пазухой)

4) Если кто-нибудь предоставит п.1 он может рассчитывать на что-то взамен при условии выполнитель теста  напряжется и выполнит п.3

Вероятно :-), вопрос только что это "что-то"

[edogs]

1) Мы бы тогде _предположили_ что пентиум 4, 1Гб памяти и 2 винта в рейде это окей. По крайней мере мы бы под свои проекты нечто вроде того брали бы если бы в реале хотели бы. И двое наших знакомых именно с таких серверов начинали, а не более дешевых.
2) Дык в том и дело. А прийдут "хозяева цмс" и скажут "ну и что что у вас там 100 лет в хостинговом бизнесе, он не сертифицированный нами специалист и не наш, а вот наш бы настроил как положено под конкретную задачу и всех уела бы наша цмс". И при чем возразить-то особо нечего будет, потому что такая ситуация сама по себе вполне вероятна, разные цмс дейсвтительно при бошлшой посещаемости могут требовать разных настроек. Тут наша мысль в чем - тест надо проводить так, что бы не было таких отмазок, но вот как это сделать - вопрос.
3) Честно говоря результаты теста qsoft-а не показались нам настолько выдающимися что бы их стоило опровергать. Исходя из того описания что мы увидели. Если мы правильно помним - все выключив получили на крутейшем сервере 4 ляма хитов. Можем конечно ошибаться, но разве это достижение?

[Lazy Badger]

Мысли по пунктам
1. Я бы предложил 2 гига (потому как с тем что выше 2, работа идет зело странно, а LAMP лишний гиг попользует хорошо - кэш My побольше, опять же побольше процессов Апача in-memory)
2. Наш ответ "а тестируются реальные условия, а не идеальные, которые бывают раз на 100"
3. Кусофтовские результаты преподносятся как "как два байта переслать достижимые любыми в нашей CMS", а то, что тестируемый к реальной жизни отношения не имеет  - старательно маскировалось... И именно это и вредно

[edogs]

2. Наш ответ "а тестируются реальные условия, а не идеальные, которые бывают раз на 100"

Но это же не отменит аргумента "именно для реальных и должен был настраивать сертифицированный специалист от битрикса, а так Ваш тест был проведен в синтетических условиях настройки сервера, вместо правильных от производителя".

3. Кусофтовские результаты преподносятся как "как два байта переслать достижимые любыми в нашей CMS", а то, что тестируемый к реальной жизни отношения не имеет  - старательно маскировалось... И именно это и вредно

Честно говоря нас настолько не впечатлили результаты теста сами по себе, при том что они были сбацаны по инициативе самого битрикса, что мы не видим смысла их опровергать. Они не настолько хороши.

[Lazy Badger]

11 с хвостиком хитов в секунду - это много, это очень много

[Lazy Badger]

На сайте qsoft взял на прочтение "Отчет по нагрузочному тестированию Oracle-версии продукта «Битрикс: Управление сайтом»" - крайне увлекательное чтиво, и куда интереснее пресс-релиза.
У них поверх Апача работал nginx, но даже с ним (цитата)

Нагрузочное П.О. (OpenSTA) генерирует N нагрузочных потоков (N=350 для редакции «Бизнес» и N=700 для редакции «Старт»)

Дальнейшее увеличение числа потоков не приводит к увеличению количества обрабатываемых запросов в секунду, а приводит к увеличению времени отклика.

что в переводе на русский звучит так "мы держим максимум столько вот юзеров параллельно, а дальше начинается деградация производительности"

Ну и мелкий прикол из сферы "тестовых цепочек" - я не нашел при их просмотре ни одного POST запроса, одни GET, что сильно легче обрабатывается (и быстрее...)

Ну и финал Отчета (показателен)

Данная таблица наглядно демонстрирует, что Oracle-версия «Битрикс: Управление Сайтом - Бизнес» (в тестируемой конфигурации) может быть применена на проектах занимающих 16ую (и ниже) позицию в рейтинге Rambler.Top100.

[edogs]

На сайте qsoft взял на прочтение "Отчет по нагрузочному тестированию Oracle-версии продукта «Битрикс: Управление сайтом»" - крайне увлекательное чтиво, и куда интереснее пресс-релиза.

Дык мы об этом и говорили в этом топике.
Что результаты тестирования не настолько бодрые что бы стоило заморачиваться с их опровержением, достаточно прочитать что происходило на самом деле и не смотреть на абсолютные цифры.
К тому же в раньшей теме тут же на форуме этот вопрос уже подымался, когда еще nessy там нуждался в пиаре.

11 с хвостиком хитов в секунду - это много, это очень много

Точно? На обычных хостингах "хупсы, нюки и джумлы" выдают 0.09 генерацию страницы, это те самые 11 с хвостиком хитов в секунду. С нашей (в данном случае чайниковской) точки зрения это означает что хостинг даже с "мамбой" (при КУЧЕ разных сайтов на сервере и конфиге совсем не топовом зачастую) может выдать те же самые 11 с хвостиком хитов, ибо за 0.09 секунды он успевает полностью обработать запрос и готов к следующему... а ведь можно еще паралельно:)

[Lazy Badger]

На обычных хостингах "хупсы, нюки и джумлы" выдают 0.09 генерацию страницы, это те самые 11 с хвостиком хитов в секунду.

Это как-бы совсем не так... и просто на цифры смотреть тут не надо, там есть немного более разнообразных гитик...

[edogs]

На обычных хостингах "хупсы, нюки и джумлы" выдают 0.09 генерацию страницы, это те самые 11 с хвостиком хитов в секунду.

Это как-бы совсем не так... и просто на цифры смотреть тут не надо, там есть немного более разнообразных гитик...

Не можем согласиться, "просто на цифры" мы бы не смотрели если бы при генерации 1 секунду цмс держала бы 10 хитов в секунду, тогда да - паралельная обработка со всеми вытекающими гитиками. А 10 хитов в секунду при 0.1 генерации это по сути последовательное выполнение.

[Lazy Badger]

Пустите сто юзеров в параллель, и посмотрите на снижение времени отклика... и не по тому, что они пишут, а реальными стресс-тестилками