Если бы это был Плоский Мир, сервер Транквилити был бы Великой А’Туин, Гигантской Звездной Черепахой, на которой зиждется все существующее. Но это Eve Online. Укрытая в том, что признано самым большим суперкомпьютером игровой индустрии, это изобилующая бандитами целостная вселенная Нового Эдема (New Eden). Согласно его создателям, CCP, чудовищный серверный кластер в Лондоне имеет 3936Гб ОЗУ, 2574Ггц процессорной мощности и оборудование военного класса.

Транквилити не сразу был таким, в течение более десяти лет он вырос из «нескольких компьютеров» в громадину размером со школьную аудиторию, проглатывая новые технологии и эволюционируя, чтобы отвечать требованиям полумиллиона игроков, живущих во вселенной Eve. Главный технологический инспектор CCP Халлдор Фаннар (Halldor Fannar) объяснил, как появился один из самых больших игровых суперкомпьютеров.

«Изначально мы начали проектировать [Eve Online] в 2000, когда важной проблемой интернета была задержка. Чтобы бороться с этим, мы спроектировали эти прокси, которые мы собирались расположить по всем миру чтобы кешировать информационные запросы по рыночным ценам и т.п., просто чтобы уменьшить задержку».

Идея была озвучена, но признана совершенно не обязательной. Ко времени выпуска CCP Games Eve Online в 2003, задержка стала не смертельной проблемой, а мелким неудобством. «В результате мы собрали все эти прокси в одном датацентре с сервером. Довольно интересно, как всё поменялось, как только мы запустились. В итоге мы получили все узлы сервера в одном месте, тогда как до этого мы планировали расположить их по всем миру».

Рост продолжался. В начале CCP Games планировали около 100 тысяч подписчиков, число, соответствующее примерно 20000 одновременных пользователей. Не стоит и говорить, эти планы рухнули. Количество игроков продолжает расти сверх изначальных ожиданий.

«Нам пришлось многое поменять». Халлдор вспоминает прошлое. «Нам пришлось взять службы, которые были связаны вместе и жили вместе на одном узле и разделить их, чтобы их можно было запустить независимо и, возможно, выделить отдельное железо для работы специфических служб.»

Приводя в пример рыночные узлы и узлы персонажей («Не планировалось так делать, но раз уж есть так много персонажей и так много людей, которые хотят получить доступ к скиллам -»), Халлдор объясняет что сейчас основной практикой является идентификация активно используемых служб и разделение их, это более сложный процесс, чем кажется.

«Вы не захотите разделять службу которая всё ещё будет много общаться с другой службой. Потому что тогда, конечно, вы перенесете её, но вы всё равно получите узкое место в коммуникациях между этими двумя службами».

Пока команда продолжает работать над переносом служб «высокой локальности» (служб, которым не требуется постоянная связь с другими службами) и применять веб-технологии сходные с теми, что используются в Facebook, сам кластерный сервер продолжает эволюционировать. Как живой объект, Транквилити постоянно ассимилирует новые технологии и избавляется от устаревших частей — с помощью человеческих рук, конечно.

«Когда технологии становятся лучше, становится лучше серверное оборудование. Иногда мы можем упростить ситуацию и заменить несколько компьютеров одним, который имеет несколько процессорных сокетов и несколько ядер».

Наибольшая проблема, согласно Халлдору, удостовериться что улучшения не вызовут в дальнейшем больше проблем. «Нам надо быть осторожным, потому что иногда вы можете взглянуть на наши проблемы и сказать, „Эй! Вам надо всего лишь сделать вот так!“, но это решение может быть более технологически сложным или тяжелым в поддержке. Наша база кода постоянно развивается и, на самом деле, вопрос поддержки ключевой. Если что-то сложно поддерживать, мы обычно не идем этим путем и выбираем тот, что возможно будет эффективен только на 80%, но легок в поддержке».

Один из ключевых компонентов Транквилити это его долговременный слой, основа, которая содержит очень много дневной активности Нового Элема. В целом, он содержится в твердотельных дисках, купленных в 2009 в Texas Memory System.

«Забавно было что в тот период эта технология существовал только у военных, поэтому нам понадобился военный допуск в бункер в Техасе, чтобы оценить оборудование, потому что компания тогда только начала искать пути коммерциализации этой штуки, которую они сделали для армии США. Мы были одними из первых клиентов и они подумали что это забавно, что они продвигаются от создания вещей для армии к чему-то такому легкомысленному».

С ухмылкой, Халлдон добавляет: «Конечно, мы сказали им, что Интернет-звездолеты — это серьезный бизнес».

Перемотав на сегодняшний день, мало кто может искоса взглянуть на Транквилити. Халлдор говорит, что поставщики оборудования рады работать с CCP Games, потому что их условия работы «достаточно уникальны» — преуменьшение, сделанное, потому что большая часть суперкомпьютеров обычно ориентированы на задачи связанные с работой. Строгая приверженность к оптимизации это то, что позволяет Eve Online функционировать как хорошо смазанному механизму, и это сложнее чем это звучит.

Если другие разработчики согнулись бы под тяжестью события «Горящей Житы», CCP Games решает переместить солнечную систему на отдельный узел («Наш специальный узел-снежника, как мы его называем», серьезно говорит Халлдор). Затем, после достижения предела, они замедляют время основываясь на количестве игроков присутствующих в бою. Технология работает. Игроки EVE Online получают войну, которую хотят, а CCP Games получает технологию, которую позже используют опять в Битве при Асакаи.

«Это пример сделанного нами усовершенствования. Битва при Асакаи не могла бы произойти без растяжения времени.»

Но CCP Games всё ещё не удовлетворены. Хотя у них есть аналогичные темные лошадки в загашнике, готовые к использованию, CCP Games намереваются быть на шаг впереди собственных игроков. «Одна из вещей, над которой мы работаем прямо сейчас, это алгоритм предсказания, чтобы мы могли анализировать все что происходит в мире. Если мы будем предупреждены хотя бы за 10 минут, мы сможем переместить симуляцию и запустить её на отдельном оборудовании.»

И если Skynet когда-нибудь станет правдой — мы знаем точно, кого в этом винить.

Перевод © dvigul

[#] 24.06.2013 @ 08:21 by FisherSlate
+ -1 -
2.5 терагерцовый монстр под игру - это уже по взрослому. ответить
[#] 24.06.2013 @ 09:47 by Nightheaven
+ 1 -
+1 ответить
[#] 24.06.2013 @ 11:09 by nikitasius
+ 3 -
Картинки евы и ни одной фотки из ДЦ, какой смысл публиковать-то :facepalm: ответить
[#] 24.06.2013 @ 11:44 by NEULO
+ 3 -
Сказали ничего не сказав. Да количество оперативы это конечно интересно, но с каких пор мощность кластеров стали измерять в сумме полученной из сложения частот всех ядер? То есть в ГГц? Вроде как производительность исчисляется в тера или петафлопсах сейчас?
Господа- нас считают гавном. ответить
[#] 24.06.2013 @ 11:46 by Eraser
+ 3 -
Пора и в России установить аналогичный сервер, чтоб независеть от Запада:) ответить
- [#] 24.06.2013 @ 14:10 by Dohlatina
+ 0 -
facepalm ответить
[#] 24.06.2013 @ 15:03 by Wolf HarpeR
+ 1 -
Поставить? да раз плюнуть. А устанавливать на него что? ;-) Нечто независимое от запада... Аллоды Онлайн, да?) ответить
- [#] 24.06.2013 @ 17:03 by Ekibana
+ -1 -
Захостить на нем роскомнадзоровский сайт. И пофиг, что ему такие мощности не нужны, зато какой простор для освоения бюджета на сервер. ответить
- [#] 24.06.2013 @ 18:31 by Eraser
+ -1 -
Ну у Китайцев же есть, почему нам нельзя? ответить
- [#] 24.06.2013 @ 18:41 by Wolf HarpeR
+ 2 -
Боже упаси чтоб у нас как у китайцев было... ответить
[#] 24.06.2013 @ 14:11 by NEULO
+ 6 -
Если я тебе скажу что в МГУ стоит монстр раз в 5 мощнее то тебе легче будет?) А вот отделяться от общего сервера глупо= как же мы америкосов нагибать будем? ответить
- [#] 24.06.2013 @ 18:30 by Eraser
+ -1 -
Да пусть для МГУ стоит их сервер, я же говорю о чисто игровом.
А америкосов и так сможем нагибать, сервер против сервера, ничего нового. Новый кластер со своей отдельной глактикой, например той же Землей обетованной.
И что думаете еще долго Российские разработчики смогут работать только на Запад? Когда у самих своих талантов куда больше, чем там. ответить
[#] 24.06.2013 @ 17:11 by corsaironline
+ 3 -
Долой Laumcher!! Игра снова не обновляется!! ответить
- [#] 26.06.2013 @ 15:16 by Вово4ка
+ 1 -
да блин Games\EVE\repair вытащи на раб. стол иконку и не парься, а запускают все игру давно уже из EVE\bin\ExeFile ответить
[#] 24.06.2013 @ 21:59 by Fattalist
+ -1 -
в житу вечером все равно не попасть
лучше бы код оптимизировали и выкинули бы винду, говнокодеры блин ответить
- [#] 25.06.2013 @ 06:54 by Ork31
+ 1 -
эт полностью согласен ответить
[#] 25.06.2013 @ 09:46 by Oskar
+ 2 -
Вокруг любого дела, от подметания улиц до управления страной, всегда обнаруживается толпа не учавствующих, но точно знающих что и как надо делать. Такие смешные. ^___^ ответить
- [#] 25.06.2013 @ 12:45 by Fattalist
+ 1 -
а я не говорю что и как надо делать
просто вижу, что есть аналогичные кластеры которые справляются с куда более сложными задачами, очевидно что разработчики что то делают не так ответить
- [#] 25.06.2013 @ 13:34 by Wolf HarpeR
+ -1 -
Так про то и говорится что потребитель никогда не сознает сложность потребляемого, но всегда знает как лучше, что делать и т.д. ответить
- [#] 26.06.2013 @ 00:48 by Fattalist
+ 1 -
осознаю, я работаю в этой сфере ответить
[#] 25.06.2013 @ 15:01 by Oskar
+ 1 -
Это какие такие "аналогичные кластеры"? ответить
- [#] 26.06.2013 @ 01:06 by Fattalist
+ -1 -
любой крупный веб-проект
просто обывателям цифры выше кажутся астрономическими
но мы сейчас на работе ставим 1-юнитовые сервера со 128гб памяти
3936/128 = 30.75
всего лишь одна стойка, еще сетевое железо влезет и место останется
еще интересно выражение "военного класса", первый раз слышу, чем военный класс отличается от обычного? где посмотреть критерии?
знаю только электронику военного назначения, но там обычно упор делается на устойчивости к внешнем воздействиям
это просто пускание пыли в глаза юзерам для которых кор и7 и 32гб суперкомпьютер
а вот в житу по вечерам сложно попасть и вот это фейл, ладно большие битвы с участием 4к кораблей
но когда я вижу пробку перед гейтом из нескольких сотен игроков, становится грустно
так что не вижу смысл хвастаться убер-железом, наоборот должно быть стыдно, что оно не справляется с одной локацией в игре ответить
- [#] 26.06.2013 @ 08:44 by Oskar
+ -1 -
"любой крупный веб-проект" - плохой пример ответить
- [#] 26.06.2013 @ 10:56 by Wolf HarpeR
+ 1 -
Любому крупному веб-проекту, даже с учетом других существуютх онлайн-игр, не приходится сталкиваться со столь огромным количеством вычислений как в целом по игре, так и в рамках одной локации (системы, в нашем случае). Если уж на то пошло, то в ЕВЕ в одной системе часто больше человеков, нежели в другой онлайн-игре на целом сервере. ответить
- [#] 26.06.2013 @ 10:59 by Wolf HarpeR
+ 0 -
А за все существование EVE есть лишь одна вещь за которую CCP взялись - и не справились. Это особенности дополнения Инкарна. Увы, забросили развитие этого направления, хотя было бы приятно и перспективно... ответить
[#] 27.06.2013 @ 01:12 by Fattalist
+ 1 -
почему же?
у того же вова гораздо больше игроков и серверов, там очень редко лагает
то что там много серверов, а в еве единный мир не важно
в еве звездные системы разнесены по разным серверам,
тоже самое получается
и вот тут вылезает небольшой косяк, сервер вова без проблем справляется с 2500 народа
в то время, как жита (которая полностью вынесена на отдельный сервер, где очень много чего убрано, по сути только торговля идет) при 2000 уже лагает
на сколько мне известно лагает база данных, у них MSSQL, некоторые выводы можно сделать, но это скорее гадание на кофейной гуще будет ответить
- [#] 27.06.2013 @ 05:46 by Wolf HarpeR
+ 1 -
Сервер ВоВ тоже будет лагать если >2000 соберутся в одной локации. ответить
[#] 26.06.2013 @ 17:55 by RipGeneral
+ 1 -
Я хочу спросить ева работает по принципу чат комнаты или как ?Почему они не могут скалировать размер этой комнаты до 1 го грида? ответить

Написать комментарий
 
EVE Online and the EVE logo are the registered trademarks of CCP hf. All rights are reserved worldwide. All other trademarks are the property of their respective owners. EVE Online, the EVE logo, EVE and all associated logos and designs are the intellectual property of CCP hf. All artwork, screenshots, characters, vehicles, storylines, world facts or other recognizable features of the intellectual property relating to these trademarks are likewise the intellectual property of CCP hf. CCP hf. has granted permission to EVE-RU to use EVE Online and all associated logos and designs for promotional and information purposes on its website but does not endorse, and is not in any way affiliated with, EVE-RU. CCP is in no way responsible for the content on or functioning of this website, nor can it be liable for any damage arising from the use of this website.