Update zu den Probleme des europäischen und nordamerikanischen PC/Mac-Megaservers

ZOS_KaiSchober

Hallo zusammen,

Wir möchten euch ein Update zu den Probleme geben, mit denen ihr im Moment und insbesondere auf dem europäischen PC/Mac-Megaserver konfrontiert wird und die zu langen Ladezeiten, der Unfähigkeit, sich anzumelden, und anderen Probleme durch überlastete Server führen. Die Probleme begannen mit der Veröffnetlichung von Update 24 und wurden durch das momentan stattfindende Hexenfest noch verschärft.

Wir waren der Meinung, dass wir die Probleme, welche einige der letzten Spielevent beeinträchtigt hatten, unter anderem durch Serveroptimierungen und eine verbesserte automatische Gruppensuche in den Griff bekommen hatten, aber es war nicht ausreichend. Tatsächlich funktioniert die neue Gruppensuche gut, aber sie hat ein anderes zugrunde liegendes Problem aufgedeckt, welches dazu führt, dass bestimmte Teile unserer Server - insbesondere unsere Datenbankcluster - überlastet werden und schließlich nicht mehr reagieren. Aus diesem Grund haben am Freitag die Warteschlange wieder aktiviert und am Samstag einen Patch veröffentlicht, der einige Korrekturen für die Stabilität enthielt. Auch diese Korrekturen waren nicht ausreichend.

Wir haben einen weiteren Hotfix und wir werden in einer Wartung am Sonntagmorgen die automatische Gruppensuche vorübereggend deaktivieren.

Wir verstehen völlig, dass es unfair erscheint, dass der europäische Server weit häufiger betroffen ist als der nordamerikanische oder die Konsolenserver. Dies liegt daran, dass zu Spitzenzeiten hier die meisten Spieler gleichzeitig angemeldet sind. Die Probleme, die uns alle hier belästigen, treten vor allem bei den sehr hohen Einlogzahlen des EU-Servers auf - allerdings haben sie dann auch Auswirkungen auf Prozesse außerhalb der Primetime.

Angesehen vom Einsatz aller Ressourcen zur Identifizierung und Behebung des gegenwärtigen Problems, diskutieren wir auch zusätzliche Optionen, darunter auch die Verlängerung des Hexenfest um einige Tage. Wir informieren euch hierüber, sobald wir die Gründe für die momentane Serverinstabilität gelöst haben.

Wir bitten um eure Geduld. Die Situation behagt uns genauso wenig wie euch und wir setzen alles daran, sie so schnell wie möglich zu beheben.

Dosuul

Danke für die ausführliche Erklärung.

Sen_ps

Da weicht der vorletzte Satz dann doch kulturell passend von der englischen Vorlage ab

Werden die, hm, neuen Erkenntnisse mit in die Performanceverbesserungspläne mit einbezogen?

Alentarlixia

ZOS_KaiSchober schrieb: »

Wir haben einen weiteren Hotfix und wir werden in einer Wartung am Sonntagmorgen die automatische Gruppensuche vorübereggend deaktivieren.

Guten Morgen
Ich finde die Gruppensuche kann auch ausbleiben.
Erspart einem Faketanks

BaghiraSeneca

Ebenfalls danke und so nebenbei: SO ist Kundennähe. Dass man wenigstens weiß, was los ist. Hexenfest verlängern wird wohl ein Muss, denn wenn man die Ausfallzeiten berücksichtigt, ist das schon ein ganzer Tag, wenn man berücksichtigt, dass ein ganzes Wochenende verhunzt ist, wo manche (nicht dieser, aber er war auch einmal in dieser Situation) am ehesten von den Events profitieren könnten, kommen noch ein paar Unannehmlichlickeiten dazu.
Was dieser hier vorsichtig andeuten möchte: Verlängerung des Hexenfestes in ein Wochenende, um den Weekendcasuals die Möglichkeit zu geben, aufzuholen.

Gut. Dieser geht mit den kleinen Fellinen spielen und seinem Tagwerk nach, könnt ja sein, dass irgendwas mehr läuft als ein Ladeschirm.

BTW.: Lieber Kai! Man sieht an Deinem Text enorm(!), unter welchem (Zeit?)druck Du gestanden bist. Just saying.

Liebe Grüße aus Österreich.
Baghira Seneca, gelegentlich EU-Server (wenn er grad läuft)

Thorvarg

Wofür gibt es eigentlich die Testserver?

Krawallbambi

danke Kai für dein Feedback schönen Sonntag dir noch

PlayerNintendo5

Thorvarg schrieb: »

Wofür gibt es eigentlich die Testserver?

Zum testen?
jedoch treten manche Probleme erst unter vollast auf.

Nicolina1974

Danke für die Info.

Sakibure

Danke für die Informationen *thumb up*

Das sieht schon mal nach etwas mehr Transparenz aus...

Azurya

Danke Kai für dieser ausführliche Beschreibung.
Das beruhigt und bringt Verständnis von unsere Spielerseite.
Weiter so!

Arcon2825

Thorvarg schrieb: »

Wofür gibt es eigentlich die Testserver?

Der Testserver ist nicht dazu geeignet, Performanceprobleme aufzuspüren. Dazu ist das Interesse der Spieler am PTS viel zu gering, als dass man auch nur ansatzweise ein ähnliches Lastverhalten wie auf dem Live Server erreichen könnte.

Allerdings gibt es durchaus geeignete Testverfahren um im Last- und Performancetest sowohl Einzelkomponenten eines Systems wie auch ein Gesamtsystem so unter Last zu setzen, dass derartige Probleme vor einem Live Release identifiziert werden können. Um die Last korrekt zu simulieren, muss man allerdings auch wirklich das Lastverhalten der eigenen Anwendung sehr gut kennen. Hier bei ESO scheint mittlerweile nicht mehr wirklich ein Verständnis darüber vorzuliegen, wie die einzelnen Komponenten und Systeme zusammenarbeiten.

Ehrlich gesagt wundere ich mich immer ein bisschen, wenn ZoS behauptet, man hätte die Probleme nicht vorher entdecken können, denn genau für so etwas ist ein Last- und Performancetest da. Ich muss allerdings zugeben, dass er in vielen Softwareprojekten gemieden wird, so dass sich ZoS da in guter Gesellschaft befindet. Macht die Aussage jedoch auch nicht richtiger, dass man solche Probleme erst im Produktivbetrieb identifizieren kann.

Melethron

Der Testserver wird eben nur von einem Bruchteil der Spieler genutzt und kann daher kaum die Bedingungen auf dem normalen Server abbilden. Schon gar nicht, wenn auf dem normalen Server PrimeTime ist.

So frustrierend die Lage für alle sein mag, es ist schon erschreckend, wie nicht wenige Spieler solche Ausfälle als Freibrief ansehen, sich verbal komplett daneben zu benehmen. Dampf ablassen kann ich ja noch verstehen. Aber mit Beleidigungen um sich schmeißen und wilde Behauptungen in den Raum werfen ... Da fragt man sich schon, wenn die Leute nur könnten, würden sie dann auch zu Gewalt übergehen? Ich beneide Kai jedenfalls nicht, der den ganzen *** mit voller Wucht abbekommt.

Probleme wie die aktuellen sind keine Erfindung von ZOS. Totalausfälle der Server gab es auch schon bei EA und Blizzard.

CKomet

Arcon2825 schrieb: »

Thorvarg schrieb: »

Wofür gibt es eigentlich die Testserver?

Der Testserver ist nicht dazu geeignet, Performanceprobleme aufzuspüren. Dazu ist das Interesse der Spieler am PTS viel zu gering, als dass man auch nur ansatzweise ein ähnliches Lastverhalten wie auf dem Live Server erreichen könnte.

Wurden denn überhaupt mal ein Aufruf gestartet, damit man den PTS mal zu bestimm angesetzten Zeiten zum testen voll bekommt?
ich denke schon das es dann auch ein paar mehr Spieler geben würde, die da mitmachen. ist ja schließlich auch in deren Interesse, das die Liveserver vernünftig laufen.

Arcon2825

CKomet schrieb: »

Arcon2825 schrieb: »

Thorvarg schrieb: »

Wofür gibt es eigentlich die Testserver?

Der Testserver ist nicht dazu geeignet, Performanceprobleme aufzuspüren. Dazu ist das Interesse der Spieler am PTS viel zu gering, als dass man auch nur ansatzweise ein ähnliches Lastverhalten wie auf dem Live Server erreichen könnte.

Wurden denn überhaupt mal ein Aufruf gestartet, damit man den PTS mal zu bestimm angesetzten Zeiten zum testen voll bekommt?
ich denke schon das es dann auch ein paar mehr Spieler geben würde, die da mitmachen. ist ja schließlich auch in deren Interesse, das die Liveserver vernünftig laufen.

Es wurde für das neue LFG System auf dem PTS gesucht. Mit dem Ergebnis, dass ständig die gleichen Spieler zusammengewürfelt wurden. Daher kann man vermuten, dass die Anzahl an Testern deutlich zu gering war.

Aber wie schon geschrieben, es ist auch nicht der Sinn eines PTS, solche Probleme aufzudecken. Stellen wir uns mal vor, Du gehst auf den Testserver. Dann wirst Du Dir wahrscheinlich erst mal die neuen Sets ansehen, das neue Gebiet durchstreifen, vielleicht einen neuen Dungeon spielen. Oder andersrum ausgedrückt: Du wirst Dich nicht so verhalten wie auf dem Live Server. Daher wird es auf dem PTS immer ein, gegenüber dem Liveserver, abweichendes Lastverhalten geben.

CKomet

okay... für die Gruppensuche habe ich es nicht mitbekommen oder auch ignoriert, da ich die auch noch nie angewendet habe

Mahabahabtha

ZOS_KaiSchober schrieb: »

Hallo zusammen,

Wir möchten euch ein Update zu den Probleme geben, mit denen ihr im Moment und insbesondere auf dem europäischen PC/Mac-Megaserver konfrontiert wird und die zu langen Ladezeiten, der Unfähigkeit, sich anzumelden, und anderen Probleme durch überlastete Server führen. Die Probleme begannen mit der Veröffnetlichung von Update 24 und wurden durch das momentan stattfindende Hexenfest noch verschärft.

Wir waren der Meinung, dass wir die Probleme, welche einige der letzten Spielevent beeinträchtigt hatten, unter anderem durch Serveroptimierungen und eine verbesserte automatische Gruppensuche in den Griff bekommen hatten, aber es war nicht ausreichend. Tatsächlich funktioniert die neue Gruppensuche gut, aber sie hat ein anderes zugrunde liegendes Problem aufgedeckt, welches dazu führt, dass bestimmte Teile unserer Server - insbesondere unsere Datenbankcluster - überlastet werden und schließlich nicht mehr reagieren. Aus diesem Grund haben am Freitag die Warteschlange wieder aktiviert und am Samstag einen Patch veröffentlicht, der einige Korrekturen für die Stabilität enthielt. Auch diese Korrekturen waren nicht ausreichend.

Wir haben einen weiteren Hotfix und wir werden in einer Wartung am Sonntagmorgen die automatische Gruppensuche vorübereggend deaktivieren.

Wir verstehen völlig, dass es unfair erscheint, dass der europäische Server weit häufiger betroffen ist als der nordamerikanische oder die Konsolenserver. Dies liegt daran, dass zu Spitzenzeiten hier die meisten Spieler gleichzeitig angemeldet sind. Die Probleme, die uns alle hier belästigen, treten vor allem bei den sehr hohen Einlogzahlen des EU-Servers auf - allerdings haben sie dann auch Auswirkungen auf Prozesse außerhalb der Primetime.

Angesehen vom Einsatz aller Ressourcen zur Identifizierung und Behebung des gegenwärtigen Problems, diskutieren wir auch zusätzliche Optionen, darunter auch die Verlängerung des Hexenfest um einige Tage. Wir informieren euch hierüber, sobald wir die Gründe für die momentane Serverinstabilität gelöst haben.

Wir bitten um eure Geduld. Die Situation behagt uns genauso wenig wie euch und wir setzen alles daran, sie so schnell wie möglich zu beheben.

Danke für die ausführliche Info !

StrongPassion

Thorvarg schrieb: »

Wofür gibt es eigentlich die Testserver?

Natürlich zum Testen, dort wird aber nie die Last erreicht die du auf dem EU-Server bekommst. Denn wenn wir mal ehrlich sind und man sich auf dem PTS einloggt findet nie so viele Spieler wie sie hier vorkommen. Ergo kann eine komplette Auslastung nie vollständig getestet werden

Death_Courir

Ein weiteres dickes DANKE Kai !!! @ZOS_KaiSchober

SakuyaKira89

Zunächst einmal danke für die Informationen. Mich würde noch interessieren, was vorübergehend in Bezug auf die Gruppensuche bedeutet, denn PvP ist so ja zumindest auf Schlachtfeldern nicht mehr möglich. Muss vorher dann der Server wieder heruntergefahren werden oder kann man das einfach so wieder anschalten?


LG

alceleniel

Danke für die Erklärung und ich drücke die Daumen, dass ihr das mal in den Griff bekommt Als potentiell ungeduldiger Mensch sind mir Ladezeiten ziemlich verhasst

Gamer1986PAN

die 90 GB die der Testserver braucht, schreckt halt doch viele ab. Schade, dass man nicht durch eine Art Modulares Update - das nur einen Bruchteil des Speicherplatzes braucht - den PTS installieren kann.

Ausserdem wären vermutlich Belohnungen im Live-Server fürs einloggen und ausführen einer bestimmten Aktion in einem bestimmten vorher angekündigten Zeitbereich für manche Spieler eine zusätzliche Motivation auf den PTS zu kommen. (Kronenkisten, bestimmte Reittiere oder Begleiter, für manche wären Rassenwechselmarken das non plus ultra)

ZOS_KaiSchober

Arcon2825 schrieb: »

Thorvarg schrieb: »

Wofür gibt es eigentlich die Testserver?

Der Testserver ist nicht dazu geeignet, Performanceprobleme aufzuspüren. Dazu ist das Interesse der Spieler am PTS viel zu gering, als dass man auch nur ansatzweise ein ähnliches Lastverhalten wie auf dem Live Server erreichen könnte.

Allerdings gibt es durchaus geeignete Testverfahren um im Last- und Performancetest sowohl Einzelkomponenten eines Systems wie auch ein Gesamtsystem so unter Last zu setzen, dass derartige Probleme vor einem Live Release identifiziert werden können. Um die Last korrekt zu simulieren, muss man allerdings auch wirklich das Lastverhalten der eigenen Anwendung sehr gut kennen. Hier bei ESO scheint mittlerweile nicht mehr wirklich ein Verständnis darüber vorzuliegen, wie die einzelnen Komponenten und Systeme zusammenarbeiten.

Ehrlich gesagt wundere ich mich immer ein bisschen, wenn ZoS behauptet, man hätte die Probleme nicht vorher entdecken können, denn genau für so etwas ist ein Last- und Performancetest da. Ich muss allerdings zugeben, dass er in vielen Softwareprojekten gemieden wird, so dass sich ZoS da in guter Gesellschaft befindet. Macht die Aussage jedoch auch nicht richtiger, dass man solche Probleme erst im Produktivbetrieb identifizieren kann.

Natürlich setzen wir auf Bot-Test und ähnliches ein. Das sind Tests, die intern schon laufen bevor ein Build auf den öffentlichen Testserver kommt. Speziell für den Neubau der Gruppensuche haben wir diese Test massiv ausgebaut.

Allerdings wird nichts den Livebetrieb und die seltsamen Umtriebe der Spieler ersetzen können. Wie Moltke schon sagte, überlebt kein Plan den ersten Feindkontakt. Und nein, ich habe nicht gerade unsere Spieler als Feinde bezeichnet.

CKomet

Arcon2825 schrieb: »

Aber wie schon geschrieben, es ist auch nicht der Sinn eines PTS, solche Probleme aufzudecken. Stellen wir uns mal vor, Du gehst auf den Testserver. Dann wirst Du Dir wahrscheinlich erst mal die neuen Sets ansehen, das neue Gebiet durchstreifen, vielleicht einen neuen Dungeon spielen. Oder andersrum ausgedrückt: Du wirst Dich nicht so verhalten wie auf dem Live Server. Daher wird es auf dem PTS immer ein, gegenüber dem Liveserver, abweichendes Lastverhalten geben.

da das vorhin erst nach meinen Post kam habe ich das übersehen

natürlich ist der PTS letztendlich nicht dafür da um alle Solche Probleme aufzudecken, aber möglicherweise hätte man schon erkennen können, wenn die Anzahl der Spieler auf dem Server hoch genug ist, das es zu Schwierigkeiten führen wird. Das nicht jeder dort das macht, was er auf dem Liveserver macht ist ja auch klar. Wie denn auch wenn die eigenen Chars ja nicht immer vorhanden sind
Trotzdem bin ich der Meinung, es würde schon mal was bringen wenn auch der PTS mal gezielt an die Kapazitäsgrenze geführt wird.

Ashere

Danke Kai

Senaja

ZOS_KaiSchober schrieb: »

Arcon2825 schrieb: »

Thorvarg schrieb: »

Wofür gibt es eigentlich die Testserver?

Der Testserver ist nicht dazu geeignet, Performanceprobleme aufzuspüren. Dazu ist das Interesse der Spieler am PTS viel zu gering, als dass man auch nur ansatzweise ein ähnliches Lastverhalten wie auf dem Live Server erreichen könnte.

Allerdings gibt es durchaus geeignete Testverfahren um im Last- und Performancetest sowohl Einzelkomponenten eines Systems wie auch ein Gesamtsystem so unter Last zu setzen, dass derartige Probleme vor einem Live Release identifiziert werden können. Um die Last korrekt zu simulieren, muss man allerdings auch wirklich das Lastverhalten der eigenen Anwendung sehr gut kennen. Hier bei ESO scheint mittlerweile nicht mehr wirklich ein Verständnis darüber vorzuliegen, wie die einzelnen Komponenten und Systeme zusammenarbeiten.

Ehrlich gesagt wundere ich mich immer ein bisschen, wenn ZoS behauptet, man hätte die Probleme nicht vorher entdecken können, denn genau für so etwas ist ein Last- und Performancetest da. Ich muss allerdings zugeben, dass er in vielen Softwareprojekten gemieden wird, so dass sich ZoS da in guter Gesellschaft befindet. Macht die Aussage jedoch auch nicht richtiger, dass man solche Probleme erst im Produktivbetrieb identifizieren kann.

Natürlich setzen wir auf Bot-Test und ähnliches ein. Das sind Tests, die intern schon laufen bevor ein Build auf den öffentlichen Testserver kommt. Speziell für den Neubau der Gruppensuche haben wir diese Test massiv ausgebaut.

Allerdings wird nichts den Livebetrieb und die seltsamen Umtriebe der Spieler ersetzen können. Wie Moltke schon sagte, überlebt kein Plan den ersten Feindkontakt. Und nein, ich habe nicht gerade unsere Spieler als Feinde bezeichnet.

Gab es mal die Überlegung, mit Kronenanreizen oder ähnlichem Livespieler zum testen zu bewegen? Ist ja nun der zweite Patch wo der Test von Spielern notwendiger gewesen wäre als Botläufe.

Wenn man hier sagen würde, wenn ihr euch am Tag-x zur Mainspielzeit auf dem PTS einloggt, erhaltet ihr beim Livegang dann 500 Kronen, dann würde man hier einen deutlichen sinvolleren Test ableiten können. Klar das kostet euch etwas, aber die aktuelle Situation kostet denke Minimum genau so viel und viel mehr Nerven.

Idefix2

Danke für die Info

Senaja schrieb: »

Gab es mal die Überlegung, mit Kronenanreizen oder ähnlichem Livespieler zum testen zu bewegen? Ist ja nun der zweite Patch wo der Test von Spielern notwendiger gewesen wäre als Botläufe.

Wenn man hier sagen würde, wenn ihr euch am Tag-x zur Mainspielzeit auf dem PTS einloggt, erhaltet ihr beim Livegang dann 500 Kronen, dann würde man hier einen deutlichen sinvolleren Test ableiten können. Klar das kostet euch etwas, aber die aktuelle Situation kostet denke Minimum genau so viel und viel mehr Nerven.

In irgendeinem Spiel wo ich schon mal gespielt habe, wurde das so ähnlich gemacht .... liegt aber Jahre zurück

Heshima

CKomet schrieb: »

Arcon2825 schrieb: »

Thorvarg schrieb: »

Wofür gibt es eigentlich die Testserver?

Der Testserver ist nicht dazu geeignet, Performanceprobleme aufzuspüren. Dazu ist das Interesse der Spieler am PTS viel zu gering, als dass man auch nur ansatzweise ein ähnliches Lastverhalten wie auf dem Live Server erreichen könnte.

Wurden denn überhaupt mal ein Aufruf gestartet, damit man den PTS mal zu bestimm angesetzten Zeiten zum testen voll bekommt?
ich denke schon das es dann auch ein paar mehr Spieler geben würde, die da mitmachen. ist ja schließlich auch in deren Interesse, das die Liveserver vernünftig laufen.

An sich ein guter Gedanke aber dafür müsste dann auch der gesamte Datenschmonz , den wir durch unsere Chars , Häuser, Inventar, Errungenschaften usw der aufm Liveserver angesammelt haben, auf dem PTS sein. Eigentlich ne 1:1 Kopie und dann bekomm mal die Leute in der Primetime dazu auf den PTS zu bekommen. Da könnte man ja was verpassen aber trotz allem wäre es ne echt gute Idee

CKomet

ist es nicht so das immer eine Woche der EU Server und eine Woche der NA Server gespiegelt werden? oder wird dann auch immer nur ein Teilbereich transferriert? war die letzten male immer nur auf dem PTS wenn gerade die NA Woche war und das nützt ja bei zwischenzeitlich immerhin schon drei Chars wovon einer gestern Level13 erreicht hat nicht wirklich viel

Melethron

Manch einer meidet den PTS auch bewusst, weil er sich nicht selbst spoilern will. Abgesehen davon, wenn die PTS an den Start gehen, wird das hier im Forum durchaus angekündigt. Vielleicht würden mehr Spieler den PTS nutzen, wenn es noch deutlicher bekannt gemacht wird. Belohnungen für die Nutzung des PTS halte ich für fragwürdig. Wie viele Spieler würden nur kurz auf den PTS einloggen, sich die Belohnung abstauben, und sich dann nicht weiter um den PTS kümmern?

Thorvarg

ZOS_KaiSchober schrieb: »

Arcon2825 schrieb: »

Thorvarg schrieb: »

Wofür gibt es eigentlich die Testserver?

Der Testserver ist nicht dazu geeignet, Performanceprobleme aufzuspüren. Dazu ist das Interesse der Spieler am PTS viel zu gering, als dass man auch nur ansatzweise ein ähnliches Lastverhalten wie auf dem Live Server erreichen könnte.

Allerdings gibt es durchaus geeignete Testverfahren um im Last- und Performancetest sowohl Einzelkomponenten eines Systems wie auch ein Gesamtsystem so unter Last zu setzen, dass derartige Probleme vor einem Live Release identifiziert werden können. Um die Last korrekt zu simulieren, muss man allerdings auch wirklich das Lastverhalten der eigenen Anwendung sehr gut kennen. Hier bei ESO scheint mittlerweile nicht mehr wirklich ein Verständnis darüber vorzuliegen, wie die einzelnen Komponenten und Systeme zusammenarbeiten.

Ehrlich gesagt wundere ich mich immer ein bisschen, wenn ZoS behauptet, man hätte die Probleme nicht vorher entdecken können, denn genau für so etwas ist ein Last- und Performancetest da. Ich muss allerdings zugeben, dass er in vielen Softwareprojekten gemieden wird, so dass sich ZoS da in guter Gesellschaft befindet. Macht die Aussage jedoch auch nicht richtiger, dass man solche Probleme erst im Produktivbetrieb identifizieren kann.

Allerdings wird nichts den Livebetrieb und die seltsamen Umtriebe der Spieler ersetzen können. Wie Moltke schon sagte, überlebt kein Plan den ersten Feindkontakt. Und nein, ich habe nicht gerade unsere Spieler als Feinde bezeichnet.

Meine Güte Kai, du strotzt ja in letzter Zeit vor lauter Bonmots. Da sollte man meinen, dass die gegenwärtige Situation auch dir auf's Gemüt geschlagen wäre, aber nein. Das war wieder richtig gut @Kai.