This is a translation of a question-and-answer reply to
this English-language forum thread, from Game Director Rich Lambert.
Hey Leute. Hier sind einige Antworten auf die häufigsten Fragen aus diesem Thema und einige Einblicke in unser Vorgehen und woran wir arbeiten, damit wir derartigen Problemen besser nachgehen können. Danke für eure Fragen und hinterlasst uns bitte weitere Rückmeldungen!
Auf was achtet ihr, wenn ihr Meldungen bezüglich Leistungsproblemen im Spiel erhaltet?
Leistungsprobleme und damit in Verbindung stehende Analysen sind sehr komplex und es gibt viele Dinge, auf die wir dabei schauen müssen. Im Grunde kann sich eigentlich alles auf die Leistung auswirken. Die großen typischen Dinge hierbei wären:
- Auf welchem Server oder welchen Servern tritt das Problem auf
- Zu welcher Zeit tritt das Problem auf
- Welche Art von Hardware nutzen die betroffenen Spieler
- Was haben die Spieler getan, als das Problem aufgetreten ist
- Welche Erweiterungen nutzen die betroffenen Spieler
Alle diese Dinge geben uns gemeinsam ein umfassendes Bild der meisten Probleme. Und von hier aus erweitern wir unsere Liste der Dinge, die wir beachten, wenn wir wir weitere Informationen benötigen, so wie auch in diesem spezifischen Fall. Hierzu gehört auch, weitere Informationen von betroffenen Spielern einzuholen und falls nötig weitere Möglichkeiten zur Erfassung von Aufzeichnungen hinzuzufügen.
Wie sehen die Graphen zur Spielleistung aktuell aus?
Diejenigen, die ich mir überwiegend ansehe (Abstürze, lange Ladezeiten und Verarbeitungszeiten auf dem Server) sind alle recht stabil. Wir haben ein paar mögliche Absturzprobleme, um die wir uns kümmern, aber diese passieren sehr selten. Meldungen über lange Ladezeiten sind – insbesondere auf den Konsolen – eher selten und auch die Verarbeitungszeiten auf dem Server halten sich zumindest abseits der Stoßzeiten in Grenzen. Zu Stoßzeiten hingegen gibt es einige Ausreißer, die wir gerne angehen möchten, weshalb wir hier auch weiters Werkzeug (für Aufzeichnungen) mit den nächsten kommenden Zwischenpatches hinzufügen, um weitere Informationen für unser Technikteam zu sammeln.
Welche Informationen sind für euch bei der Analyse von Leistungsproblemen am nützlichsten?
Uns hilft es vor allem, wenn ihr uns mitteilt, an welchem Tag, zu welcher Uhrzeit etwas passiert ist (im Idealfall auf die Minute genau) und was genau ihr zu dem Zeitpunkt getan habt. Aufzeichnungen in Form eines kurzen Videos können außerdem enorm helfen, damit wir genau sehen, was beschrieben wird. Wir haben uns natürlich die Clips, die ihr uns zu diesem Problem habt zukommen lassen, angesehen – danke schön!
Was könnt ihr ändern, wenn Leistungsprobleme auftreten?
Das hängt wirklich vom jeweiligen Problem ab. Wir können manche Dinge per Hotfix (d.h. ohne Herunterfahren der Server) beheben, aber für die meisten ist dies notwendig. Abstürze, nicht funktionierende Gegenstände oder nicht erscheinende Dinge und Exploits sind allgemein „einfacher“ zu finden und entsprechend schneller zu korrigieren. Die Ursachen für „schwammige“ Reaktionszeiten, hohe Latenzen oder Bildrateneinbrüche hingegen sind viel schwieriger aufzuspüren und zu korrigieren. Wenn es sich bei Verzögerungen oder hohen Latenzen um Probleme handelt, die durch gezielte Überlastung der Server (in Form eines DDoS-Angriffs) verursacht werden, können wir diese entsprechend eindämmen, wenn es nötig wird.
Warum dauern die Untersuchungen manchmal so lange?
Es kann viele unterschiedliche Gründe dafür geben. Manche Fehler lassen sich einfach reproduzieren, andere hingegen nicht. Fehler, die bei Überlastungen auftreten (allgemein Verzögerungen oder hohe Latenzen) sind am schwierigsten zu analysieren und brauchen die meiste Zeit, um sie aufzuspüren. Bedenkt hierbei, dass ESO ein GEWALTIGES Spiel mit (mehr als 25!) Millionen Zeilen von Code ist, was entsprechend Zeit benötigt. Dann gibt es zahlreiche unterschiedliche Konfigurationen für Rechner, Treiberversionen, Internetverbindungsarten, Standortunterschiede, Erweiterungen usw. was die Suche nach Fehlern wesentlich komplexer gestaltet.
Und wenn man das dann damit zusammenbringt, dass es sich um riesige Server mit Hunderttausenden von Spielern gleichzeitig handelt, dann hat man hier sehr schnell Situationen beisammen, die sich intern nur sehr schwer replizieren lassen. Es ist eine knifflige Sache!
Wie viele verschiedene Gruppen waren an der Untersuchung dieses Problems beteiligt?
Bei den andauernden Untersuchungen zu Problemen bei der Spielleistung sind so einige beteiligt – unter anderem aus der Business Intelligence, dem Community-Team, dem Kundendienst, Spieldesign, Engineering, Qualitätssicherung und dem Live-Services-Team.
Konnte jemand bei ZOS das Problem replizieren?
Wir haben es bisher nicht geschafft, das Problem genau zu replizieren, weder auf den richtigen Spielservern noch auf unseren internen Testservern, weil es einfach einige entscheidende Faktoren wie beispielsweise die Serverauslastung gibt. Einige unserer Entwickler haben das Problem zwar neben anderen Spielern auf den Servern erlebt, aber bisher konnten wir keine eindeutige oder konsistente Ursache finden.
Kann sich hier jemand zum möglichen Einfluss von Chatmoderation mit Hilfe von KI äußern?
Wir haben genau untersucht, ob sich dies auf die Spielleistung auswirken könnte. Diese Tools sind allerdings so gestaltet, dass sie vom Spiel exportierte Aufzeichnungen durchgehen. Sie sind nicht direkt in ESO integriert und kommen entsprechend nie mit dem Spiel oder dessen Chatservern in Verbindung.
Aber bezüglich des Tools selbst lässt sich sagen, dass es uns durchaus dabei helfen kann, möglicherweise riskante Chats oder bedenkliche Bereiche und Situationen schneller zu identifizieren. Wir möchten an der Stelle aber trotzdem erwähnen, dass alle möglichen Konsequenzen für Konten von unseren Mitarbeitenden abgesegnet werden. Es gibt einige Regeln, die automatisch einen Rauswurf bei Spam im Chat provozieren, aber alle automatischen Regeln führen nur zu temporären Konsequenzen. Unsere Mitarbeitenden untersuchen alle automatischen Handlungen in Kombination mit der jeweiligen Historie eines Kontos, bevor irgendwelche dauerhaften Sanktionen ausgesprochen werden.
Wir haben das Tool außerdem bereits seit einigen Jahren im Einsatz und es hat sich nichts in der Art und Weise, wie wir den Chat aufzeichnen, geändert, weshalb sich hier keine wirkliche Kausalität ableiten lässt. Die vor einigen Monaten auftretende Situation mit zunehmenden Sanktionen auf Basis von Chats war mehr ein Fall von Änderungen bezüglich unserer Prozesse und der Einstellung neuer Mitarbeitenden, die nichts direkt mit dem Tool selbst zu tun hatten. Am Ende sei aber gesagt, dass wir uns durchaus das Tool angesehen haben, ob es sich nicht doch unerwartet in irgendeiner Weise auf die Leistung des Spiels auswirken könnte, was aber nicht der Fall ist.
Wie geht ihr vor, wenn ihr Meldungen über Leistungsprobleme im Spiel erhaltet?
Zunächst sammeln wir so viele Informationen wie möglich. Tritt das Problem nur in diesem einen Fall auf oder häufiger? Ist es irgendwie regionsspezifisch? Betrifft es nur bestimmte Plattformen? Passiert es nur während Stoßzeiten? Haben wir alle möglichen Informationen gesammelt, arbeiten wir daran, das Problem intern zu reproduzieren. Wenn uns das gelingt, sind wir allgemein in der Lage, das Problem relativ schnell zu beseitigen.
Was wurde bisher getan oder wie ist der aktuelle Stand?
Abgesehen von den fortlaufenden Untersuchungen auf Basis der von euch gelieferten Informationen haben wir vor allem viele weitere Ergänzungen zur Datenerfassung vorgenommen. Nichts davon wird die Probleme an sich direkt angehen, aber wir sollten damit besser in der Lage sein, das Problem als solches zu diagnostizieren.
- Aufzeichnungen auf der Serverseite, insbesondere mehr Metriken zum Erlebnis eines Spielers im Rahmen einer bestimmten Instanz oder Region (Anzahl der Nachrichten pro Aktualisierung, durchschnittliche und maximale Datenmenge, die gesendet und empfangen wird usw.)
- Aufzeichnungen auf der Spielerseite zu alternativem Beenden. Spieler beenden das Spiel über Alt+F4 oder über das X am Fenster, wodurch es sofort beendet wird und der Server nicht unbedingt unterscheiden kann, ob das nun Absicht oder eher ein Verbindungsabbruch war. (Hiermit möchten wir Falschmeldungen von Abstürzen vermeiden.)
- Lebenszeichen-Tests (im Grunde eine einfache Nachricht, die euer Client sendet, um dem Server mitzuteilen, dass ihr noch da seid) sollten eigentlich beliebige Nachrichten vom Client beachten. Falls eure Leitung gerade verstopft ist, kann es – wenn auch sehr selten – passieren, dass dieses Lebenszeichen nicht rechtzeitig verarbeitet wird und ihr deswegen vom Server fliegt.
- Genauere Anzeige von Latenzen im Spielclient. Unsere Latenzanzeige gibt nicht genau an, wie diese aktuell wirklich ausfällt. Sie ist bisher unter anderem von der Bildrate und Ladebildern (und mehr) abhängig.
- Untersuchungen zur Erweiterung „Bandits UI“. (Es handelt sich dabei um eine der 15 am meisten genutzten Erweiterungen.) Im Forum gibt es immer wieder Beiträge, die diese Erweiterung mit möglichen Latenzproblemen in Verbindung bringen. Wir vermuten, dass die Erweiterung übermäßig viele Kartensignale versendet, um auf diesem Umweg Nachrichten an andere Gruppenmitglieder zu verschicken, selbst wenn diese die Erweiterung nicht selbst installiert haben. Diese Pings werden entsprechend an alle verschickt und können durchaus zu Problemen bei der Spielleistung führen (sowohl Latenz als auch Bildrate).