English Game Performance Discussion - Q&A Reply (German Translation)

ZOS_Kevin
ZOS_Kevin
Community Manager
This is a translation of a question-and-answer reply to this English-language forum thread, from Game Director Rich Lambert.

Hey Leute. Hier sind einige Antworten auf die häufigsten Fragen aus diesem Thema und einige Einblicke in unser Vorgehen und woran wir arbeiten, damit wir derartigen Problemen besser nachgehen können. Danke für eure Fragen und hinterlasst uns bitte weitere Rückmeldungen!

Auf was achtet ihr, wenn ihr Meldungen bezüglich Leistungsproblemen im Spiel erhaltet? 
Leistungsprobleme und damit in Verbindung stehende Analysen sind sehr komplex und es gibt viele Dinge, auf die wir dabei schauen müssen. Im Grunde kann sich eigentlich alles auf die Leistung auswirken. Die großen typischen Dinge hierbei wären:  
  • Auf welchem Server oder welchen Servern tritt das Problem auf
  • Zu welcher Zeit tritt das Problem auf
  • Welche Art von Hardware nutzen die betroffenen Spieler
  • Was haben die Spieler getan, als das Problem aufgetreten ist
  • Welche Erweiterungen nutzen die betroffenen Spieler

Alle diese Dinge geben uns gemeinsam ein umfassendes Bild der meisten Probleme. Und von hier aus erweitern wir unsere Liste der Dinge, die wir beachten, wenn wir wir weitere Informationen benötigen, so wie auch in diesem spezifischen Fall. Hierzu gehört auch, weitere Informationen von betroffenen Spielern einzuholen und falls nötig weitere Möglichkeiten zur Erfassung von Aufzeichnungen hinzuzufügen.  
 
Wie sehen die Graphen zur Spielleistung aktuell aus? 
Diejenigen, die ich mir überwiegend ansehe (Abstürze, lange Ladezeiten und Verarbeitungszeiten auf dem Server) sind alle recht stabil. Wir haben ein paar mögliche Absturzprobleme, um die wir uns kümmern, aber diese passieren sehr selten. Meldungen über lange Ladezeiten sind – insbesondere auf den Konsolen – eher selten und auch die Verarbeitungszeiten auf dem Server halten sich zumindest abseits der Stoßzeiten in Grenzen. Zu Stoßzeiten hingegen gibt es einige Ausreißer, die wir gerne angehen möchten, weshalb wir hier auch weiters Werkzeug (für Aufzeichnungen) mit den nächsten kommenden Zwischenpatches hinzufügen, um weitere Informationen für unser Technikteam zu sammeln. 
 
Welche Informationen sind für euch bei der Analyse von Leistungsproblemen am nützlichsten? 
Uns hilft es vor allem, wenn ihr uns mitteilt, an welchem Tag, zu welcher Uhrzeit etwas passiert ist (im Idealfall auf die Minute genau) und was genau ihr zu dem Zeitpunkt getan habt. Aufzeichnungen in Form eines kurzen Videos können außerdem enorm helfen, damit wir genau sehen, was beschrieben wird. Wir haben uns natürlich die Clips, die ihr uns zu diesem Problem habt zukommen lassen, angesehen – danke schön! 
 
Was könnt ihr ändern, wenn Leistungsprobleme auftreten? 
Das hängt wirklich vom jeweiligen Problem ab. Wir können manche Dinge per Hotfix (d.h. ohne Herunterfahren der Server) beheben, aber für die meisten ist dies notwendig. Abstürze, nicht funktionierende Gegenstände oder nicht erscheinende Dinge und Exploits sind allgemein „einfacher“ zu finden und entsprechend schneller zu korrigieren. Die Ursachen für „schwammige“ Reaktionszeiten, hohe Latenzen oder Bildrateneinbrüche hingegen sind viel schwieriger aufzuspüren und zu korrigieren. Wenn es sich bei Verzögerungen oder hohen Latenzen um Probleme handelt, die durch gezielte Überlastung der Server (in Form eines DDoS-Angriffs) verursacht werden, können wir diese entsprechend eindämmen, wenn es nötig wird. 
 
Warum dauern die Untersuchungen manchmal so lange? 
Es kann viele unterschiedliche Gründe dafür geben. Manche Fehler lassen sich einfach reproduzieren, andere hingegen nicht. Fehler, die bei Überlastungen auftreten (allgemein Verzögerungen oder hohe Latenzen) sind am schwierigsten zu analysieren und brauchen die meiste Zeit, um sie aufzuspüren. Bedenkt hierbei, dass ESO ein GEWALTIGES Spiel mit (mehr als 25!) Millionen Zeilen von Code ist, was entsprechend Zeit benötigt. Dann gibt es zahlreiche unterschiedliche Konfigurationen für Rechner, Treiberversionen, Internetverbindungsarten, Standortunterschiede, Erweiterungen usw. was die Suche nach Fehlern wesentlich komplexer gestaltet.  
Und wenn man das dann damit zusammenbringt, dass es sich um riesige Server mit Hunderttausenden von Spielern gleichzeitig handelt, dann hat man hier sehr schnell Situationen beisammen, die sich intern nur sehr schwer replizieren lassen. Es ist eine knifflige Sache! 
 
Wie viele verschiedene Gruppen waren an der Untersuchung dieses Problems beteiligt? 
Bei den andauernden Untersuchungen zu Problemen bei der Spielleistung sind so einige beteiligt – unter anderem aus der Business Intelligence, dem Community-Team, dem Kundendienst, Spieldesign, Engineering, Qualitätssicherung und dem Live-Services-Team. 
 
Konnte jemand bei ZOS das Problem replizieren? 
Wir haben es bisher nicht geschafft, das Problem genau zu replizieren, weder auf den richtigen Spielservern noch auf unseren internen Testservern, weil es einfach einige entscheidende Faktoren wie beispielsweise die Serverauslastung gibt. Einige unserer Entwickler haben das Problem zwar neben anderen Spielern auf den Servern erlebt, aber bisher konnten wir keine eindeutige oder konsistente Ursache finden. 
 
Kann sich hier jemand zum möglichen Einfluss von Chatmoderation mit Hilfe von KI äußern? 
 Wir haben genau untersucht, ob sich dies auf die Spielleistung auswirken könnte. Diese Tools sind allerdings so gestaltet, dass sie vom Spiel exportierte Aufzeichnungen durchgehen. Sie sind nicht direkt in ESO integriert und kommen entsprechend nie mit dem Spiel oder dessen Chatservern in Verbindung.  
Aber bezüglich des Tools selbst lässt sich sagen, dass es uns durchaus dabei helfen kann, möglicherweise riskante Chats oder bedenkliche Bereiche und Situationen schneller zu identifizieren. Wir möchten an der Stelle aber trotzdem erwähnen, dass alle möglichen Konsequenzen für Konten von unseren Mitarbeitenden abgesegnet werden. Es gibt einige Regeln, die automatisch einen Rauswurf bei Spam im Chat provozieren, aber alle automatischen Regeln führen nur zu temporären Konsequenzen. Unsere Mitarbeitenden untersuchen alle automatischen Handlungen in Kombination mit der jeweiligen Historie eines Kontos, bevor irgendwelche dauerhaften Sanktionen ausgesprochen werden. 
Wir haben das Tool außerdem bereits seit einigen Jahren im Einsatz und es hat sich nichts in der Art und Weise, wie wir den Chat aufzeichnen, geändert, weshalb sich hier keine wirkliche Kausalität ableiten lässt. Die vor einigen Monaten auftretende Situation mit zunehmenden Sanktionen auf Basis von Chats war mehr ein Fall von Änderungen bezüglich unserer Prozesse und der Einstellung neuer Mitarbeitenden, die nichts direkt mit dem Tool selbst zu tun hatten. Am Ende sei aber gesagt, dass wir uns durchaus das Tool angesehen haben, ob es sich nicht doch unerwartet in irgendeiner Weise auf die Leistung des Spiels auswirken könnte, was aber nicht der Fall ist. 
 
Wie geht ihr vor, wenn ihr Meldungen über Leistungsprobleme im Spiel erhaltet? 
Zunächst sammeln wir so viele Informationen wie möglich. Tritt das Problem nur in diesem einen Fall auf oder häufiger? Ist es irgendwie regionsspezifisch? Betrifft es nur bestimmte Plattformen? Passiert es nur während Stoßzeiten? Haben wir alle möglichen Informationen gesammelt, arbeiten wir daran, das Problem intern zu reproduzieren. Wenn uns das gelingt, sind wir allgemein in der Lage, das Problem relativ schnell zu beseitigen.  
 
Was wurde bisher getan oder wie ist der aktuelle Stand? 
Abgesehen von den fortlaufenden Untersuchungen auf Basis der von euch gelieferten Informationen haben wir vor allem viele weitere Ergänzungen zur Datenerfassung vorgenommen. Nichts davon wird die Probleme an sich direkt angehen, aber wir sollten damit besser in der Lage sein, das Problem als solches zu diagnostizieren. 
  • Aufzeichnungen auf der Serverseite, insbesondere mehr Metriken zum Erlebnis eines Spielers im Rahmen einer bestimmten Instanz oder Region (Anzahl der Nachrichten pro Aktualisierung, durchschnittliche und maximale Datenmenge, die gesendet und empfangen wird usw.) 
  • Aufzeichnungen auf der Spielerseite zu alternativem Beenden. Spieler beenden das Spiel über Alt+F4 oder über das X am Fenster, wodurch es sofort beendet wird und der Server nicht unbedingt unterscheiden kann, ob das nun Absicht oder eher ein Verbindungsabbruch war. (Hiermit möchten wir Falschmeldungen von Abstürzen vermeiden.) 
  • Lebenszeichen-Tests (im Grunde eine einfache Nachricht, die euer Client sendet, um dem Server mitzuteilen, dass ihr noch da seid) sollten eigentlich beliebige Nachrichten vom Client beachten. Falls eure Leitung gerade verstopft ist, kann es – wenn auch sehr selten – passieren, dass dieses Lebenszeichen nicht rechtzeitig verarbeitet wird und ihr deswegen vom Server fliegt. 
  • Genauere Anzeige von Latenzen im Spielclient. Unsere Latenzanzeige gibt nicht genau an, wie diese aktuell wirklich ausfällt. Sie ist bisher unter anderem von der Bildrate und Ladebildern (und mehr) abhängig.  
  • Untersuchungen zur Erweiterung „Bandits UI“. (Es handelt sich dabei um eine der 15 am meisten genutzten Erweiterungen.) Im Forum gibt es immer wieder Beiträge, die diese Erweiterung mit möglichen Latenzproblemen in Verbindung bringen. Wir vermuten, dass die Erweiterung übermäßig viele Kartensignale versendet, um auf diesem Umweg Nachrichten an andere Gruppenmitglieder zu verschicken, selbst wenn diese die Erweiterung nicht selbst installiert haben. Diese Pings werden entsprechend an alle verschickt und können durchaus zu Problemen bei der Spielleistung führen (sowohl Latenz als auch Bildrate). 
Community Manager for ZeniMax Online Studio and Elder Scrolls OnlineDev Tracker | Service Alerts | ESO Twitter
Staff Post
  • Hegron
    Hegron
    ✭✭✭✭✭
    ✭✭
    hmmm ...
  • CURSIN_IT
    CURSIN_IT
    ✭✭✭✭✭
    Danke fürs Posten. Auch wenn das inhaltlich sehr schwach von Rich war. Er hätte ebenso "Nichts Genaues weiß man nicht." schreiben können.
  • Hegron
    Hegron
    ✭✭✭✭✭
    ✭✭
    Tja, ich nehme an, man bemüht sich... man steht wohl vor 25 mio. Zeilen Programmcode sprichwörtlich "wie der Ochs vorm Berg", was zwar einerseits verständlich ist, aber uns andererseits auch nicht weiterhilft.

    Mich stört an Eso aber mittlerweile auch weniger die tech. Performance, die ist nach dem Server-Wechseln ertragbar geworden, vielmehr ist Eso langweilig in seinen Wiederholungen. Außerdem ist das ganze Balancing im Kampfsystem zwischen Klassen, Sets, usw. im PvE wie PvP nur schlechter geworden.
    Der Arkanist hat das Gameplay insbesondere im PvE etwas aufgefrischt, aber nur auf Kosten der anderen Klassen, die dagegen nun altbacken wirken. Die eher kleinen anderen Verbesserungen sind zwar schön, aber nichts, wofür man einloggen würde. Dafür müsste man wieder Zutrauen in die Zukunft vom Gameplay bekommen.
  • Sun7dance
    Sun7dance
    ✭✭✭✭✭
    ✭✭✭✭
    Für mich ist nach wie vor die asynchrone Verbindung zwischen Server und Client(s) maßgeblich verantwortlich.
    Schaut euch hier mal eine ganz banale Situation aus dem PvE an.
    Ich laufe auf den Mob zu, stehe vor Ausführung des Skills eindeutig innerhalb der Reichweite, um alle drei zu treffen. Allerdings kriegt der hintere keinen Schaden von meiner ersten Attacke.
    Das sagt mir einfach, dass dieser nur auf meinem Bildschirm tatsächlich innerhalb der Reichweite war, der Server mich aber noch weiter weg berechnet hat, sodass der eben außerhalb der Reichweite war.
    Diese Situation erlebe ich in letzter Zeit wieder extrem oft.

    https://www.youtube.com/watch?v=K5AxgY59K8s


    Edited by Sun7dance on 14. Dezember 2024 15:09
    PS5|EU
  • CURSIN_IT
    CURSIN_IT
    ✭✭✭✭✭
    Sun7dance schrieb: »
    Für mich ist nach wie vor die asynchrone Verbindung zwischen Server und Client(s) maßgeblich verantwortlich.
    Schaut euch hier mal eine ganz banale Situation aus dem PvE an.
    Ich laufe auf den Mob zu, stehe vor Ausführung des Skills eindeutig innerhalb der Reichweite, um alle drei zu treffen. Allerdings kriegt der hintere keinen Schaden von meiner ersten Attacke.
    Das sagt mir einfach, dass dieser nur auf meinem Bildschirm tatsächlich innerhalb der Reichweite war, der Server mich aber noch weiter weg berechnet hat, sodass der eben außerhalb der Reichweite war.

    In deinem Video fällt auf, dass nur der hintere NPC diese blinkende Trigger-Animation hat und offensichtlich währenddessen nicht angreifbar ist. Ein Phänomen welches ich schon lange aus dem PvE kenne. Vergessene Krypta in Deshaan. Die vier Ecken mit den Kwamas. Hat mich immer sehr aufgeregt, dass man da die Trigger-Animation abwarten musste bis sie angreifbar waren. Ob da Asynchronität Schuld ist, kann ich nicht beurteilen. Wirkt auf mich aber anders. Denn immerhin hast du den NPC ja getriggert. Irgendeine Range war also erreicht. Warum die anderen beiden es aber nicht sind, weiß ich nicht.
  • Sun7dance
    Sun7dance
    ✭✭✭✭✭
    ✭✭✭✭
    Interessanter Punkt!
    Ich habe diese Animation immer auf Sichtkontakt bezogen, so nach dem Motto "ich sehe dich und greife gleich an!".
    Natürlich triggerst du auch Gegner, die dich nicht direkt anschauen, aber halt erst später.
    Zumindest war das immer mein Empfinden.
    Allerdings hatte ich dieses "nicht treffen" auch neulich im öffentlichen Verlies, als die Gegner schon getriggert waren. Ich dreh mich rum, renne auf die zu, selbes Spiel, der hintere kriegt keinen Schaden!

    Ich werde das alles nochmal im Detail testen.

    Edited by Sun7dance on 14. Dezember 2024 16:20
    PS5|EU
  • Zabagad
    Zabagad
    ✭✭✭✭✭
    CURSIN_IT schrieb: »
    Sun7dance schrieb: »
    Für mich ist nach wie vor die asynchrone Verbindung zwischen Server und Client(s) maßgeblich verantwortlich.
    Schaut euch hier mal eine ganz banale Situation aus dem PvE an.
    Ich laufe auf den Mob zu, stehe vor Ausführung des Skills eindeutig innerhalb der Reichweite, um alle drei zu treffen. Allerdings kriegt der hintere keinen Schaden von meiner ersten Attacke.
    Das sagt mir einfach, dass dieser nur auf meinem Bildschirm tatsächlich innerhalb der Reichweite war, der Server mich aber noch weiter weg berechnet hat, sodass der eben außerhalb der Reichweite war.

    In deinem Video fällt auf, dass nur der hintere NPC diese blinkende Trigger-Animation hat und offensichtlich währenddessen nicht angreifbar ist. Ein Phänomen welches ich schon lange aus dem PvE kenne. Vergessene Krypta in Deshaan. Die vier Ecken mit den Kwamas. Hat mich immer sehr aufgeregt, dass man da die Trigger-Animation abwarten musste bis sie angreifbar waren. Ob da Asynchronität Schuld ist, kann ich nicht beurteilen. Wirkt auf mich aber anders. Denn immerhin hast du den NPC ja getriggert. Irgendeine Range war also erreicht. Warum die anderen beiden es aber nicht sind, weiß ich nicht.
    Da bin ich ja auch sehr oft, aber ich weiß gar nicht was du meinst. Sprich ich kenne das nicht und kenne dort aber ein etwas anderes Problem. Angreifbar sind die alle immer und das aus 28M Entfernung. Oder eventuell ist es doch genau dein Problem? Denn 2 der Kwamas bekommen bei mir idR keinen Splash-Schaden ab - aber angreifbar sind sie. So habe ich mir angewöhnt diese 2 anzuvisieren und dann bekommt halt der Rest den Splash ab und alle sind gleichzeitig tot. Also hier gehe ich eigentlich von einem ganz speziellem Fehler der 2 aus? Aber beim nächsten mal achte ich nochmal ganz genau drauf...
    PC EU (noCP AD) Grey/Grau AD
    Please raise the population caps.
    @ZOS - Convert the heal on "Hardened Ward" into a HoT pls.
  • CURSIN_IT
    CURSIN_IT
    ✭✭✭✭✭
    Zabagad schrieb: »
    Da bin ich ja auch sehr oft, aber ich weiß gar nicht was du meinst. Sprich ich kenne das nicht und kenne dort aber ein etwas anderes Problem. Angreifbar sind die alle immer und das aus 28M Entfernung. Oder eventuell ist es doch genau dein Problem? Denn 2 der Kwamas bekommen bei mir idR keinen Splash-Schaden ab - aber angreifbar sind sie. So habe ich mir angewöhnt diese 2 anzuvisieren und dann bekommt halt der Rest den Splash ab und alle sind gleichzeitig tot. Also hier gehe ich eigentlich von einem ganz speziellem Fehler der 2 aus? Aber beim nächsten mal achte ich nochmal ganz genau drauf...

    Die Krypta war nur ein Beispiel welches ich direkt benennen konnte. Ich stand da recht häufig (Events, Bestrebungen, whatever), weil ich auf den Spawn der Kwamas wartete. Sobald sie spawnten, hatte einer von denen immer diese Trigger-Animation und bekam keinen Schaden. Mir fiel das in der Krypta extrem auf, weil ich mit AoE eröffne und dann mit Einzelzielschaden beende. Normalerweise stirbt ja alles schon in der AoE. Nur ein Ad blieb hier nun immer übrig. Da hatte ich dann sogar ausgegraute Skills, weil es mit "getriggert werden" noch nicht fertig war. So zumindest meine Wahrnehmung. Das hatte ich auch Overland an Ads die einzeln irgendwo standen. Skill ausgegraut, weil kein Ad da. Ich näherte mich einem Ad und war in Skill-Range. Skills waren nicht mehr ausgegraut. Ich löste den Skill allerdings noch nicht aus. Das Ad wurde getriggert und der Skill war während des roten Blinkens wieder ausgegraut. Ich hab das immer wie ein "Hey warte mal! Ich muss mich erst vorbereiten!" wahrgenommen. Vielleicht ein kurzzeitiges absichtliches Delay um Asynchronität zu verhindern?

    Ähnliches gibt es auch im Archiv. Die Tinten-Wolke (?) in die man ab Start reinlaufen muss, damit die Ads spawnen. Für ca. zwei Sekunden sind die Ads schon zu sehen, aber sind nicht angreifbar. Skills die einen Feind zum Cast benötigen sind zudem ausgegraut. Hier haben die Ads allerdings keine Trigger-Animation.
  • Sun7dance
    Sun7dance
    ✭✭✭✭✭
    ✭✭✭✭
    Ich glaube, dass @CURSIN_IT recht hat.
    Habe mich jetzt etlichen Mobs auf unterschiedliche Art und Weise genähert. Diese Triggeranimation kommt halt auch nicht immer, denn oft greifen die Mobs einfach direkt an.
    Ich vermute, dass es hier eine bestimmte Range gibt und wenn du diese dann ultra schnell überwindest, stecken die halt noch in der Animation drin und es wirkt asynchron.
    Dass auffällig oft der hintere Gegner im Mob keinen Schaden erhält, kann man vermutlich so erklären, dass seine Animation auch erst etwas später getriggert wird und demnach länger anhält.

    Ich habe ca. 10 Videos gemacht, die ich später mal zusammenführe und hochlade.


    Edited by Sun7dance on 15. Dezember 2024 12:45
    PS5|EU
  • Sun7dance
    Sun7dance
    ✭✭✭✭✭
    ✭✭✭✭
    Bissi später als angekündigt, sorry!

    Ort für den Test war Farangels Anleger direkt südwestlich von Wegesruh in Sturmhafen.
    Mal nähere ich mich schnell, dann wieder langsamer.
    Unsichtbar habe ich jetzt mal weggelassen.
    Wenngleich einige Situationen nach wie vor bisschen seltsam wirken (z. b. Fernkampf Skills), würde ich @CURSIN_IT immer noch recht geben. Es ist doch auffällig, dass die Mobs mit dieser am Kopf rot schimmernden Trigger Animation unverwundbar scheinen.

    Von daher muss das hier keine Asynchronität sein, was ich dann auch zurücknehme...sorry dafür!

    https://www.youtube.com/watch?v=nwt3o4jTC5M
    Edited by Sun7dance on 16. Dezember 2024 15:10
    PS5|EU
  • CURSIN_IT
    CURSIN_IT
    ✭✭✭✭✭
    Interessant auch, dass sie definitiv nicht angreifbar sind wenn sie ihre Waffen weggesteckt haben (00:41) oder von Fackel auf Waffe switchen müssen (01:19).
  • Sun7dance
    Sun7dance
    ✭✭✭✭✭
    ✭✭✭✭
    Man kann sie mit weggesteckten Waffen unsichtbar oder halt mit Fernkampf angreifen.
    PS5|EU
Anmelden oder Registrieren, um zu kommentieren.