Erläuterungen und Ausführungen zu den Auswertungen

Cyber Watch stellt unterschiedlich aufbereitete Auswertungen zur Verfügung, um folgende Leitfragen beantworten zu können:

• Welches Land publiziert insgesamt am meisten zum Thema IT-Sicherheit?
• Welches Land publiziert je Konferenz am meisten zum Thema IT-Sicherheit?
• Welches Land hat die meisten Publikationen in einem bestimmten Jahr zum Thema IT-Sicherheit?

Was ist das Projektziel?

Eine statistische Auswertung wissenschaftlicher Veröffentlichungen kann hilfreich sein, um verschiedene Aspekte der IT-Sicherheit in verschiedenen Regionen der Welt zu untersuchen und zu vergleichen:

Identifikation von Trends und Ent­wicklungen

Durch die Analyse der Publikationen nach Ländern können Trends und Ent­wicklungen in Bezug auf die IT-Sicherheit in verschiedenen Regionen identifiziert werden. Zum Beispiel können bestimmte Länder führend in der Entwicklung neuer Sicherheitsmaßnahmen oder in der Veröffentlichung von For­schungs­arbeiten zu bestimmten Themen sein.

Bewertung der Forschungskapazität

Eine Analyse der Publikationen nach Ländern kann auch dazu beitragen, die Forschungskapazität in verschiedenen Regionen zu bewerten. Ein Land, das viele Veröffentlichungen zu IT-Sicherheitsthemen aufweist, könnte als führend in der Forschung auf diesem Gebiet angesehen werden.

Vergleich von Praktiken und Ansätzen

Durch den Vergleich der For­schungsergebnisse in verschiedenen Ländern können Unterschiede in den Praktiken und Ansätzen bei der IT-Sicherheit festgestellt werden. Dies kann dazu beitragen, bewährte Verfahren zu identifizieren und möglicherweise zu übernehmen, um die IT-Sicherheit in anderen Ländern zu verbessern.

Identifikation von Schwachstellen und Herausforderungen

Eine Analyse der Publikationen kann auch dazu beitragen, Schwachstellen und Herausforderungen in verschiedenen Regionen zu identifizieren. Zum Beispiel können bestimmte Länder vermehrt von bestimmten Arten von Cyberangriffen betroffen sein oder spezifische Schwächen in ihren IT-Sicher­heits­systemen aufweisen.

Insgesamt kann eine statistische Auswertung aller wissenschaftlichen Publikationen im Arbeitsfeld IT-Sicherheit nach Ländern dazu beitragen, die IT-Sicherheit in verschiedenen Regionen zu verbessern, bewährte Verfahren zu identifizieren und die Forschungskapazitäten zu bewerten.

 

Welche Daten wurden zur Auswertung erhoben?

Grundlage für die Auswertung durch ATHENE Cyber Watch sind alle öffentlich zugänglichen wissenschaftlichen Publikationen (Paper), die bei den folgenden vier Top-Konferenzen zu Cybersecurity angenommen wurden:

• ACM Conference on Computers and Communications (CCS)
• IEEE Symposium on Security & Privacy
• Network and Distributed System Security (NDSS) Symposium
• Usenix Security Symposium

Von den o.g. Webseiten der jeweiligen Konferenzen wurden alle öffentlich Informationen zu vergangenen Veranstaltungen nach den dort akzeptierten Publikationen, ihren Autoren und Affiliationen durchsucht. So ist eine Datenbasis mit ca. 1600 Publikationen aus dem Zeitraum 2016 bis 2022 entstanden.

Leider sind nicht auf allen Konferenzseiten Informationen zu allen früheren Veranstaltungen mitsamt den dort vorgestellten Publikationen durchgehend öffentlich zugänglich. Für einige Konferenzen gibt es daher keine Daten für alle Jahrgänge. Dies bedeutet eine ungleiche Verteilung der Daten über die Jahrgänge und Konferenzen - bezogen auf die gesamte Datenbasis. Um diesem Umstand gerecht zu werden und die Auswertungen, welche vergleichend über alle Konferenzen erstellt wurden, nicht zu verzerren, wurden zunächst nur Zeiträume gewählt, für die Daten von allen vier Konferenzen vorliegen (2020-2022). Die genaue Verteilung kann den nachfolgenden Diagrammen und der Tabelle entnommen werden.

Konferenz/Veranstaltung	Zahl der Paper	Datum des letzten Abrufs
CCS 2020	121	März 2023
CCS 2021	196	März 2023
CCS 2022	109	März 2023
IEEE SP 2016	55	März 2023
IEEE SP 2017	66	März 2023
IEEE SP 2018	63	März 2023
IEEE SP 2019	83	März 2023
IEEE SP 2020	104	März 2023
IEEE SP 2021	115	März 2023
IEEE SP 2022	147	März 2023
NDSS 2021	87	März 2023
NDSS 2022	30	März 2023
Usenix Summer 2020	38	März 2023
Usenix Fall 2020	44	März 2023
Usenix Summer 2021	61	März 2023
Usenix Fall 2021	115	März 2023
Usenix Summer 2022	97	März 2023
Usenix Fall 2022	79	März 2023
Usenix Winter 2022	80	März 2023

 

Die aktuelle Datenbasis besteht aus 1681 Einträgen zu Publikationen. (Stand März 2023)

 

Wie genau funktioniert die Metrik für das Ranking?

Grundsätzlich wird für jedes Paper bestimmt, aus welchem Land es stammt. Da aber in der Regel keine strukturierten Metadaten vorliegen, aus denen diese Information unmittelbar hervorgehen würde, werden dazu zuerst die in den Publikationen genannten Autoren und Affiliationen extrahiert und anschließend Ländern zugeordnet. Die Affiliationen sind überwiegend universitäre und außeruniversitäre Forschungs­ein­rich­tun­gen sowie Unternehmen. Die Zuordnung von Publikationen zu Ländern geschieht auf Basis der Zuordnung dieser Institutionen zu Ländern. Zur Auflösung werden ausschließlich öffentlich zugängliche Listen von Universitäten, Unternehmen und Ländern verwendet. Die Zuordnung erfolgt weitestgehend automatisch.

Während jeder Institution nur ein Land zugeordnet wird, können jedem Paper durchaus auch mehrere Länder zugeordnet werden. Dies ist genau dann der Fall, wenn mehrere Autoren für ein Paper angeführt werden, deren Affiliationen/Institutionen verschiedenen Ländern zugeordnet wurden. Dabei gibt es aber für jedes Land maximal einen "Punkt" pro Paper. Anders ausgedrückt: Es handelt sich um eine 1:n-Relation "Paper zu Land".

Beispiel: Ein Paper nennt die Autoren: "Thomas Dexheimer (Fraunhofer SIT), Carsten Schmidt (TU Darmstadt) und Bill Gates (Microsoft)".

1. Fraunhofer SIT und die TU Darmstadt werden Deutschland zugeordnet.
2. Das Unternehmen Microsoft wird den USA zugeordnet.
3. Die Länder-Zähler für Deutschland und USA werden jeweils um eins erhöht.

Diese bewusst gewählte Zählweise bringt sowohl Vorteile als auch Nachteile mit sich. Ein Vorteil besteht eindeutig darin, dass jede mögliche Berücksichtigung eines Landes pro Paper auch gezählt wird. Alle Institutionen/Länder sind sozusagen gleich wichtig. So werden im Vergleich zu einer alternativen Länderwertung "nur ein Land pro Paper" Benachteiligungen ausgeschlossen. Ein Nachteil besteht allerdings darin, dass nun die Summen "Gesamtzahl Paper" und "Gesamtzahl Länderwertungen" voneinander abweichen können. Für letzteres sind demnach rechnerisch auch mehr als einhundert Prozent möglich.

Bei einem Teil der Paper ist eine automatische Zuordnung zu Ländern leider nicht möglich. Dies kann zwei verschiedene Gründe haben: Entweder fällt die Zuordnung von Institution zu Land mehrdeutig aus oder eine Institution ist so unbekannt, dass sie überhaupt keinem Land zugeordnet werden konnte. Besonders problematisch ist die automatische Erkennung bei Affiliationen, deren Namen nur in abgekürzter Form angegeben werden. So kann beispielsweise "TUD" gleichermaßen für die Technische Universität in Darmstadt, Dresden, Dortmund oder eben auch Dublin stehen. Ein anderer Problemfall sind prominente Namensvetter, wie z.B. bei der "University of New York": 

• University of New York in New York, USA
• University of New York in Qatar, UAE

Diagramme und Tabellen

Zur Darstellung der verschiedenen Auswertungen werden Tabellen, Balkendiagramme und Tortendiagramme genutzt:

Top 3 / Top 4 Ranking

Die Tabellen zu Beginn jeder Seite geben ein schnellen Überblick über die absoluten Ranglistenführer. Für die Gesamtübersicht wird eine Top 4 der Länder angezeigt. Bei Auswahl von Konferenzen oder Jahrgängen werden jeweils nur die Top 3 pro Konferenz oder Jahr angezeigt.

Gesamtranking

Eine große Tabelle listet jeweils alle Länder in der aktuellen Auswahl nach absteigendem Rang

Balkendiagramme Publikation pro Länder Top 10 und Gesamt

Eine einfache Darstellung der Länder mit den meisten Publikationen liefern die zwei Balkendiagramme: "Top 10" und Gesamt. In der Top werden nur die 10 Länder mit den meisten Publikationen dargestellt. Zur verbesseren Vergleichbarkeit wurde alle Balkendiagramme mit derselben Skalierung der Achsen angefertig. Diese lässt sich aber interaktiv anpassen. Ein weiteres Balkendiagramm (mit horizontalen Balken) stellt die absolute Anzahl der Publikation für alle Länder dar.

Balkendiagramm Publikationen pro 100 Mio. Einwohner pro Land

Eine weitere Auswertung normiert die Anzahl der Publikationen unter Berücksichtigung der Bevölkerungszahlen. So können auch Länder mit geringerer Einwohnerzahl im Top10-Ranking auftauchen, die absolut weniger Publikationen haben, als Länder mit größeren absoluten Zahlen (und typischerweise höherer Bevölerungszahl). Dabei werder Länder mit weniger als 1% der Gesamtzahl Paper in der aktuellen Auswahl ausgelassen, da diese sonst das Ranking verzerren würden (Beispiele: Jersey, Luxembourg). 

Tortendiagramm Länder pro Publikation

Zur besseren Transparenz der zugrundeliegenden Daten gibt ein Tortendiagram Auskunft darüber, wie viele Paper aus dem jeweiligen Datenset einem, zwei oder mehreren Ländern zugeordnet wurden. Auch der Anteil von Publikationen, deren Zuordnung zu Ländern nicht eindeutig oder überhaupt möglich war, wird dort ausgewiesen. In der aktuellen Datenbasis konnten bspw. 1519 von 1681 Einträgen zu Publikationen automatisch einem oder mehreren Ländern zugordnet werden. In 165 Fällen war dies nicht möglich. Das entspricht einer Erkennungsrate von über 90 Prozent.