Wie kann man den Erfolg eines Software-Projekts messen? Dabei meine ich nicht die “Inputs” (im Budget geblieben, Zeitrahmen eingehalten, alle 592 Features implementiert) sondern anhand das Projekt-Ergebnis (“Output” - das was hinten rauskommt). Wenn man mit Auftraggebern spricht, ist es manchmal gar nicht so einfach, eine quantitative Definition für den Projekterfolg zu bekommen. Alle sind sich einig, dass der Erfolg im “Kundennutzen” besteht, nur wir der leider häufig eher vage beschrieben als “Effizientere Prozesse”, “Planungsqualität erhöhen”, “Kundenbeziehung intensivieren” usw. Diesen Nutzen zu quantifizieren macht Arbeit, lohnt sich aber – spätestens, wenn klar wird, dass nicht alle wünschenswerten Features umgesetzt werden können.

Den Nutzen der Corona-Warn-App messen

Das will ich heute am Beispiel der Corona-Warn-App etwas vertiefen. Der Nutzen besteht hauptsächlich in geretteten Leben, vermiedenen Kosten für das Gesundheitssystem und vermiedenen Kosten für die gesamte Wirtschaft. Das alles quantitativ zu fassen, dürfte sehr schwer sein, ganz zu schweigen von der Frage “Wieviele Euros ist ein gerettetes Leben wert?”

Wir können das Problem vereinfachen, indem wir sagen:

These: Der Nutzen der Corona-Warn-App wächst proportional zur Anzahl der vermiedenen Infektionen

Die Anzahl vermiedener Infektionen ist eine Proxy-Variable, also eine Ersatz-Messgröße, die leichter zugänglich ist, als die eigentlich interessierenden Größen (gerettete Leben, vermiedene Kosten). An solchen Vereinfachungen kann man immer Kritik üben. Zum Beispiel würden die wirtschaftlichen Kosten überproportional anwachsen, wenn die Fallzahl eine gewisse Schwelle übersteigt und wieder ein landesweiter Lockdown angeordnet wird.

Infektionen werden durch die App vermieden, wenn

• ein Infizierter A einem Menschen B begegnet,
• B sich bei A ansteckt,
• beide die App installiert haben,
• die App während der Begegnung bei beiden aktiv war,
• A ein positivees Testergebnis erhält und diese Tatsache an das Netzwerk weiter meldet
• B rechtzeitig über die Risiko-Begegnung benachrichtigt wird,
• B sein Verhalten ändert, so dass nicht weitere Personen (C, D, E,…) angesteckt werden

Das ist die “Customer Journey” von A und B, die zum Erfolg der App beiträgt.

Auch die Anzahl der vermiedenen Infektionen kann man nicht präzise erfassen, wir gehen noch einen Schritt weiter in der Vereinfachung:

These: Der Nutzen der Corona-Warn-App wächst proportional zur Anzahl der erkannten Risiko-Begegnungen

Wie können wir das positiv beeinflussen?

• Eine höhere Anzahl an App-Installationen erhöht die Wahrscheinlichkeit, dass beide Beteiligte einer Risiko-Begegnung die App auf ihrem Smartphone haben.
• Die App sollte einfach zu bedienen sein, und sie sollte im Hintergrund laufen. Beides erhöht die Wahrscheinlichkeit, dass die App bei beiden nicht nur installiert ist, sondern auch die Begegnung erfasst. Apple und Google haben sich im Vorfeld darum gekümmert, dass ihre Smartphone-Betriebssysteme die Kontakt-Erfassung im Hintergrund unterstützen.
• Es sollte für positiv Getestete einfach und schnell sein, das Netzwerk zu warnen. Für alle anderen Nutzer sollten die Updates zu Risiko-Begegnungen möglichst häufig sein, denn je früher sich jemand isoliert, desto geringer die Chance, dass weitere Leute angesteckt werden.

Vieles in dieser Liste mag etwas trivial klingen, trotzdem ist es nützlich, sich das klar zu machen. Denn später hängen Entscheidungen in der Produktentwicklung an diesen Argumenten: “Wir können Feature X oder Feature Y als nächstes implementieren. Welches hat den größeren Kundenutzen?”

Netzwerk-Effekte

Auf Punkt “beide haben die App installiert” will ich noch etwas detaillierter eingehen. Wenn 10% der Bevölkerung die App installiert haben, welcher Prozentsatz an Risiko-Begegnungen wird dann erfasst? Wir wollen vereinfachend annehmen, dass die beiden Teilnehmer zufällig aus der Bevölkerung ausgewählt werden. Jede Person hat die App mit Wahrscheinlichkeit 0,1 (10%). Die Wahrscheinlichkeit, dass sie beide die App installiert haben, ist dann das Produkt der beiden Wahrscheinlichkeiten

0,1 * 0,1 = 0,01 = 1%

Es werden also bei 10% “Marktdurchdringung” leider nur 1% der Risiko-Begegnungen erfasst. Wenn die App ganz extrem erfolgreich wird, sind es vielleicht 90% der Bevölkerung, die teilnehmen. Dann haben wir

0,9 * 0,9 = 0,81 = 81%

also würden 81% der Risiko-Begegnungen erfasst. Weil immer beide Teilnehmer einer Begegnung die App installiert haben müssen, multiplizieren sich die Wahrscheinlichkeiten, es gilt also

Der Nutzen der Corona-Warn-App wächst quadratisch mit der Anzahl der Teilnehmer

Hier ist das nochmal grafisch dargestellt:

Sie sehen: die ersten Millionen Nutzer bringen noch nicht allzu viel. Derzeit (Stand 9.7.2020) sind wir bei 15,4 Mio Installationen, das entspricht nur 3,4% der Risiko-Begegnungen.

Das quadratische Wachstum des Nutzens ist auch bekannt als Netzwerk-Effekt (Metcalfe’s Law), aufgestellt von Robert Metcalfe, dem Haupt-Erfinder des Ethernets.

Metcalfe hatte ein Problem, als seine Firma 3Com versuchte, die ersten Computernetzwerke für PCs an den Mann zu bringen: der Nutzen ist relativ gering, solange nur wenige PCs angeschlossen sind, wächst aber mit wachsender Durchdringung überproportional an. Also überzeugte er seine Kunden, mehr Netzwerk-Equipment anzuschaffen, damit sie die kritische Masse vernetzter PCs innerhalb eines Unternehmens überschreiten. Damals (anfang der Achtziger Jahre) kosteten Ethernet-Karten noch $1000 pro Stück. Heute sind wir bei einer Durchdringung von nahezu 100%, und Metcalfe hat recht behalten.

Ähnliche Wachstumskurven für den Kundennutzen (network effects) gibt es in vielen Bereichen

• Kommunikations-Netzwerke wie etwa Instagram, der Nutzen wächst quadratisch mit der Anzahl User, die sich Nachrichten senden können
• Transport-Netzwerke. So wird etwa bei Flixbus der Wert des Routennetzes quadratisch mit der Einwohnerzahl der angefahrenen Städte anwachsen
• Plattformen, wie etwa Ebay. Dort ist der Nutzen ungefähr proportional zu der Anzahl potenzieller Transaktionen, also Anzahl Angebote * Anzahl Nachfragen.
• Bitcoin, auch hier kann man argumentieren, dass der Nutzen mit der Anzahl potenzieller Bitcoin-Transaktionen wächst, also mit dem Quadrat der Bitcoin-User.

Was heißt das für’s Produkt-Management?

Bei der Corona-Warn-App ist die Anzahl der Installationen der größte Hebel für den Gesamt-Erfolg. Leider ist diese Anzahl noch viel zu gering, um einen signifikanten Effekt zu erzielen. Wenn man die Installationszahlen im Zeitverlauf umrechnet auf den Anteil erkennbarer Risiko-Begegnungen, ergibt sich dieses Bild:

Eine höhe “Marktdurchdringung” kann man natürlich mit technischen Maßnahmen befördern, etwa:

• die App auf älteren Smartphones laufähig machen
• weitere Sprachen anbieten
• Usability verbessern

Man sollte sicher an diesen Themen weiterarbeiten, denn schon eine 10% höhere Installationszahl bringt ja 21% Zuwachs an erkennbaren Risiko-Begegnungen (quadratischer Zuwachs, 1,1 * 1,1 = 1,21).

Ich bezweifle aber, dass solche Maßnahmen das Gesamtbild signifikant ändern werden. Was wir brauchen ist eine Vervielfachung der Anzahl Installationen, also etwa Verdreifachung auf 45 Mio, für den neunfachen Effekt, d.h. 29% erkennbare Risiko-Begegnungen.

Was kann man tun? Die aktuell laufende Werbekampagne mit geschätzten 10-15 Mio Euro Kosten war sicher sinnvoll. Ich bin auf diesem Gebiet totaler Laie, kann also nur vermuten, dass der Effekt so einer Kampagne nach vier Wochen eher schwächer wird. Man muss also wohl nochmal fundamental etwas anders machen. Vielleicht über Anreize für die Installation nachdenken? Ein Gewinnspiel mit wöchentlicher Auslosung von 10000 Euro unter allen aktiven Installationen? Lässt sich dabei die Anonymität wahren? Oder Aufrufe der Kirchen, der Parteien und der Gewerkschaften? Die Top 10 der beliebtesten Promis für den guten Zweck einspannen? Eine Verpflichtung zur Installation ist ja politisch nicht durchsetzbar, genauso wenig wie jegliche “Diskriminierung” von Leuten, die die App nicht installiert haben.

Wahrscheinlich wird es darauf hinauslaufen, dass die Infektionszahlen wieder steigen und mit ihnen hoffentlich die Bereitschaft, die Corona-Warn-App auf dem eigenen Smartphone zu installieren.

Kundennutzen quantitativ analysieren lohnt sich

Auch wenn wir den absoluten Nutzen der Corona-Warn-App nicht exakt quantitativ fassen können, zeigt die obige Diskussion doch, dass es sich lohnt, quantitativ über den Nutzen eines Projekts nachzudenken. Durch die relative Bewertung der Faktoren und die Einsicht, dass wir es in diesem Fall mit Netzwerk-Effekten zu tun haben, kommt man zu wesentlich besseren Entscheidungen als mit rein qualitativen Argumenten.

Matthias Berth