Strategische Entscheidungen zum Einsatz von Softwarelösungen sollten stets auf einer vergleichenden Bewertung der auf dem Markt verfügbaren Angebote basieren (Benchmarking). Ein Benchmarking wird sogar unabdingbar, wenn mit der Entscheidung hohe Investitionen verbunden sind, ernsthafte Risiken für den ungestörten Betrieb des Unternehmens bestehen oder eine langfristige Bindung an einen Lieferanten erfolgt.
Dieser Artikel stellt eine Methode zur strukturierten vergleichenden Bewertung von Softwarelösungen vor, erläutert den Aufbau eines geeigneten Werkzeugs für den Benchmarking-Prozess und diskutiert Herausforderungen wie die Handhabung von Komplexität und Möglichkeiten zur Objektivierung der Ergebnisse.
Die methodische Annäherung an die Aufgabe spiegelt sich in der Struktur eines Benchmark-Projekts wieder.
Struktur eines Benchmarking Projekts
Ein Benchmark-Projekt kann in unten näher beschriebene Arbeitspakete (AP) untergliedert werden. Es gilt zu beachten, dass Arbeitspakete AP1 und AP2 sind eng mit der Strategie des Unternehmens verbunden sind und deshalb mit dem Vorstand gemeinsam entwickelt oder zumindest genehmigt werden.
- (AP1) Überblick über bestehende IT-Systemlandschaft (Infrastruktur, Fremdsysteme, Schnittstellen, Anwendungen (Software (SW)), Daten, Dienstleister)
- (AP2) Entwickeln der IT-Strategie (Ist-Analyse, Zukunftsbild, GAP-Analyse, Programm)
- (AP3) Anforderungsmatrix für zukunftsfähige Anwendungen
- (AP4) Marktanalyse (SW-Produkte, SW-Unternehmen, Marktanteile, Medienecho)
- (AP5) Auswahl von Anwendungen (n>2) mit hinreichend hohem Potential
- (AP6) Angaben-basiertes Benchmarking und Selektion der zwei besten Lösungen
- (AP7) Teststellung der zwei Lösungen und Anwendertests (key user experience)
- (AP8) Erfahrungsbasiertes Benchmarking der Teststellungen
- AP9) Auswahl der künftigen Anwendung und Empfehlung an Entscheidungsträger
Die weitere Untergliederung eines jeden Arbeitspakets in Aufgaben mit einer entsprechenden Beschreibung der Ziele (Meilensteine), einer realistischen Zeitplanung und der Planung der benötigten Ressourcen mündet in einen soliden Projektantrag, der dem Management zur Entscheidungsfindung präsentiert werden kann.
Ist das Projekt genehmigt, kann es an die Umsetzung gehen. Spätestens jetzt muss die Projektleitung mit Methoden zur Bewertung komplexer Anwendungen beschäftigen, die aussagekräftige Ergebnisse liefern und gleichzeitig die subjektiven Bewertungen der handelnden Personen in objektive Ergebnisse überführen.
In diesem Artikel wird eine Methode für das Benchmarking digitaler Anwendungen weiterentwickelt, die vor mehr als 15 Jahren bei Magna International Europe AG für das Benchmarking von Engineering-SW erstmalig zum Einsatz kam und in ihrer weiterentwickelten Form wiederholt erfolgreich angewandt wurde. Sie besticht durch ihren generischen Charakter und eine praktikable Handhabung, überzeugt mit statistischen Methoden zur Objektivierung subjektiver Bewertungen und weiteren, die an Verfahren der künstlichen Intelligenz erinnern.
Methode und Werkzeug für objektives Benchmarking
Die methodische Vorgehensweise wurde bereits bei der Entwicklung der Arbeitspakete (AP) eines Benchmarking-Projekts grob beschrieben. In diesem Abschnitt werden die Grundlagen der AP3 (Anforderungsmatrix für zukunftsfähige Anwendungen) und AP 6 (Angaben-basiertes Benchmarking) näher beschrieben und Ergebnisse diskutiert.
Liste der Anforderungen
Eine Anforderungsmatrix für ein SW-Benchmarking entsteht, wenn relevante Funktionen einer Anwendung benannt werden, in logischen Klassen gruppiert und einer Art zugeordnet werden.
Obere Ebene
Mittlere Ebene
Untere Ebene
= Arten
= Klasse
= Funktion
Bezeichnung L1x
Bezeichnung L2x
Bezeichnung L3x
Abbildung 1 verdeutlicht die Struktur der Anforderungsmatrix an einem praktischen Beispiel:
Eine gute Anforderungsmatrix sollte jedenfalls neben allgemeinen Anforderungen und Funktionen auch Aussagen zur Integration in die bestehende Infrastruktur, etablierte Daten- und Nutzerverwaltungsprozesse, zu Einsparungspotentialen und Kosten, zu Dienstleistungsangeboten und SLA’s, sowie zu strategischen Implikationen zulassen.
Gewichte für Funktionen, Klassen und Arten
Funktionen, Klassen und Arten werden gewichtet, um deren Bedeutung für das Unternehmen zu beschreiben. Dabei soll das Gewichte einer individuellen Funktion einen Wert zwischen 0<n<1 annehmen und die Summe der Gewichte aller Funktionen innerhalb einer Klasse sich zu 1,0 aufaddieren. In selber Art und Weise werden die Gewichte von Klassen innerhalb einer Art bestimmt, sowie die Gewichte der Arten insgesamt. Abbildung 2 verdeutlicht das Konzept.
Exkurs
Ein Hilfsmittel für die Festlegung der Gewichte kann die unmittelbare vergleichende Bewertung von Funktionen sein. In Abbildung 3 wird durch Eintrag der Zahlen 0, 1 oder 2 entschieden, ob der die Steuerung der Zugriffsrechte wichtiger ist, als die Datenspeicherung, wichtiger als die Allgemeinen Funktionen, als die Zusatzfunktionen, die Nutzerfreundlichkeit oder die Funktionen zur Sicherstellung der Datensicherheit/Datensicherung.
Ausgeblendet werden korrespondierende Einschätzungen, die sich leicht durch einfache Excel-Operation des SVERWEIS erzeugen lassen (Abbildung 4).
In Spalte „Score“ werden wird die Punktezahl der Funktion aufsummiert, und es entsteht durch das Verhältnis der relativen Punktezahl einer Funktion zur Gesamtpunktezahl der Klasse das relative Gewicht der Funktion (Siehe Spalte „Relative Weight“).
Exkurs Ende
Angaben-basiertes Benchmarking
Die Anforderungsmatrix wurde erstellt und die Bedeutung der Funktionen, Klassen und Arten festgelegt. Somit kann mit der Bewertung der vordefinierten Softwarelösungen begonnen werden.
Experten aus verschiedenen Bereichen des Unternehmens werden im nächsten Schritt aufgefordert, anhand von Leistungsbeschreibungen, Marketingunterlagen und Veröffentlichungen die Funktionen der Software geht zu bewerten.
Die Bewertung erfolgt anhand der Vergabe von Punkten. Im vorliegenden Beispiel wurde eine Skala zwischen 1 – 6 Punkten gewählt und führte zu folgendem Ergebnis:
Das Ergebnis des Benchmarkings wird umso besser sein, je mehr Experten an der Bewertung der Funktionalitäten teilnehmen, da Wissenslücken ausgeglichen und persönliche Präferenzen ausgemittelt werden. Stark abweichende Bewertungen können über die Varianz des Datensatzes sichtbar gemacht werden und zur Glättung subjektiver Bewertungen, zum Anstoßen weiterführender Recherchen oder als Anlass zur Erweiterung der Anforderungsmatrix genutzt werden.
Zusammenfassung
Entscheidungen im IT-Umfeld sind oftmals mit hohen Investitionen, der Einführung neuer Prozesse und Abläufe, einer mittelfristigen Bindung interner Ressourcen, hohen Aufwänden für Datenmigration und Schulungen, und langfristigen Verpflichtungen gegenüber Softwareherstellern oder IT-Dienstleistungen verbunden. Die Tragweite der Entscheidungen erfordert daher jedenfalls eine umfassende und sorgfältig durchgeführte vergleichende Bewertung der auf dem Markt verfügbaren Optionen (Benchmark).
Der Artikel stellte eine Methode zur strukturierten Durchführung von Benchmarks vor und diskutierte die Handhabung von mit der Komplexität und Möglichkeiten zur Objektivierung der Ergebnisse.
Festzuhalten bleibt, dass methodisch sauber durchgeführter Benchmarks stets mit einem großen Aufwand verbunden sind. Sie sollten in einem eigenen Projekt geplant werden und über Projektfortschrittberichte in das Berichtswesen der Führungsebene eingebunden werden. Auf diese Art und Weise werden Entscheidungsträger/innen in den Entscheidungsprozess eingebunden und das Budget für die Umsetzung der Empfehlungen aus dem Benchmark-Projekt reserviert.