Model-Based Testing of Automotive HMIs with Consideration for Product Variability

The human-machine interfaces (HMIs) of today’s premium automotive infotainment systems are complex embedded systems which have special characteristics in comparison to GUIs of standard PC applications, in particular regarding their variability. The variability of infotainment system HMIs results from different car models, product series, markets, equipment configuration possibilities, system types and languages and necessitates enormous testing efforts. The model-based testing approach is a promising solution for reducing testing efforts and increasing test coverage. However, while model-based testing has been widely used for function tests of subsystems in practice, HMI tests have remained manual or only semi-automated and are very time-consuming and work-intensive. Also, it is very difficult to achieve systematic or high test coverage via manual tests. A large amount of research work has addressed GUI testing in recent years. In addition, variability is becoming an ever more popular topic in the domain of software product line development. However, a model-based testing approach for complex HMIs which also considers variability is still lacking. This thesis presents a modelbased testing approach for infotainment system HMIs with the particular aim of resolving the variability problem. Furthermore, the thesis provides a foundation for future standards of HMI testing in practice. The proposed approach is based on a model-based HMI testing framework which includes two essential components: a test-oriented HMI specification and a test generation component. The test-oriented HMI specification has a layered structure and is suited to specifying data which is required for testing different features of the HMI. Both the dynamic behavior and the representation of the HMI are the testing focuses of this thesis. The test generation component automatically generates tests from the test-oriented HMI specification. Furthermore, the framework can be extended in order to automatically execute the generated tests. Generated tests must first be initialized, which means that they are enhanced with concrete user input data. Afterwards, initialized tests can be automatically executed with the help of a test execution tool which must be extended into the testing framework. In this thesis, it is proposed to specify and test different HMI-variants which have a large set of commonalities based on the software product line approach. This means the test-oriented HMI specification is extended in order to describe the commonalities and variabilities between HMI variants of an HMI product line. In particular, strategies are developed in order to generate tests for different HMI products. One special feature is that redundancies are avoided both for the test generation and the execution processes. This is especially important for the industrial practice due to limited test resources. Modeling and testing variability of automotive HMIs make up the main research contributions of this thesis. We hope that the results presented in this thesis will offer GUI testing research a solution for model-based testing of multi-variant HMIs and provide the automotive industry with a foundation for future HMI testing standards. Die Mensch-Maschine-Schnittstellen (HMIs) von Infotainmentsystemen der heutigen Premi-umfahrzeuge sind sehr komplexe und eingebettete Systeme. Sie haben im Vergleich mit herkömmlichen PC-Applikationen besondere Eigenschaften, insbesondere bezogen auf ihre Variabilität. Die Variabilität von Infotainmentsystem HMIs ergibt sich aus unterschiedlichen Fahrzeugsmodellen, Produktserien, Märkten, Ausstattungen, System- sowie Sprachvarianten. Die hohe Anzahl der Varianten führt zu enorm hohem Testaufwand. Modellbasiertes Testen ist ein vielversprechender Ansatz, um den Testaufwand durch die automatische Testfallgenerierung und Testausführung zu reduzieren und gleichzeitig die Testabdeckung zu erhöhen. Während modellbasiertes Testen bereits für Funktionstests häufig eingesetzt wird, bleiben HMI Tests meist noch manuell oder teil-automatisiert. Außerdem kann durch manuelles Testen eine sys-tematische Testabdeckung nur sehr schwierig erreicht werden. Zahlreiche Forschungsarbeiten befassen sich mit dem GUI-Testen. Variabilität ist im Bereich der Software-Produktentwicklung ein immer beliebteres Forschungsthema. Ein modellbasierter Testansatz für komplexe HMIs mit Berücksichtigung der Variabilität ist allerdings immer noch nicht vorhanden. Diese Doktorarbeit präsentiert eine modellbasierte Testmethode für Infotainmentsystem HMIs mit dem besonderen Ziel das Variabilitätsproblem zu lösen. Zusätzlich bietet diese Doktorarbeit eine Basis für zukünftiges HMI-Testen in der Industrie an. Der Ansatz in dieser Doktorarbeit basiert auf einem modellbasiertem HMI-Testframework, das zwei essentielle Komponenten beinhaltet: eine Test-orientierte Spezifikation und eine Komponente zur Testgenerierung. Die Test-orientierte Spezifikation hat eine geschichtete Struktur und ist darauf ausgerichtet, die fürs Testen relevanten Daten zu spezifizieren. Sowohl dynamisches Menüverhalten als auch die Darstellung des HMI sind die Testziele. Die Testgenerierung erzeugt automatisch Tests aus der Test-orientierten HMI Spezifikation. Das Testframework kann um eine automatische Testausführung erweitert werden. Nachdem die generierten Tests instanziert werden, ist es möglich sie automatisch innerhalb eines Testautomatisierungsframeworks durchzuführen. Diese Doktorarbeit befasst sich mit Methoden, um die HMI-Varianten effizient zu spezifizieren und zu testen und basiert auf Ansatz für Software Produktlinien. Das bedeutet, die Testorientierte Spezifikation ist erweitert um sowohl die Gemeinsamkeiten als auch die Spezialitäten der Varianten zu beschreiben. Insbesondere werden Strategien entwickelt, um Tests für unter-schiedliche Varianten der Produktlinien automatisch zu generieren. Die Besonderheit dabei ist, dass Redundanzen sowohl für den Generierungsvorgang als auch den Ausführungsvorgang ver-mieden werden können. Das ist wegen den eingeschränkten Ressourcen und aus Effizientsgründen besonders wichtig für die Industrie. Die Modellierung und das Testen von variantenreichen HMIs stellen die Hauptbeiträge dieser Dissertation dar. Die Ergebnisse dieser Doktorarbeit können hoffentlich als eine Lösung für modellbasiertes Testen der multi-varianten HMIs dienen und der Automotive-Industrie eine Basis der zukünftigen HMI Testenstandards liefern.