Problem-solving strategies

Automatically Diagnosing Learners' Strategies for Solving Algorithmic Problems in Lower Secondary Education

Computer Science tutors are frequently confronted with questions like "What way did learners use to reach their solution approaches?" or "What did programming novices think while taking their last implementation steps?". Answering such questions will help to support learners on their further way to a solution or to make a more differentiated evaluation of their solution approaches than just stating "completely correct" respectively "wrong". Searching answers to these questions previous studies in this field apply methods which only enable a subsequent analysis of the learner’s solution process at a significant cost of time. In this work a procedure is developed by which an automated online identification of learners’ problem solving strategies is realizable when they complete algorithmic tasks using the programming environment "Kara, the programmable ladybug". The basis for this is provided by methods and algorithms out of the field of pattern recognition, which have been applied successfully in automatic speech recognition for a long time. These are adapted to the problem set here and embedded in the programming environment as a separate module. A study validating the results of the developed identification tool shows very high agreement with the findings of human observers. Based on the results of this analyzing tool individualized system feedback is designed adapted to the learners’ problem solving strategy, which supports learners on their further way to a solution. With regard to aspects of the attribution theory the feedback messages are optimized for maintaining learners’ motivation during their whole problem solving process. While developing the methods and tools a high transferability to other programming environments was ensured as far as possible. What is also easily conceivable is applying these methods with programming environments out of the area of computer science. In addition the developed procedure is employable in further studies to analyze the dependency of learners’ preferred problem solving strategies on factors like their age, their gender or their performance in other subjects.

Team members

Dr.-Ing. Ulrich Kiesmüller

Dr.-Ing.

Position:
Former Academic Staff
Homepage:
Phone:
+49 9831-88319-0
Prof. Dr. Torsten Brinda

Prof. Dr.

Email
Consultation Hour:
Mittwochs 13:00-14:00 oder n. V. (bitte vorherige Anmeldung per E-Mail)
Room:
SA-222
Phone:
+49 201 18-37248

Publications

Filter:
  • Kiesmüller, Ulrich: Prozessbegleitende automatisierte Identifizierung von Problemlösungsstrategien Lernender beim Lösen algorithmischer Probleme mit Programmierumgebungen in der Sekundarstufe I. Shaker Verlag, Aachen 2013. CitationDetails
  • Kiesmüller, U.; Brinda, T.: Automated Online Identification of Learner Problem Solving Strategies - A Validation Study. In: Bezáková, D.; Kalaš, I. (Ed.): Informatics in Schools: Situation, Evolution and Perspectives – Proceedings of the 5th International Conference on Informatics in Schools (ISSEP 2011). Comenius University, Bratislava 2011. CitationDetails
  • Kiesmüller, U.; Sossalla, S.; Brinda, T.; Riedhammer, K.: Online Identification of Learner Problem Solving Strategies Using Pattern Recognition Methods. In: Acm (Ed.): Proceedings of the 2010 ACM SIGCSE Annual Conference on Innovation and Technology in Computer Science Education (ITiCSE 2010). ACM Press, New York 2010, p. 274-278. CitationDetails

    Learning and programming environments used in computer science education give feedback to the users by system messages. These are triggered by programming errors and give only "technical" hints without regard to the learners' problem solving process. To adapt the messages not only to the factual but also to the procedural knowledge of the learners, their problem solving strategies have to be identified automatically and in process. This article describes a way to achieve this with the help of pattern recognition methods. Using data from a study with 65 learners aged 12 to 13 using a learning environment for programming, a classification system based on hidden Markov models is trained and integrated in the very same environment. We discuss findings in that data and the performance of the automatic online identification, and present first results using the developed software in class.

    Full text in the ACM Digital Library

  • Kiesmüller, U.: Automatisierte, prozessbegleitende Identifizierung der Problemlösestrategien Lernender unter Verwendung von Mustererkennungsmethoden. In: Diethelm, I.; Dörge, C.; Hildebrand, C.; Schulte, C. (Ed.): Didaktik der Informatik - Möglichkeiten empirischer Forschungsmethoden und Perspektiven der Fachdidaktik (Didaktik der Informatik - Aktuelle Forschungsergebnisse. 6. Workshop der GI-Fachgruppe "Didaktik der Informatik"). Köllen, Bonn 2010, p. 93-104. CitationDetails

    Im Informatikunterricht eingesetzte Lernund Programmierumgebungen geben den Benutzenden Feedback in Form von Systemmeldungen, die durch Programmfehler ausgelöst und gesteuert werden und oft nur technische Hinweise enthalten ohne Bezug zum Problemlöseprozess der Lernenden. Um diese Rückmeldungen nicht nur an das Faktenwissen der Lernenden, sondern auch an ihr prozedurales Wissen zu adaptieren, müssen deren Vorgehensweisen bei der Problemlösung automatisiert prozessbegleitend identifiziert werden. Dieser Artikel beschreibt einen Weg, dieses Ziel unter Verwendung von Mustererkennungsmethoden zu erreichen. Die in einer Studie von 65 Lernenden im Alter von 12 bis 13 Jahren erhobenen Daten werden verwendet, um ein auf verborgenen Markow-Modellen basierendes Klassifikationssystem zu trainieren. Dieses System wird integriert in die Programmierumgebung und ermöglicht somit die automatisierte Identifizierung der Vorgehensweise der Lernenden. In diesem Artikel werden die Funktionsweise der automatisierten prozessbegleitenden Identifizierung beschrieben und Ergebnisse aus den erhaltenen Daten diskutiert.

    Volltext

  • Kiesmüller, U.: Diagnosing Learners' Problem Solving Strategies Using Learning Environments with Algorithmic Problems in Secondary Education. In: ACM Transactions of Computing Education, Vol 9 (2009) No 3, p. 1-26. CitationDetails
  • Kiesmüller, U.: Prozessbegleitende, automatisierte Identifizierung der Problemlösestrategien von Lernenden beim Lösen algorithmischer Probleme. In: Koerber, B. (Ed.): Zukunft braucht Herkunft - 25 Jahre "INFOS - Informatik und Schule". Köllen, Bonn 2009, p. 169-180. CitationDetails

    Beim Lehren algorithmischer Grundbegriffe werden oft spezielle Lernund Programmierumgebungen eingesetzt. Diese besitzen altersgerechtes Design und sind leicht erlernund bedienbar. Trotz allem haben viele Lernende Schwierigkeiten in diesem Bereich und ihre Leistungen bleiben hinter den Erwartungen zurück. Eine Voraussetzung zur Verbesserung des Lehr-/Lern-Prozesses besteht darin, genauere Kenntnisse bezüglich der von den Lernenden eingesetzten individuellen Problemlösestrategien zu erhalten. Ein Ziel dieses Forschungsprojekts ist es, bereits während des laufenden Lösungsprozesses die einzelnen Problemlösestrategien automatisiert zu identifizieren und zu kategorisieren. Dazu müssen in die Lernumgebungen spezielle Analyseund Diagnosemodule integriert werden, deren Ergebnisse schließlich in der Gestalt von individualisierten und an die Vorgehensweise der Lernenden adaptierten Systemrückmeldungen verwendet werden können. Dies kann zu einer Verbesserung der Lernund Programmierumgebungen und damit der Informatikstunden, in denen sie eingesetzt werden, führen. In diesem Artikel werden Untersuchungswerkzeuge und der Untersuchungsprozess erläutert sowie erste Studien beschrieben, deren Ergebnisse vorgestellt und diskutiert werden. Außerdem werden Möglichkeiten zur Verifizierung und Validierung dieser Ergebnisse aufgezeigt und eine davon ausgearbeitet.

    Volltext

  • Kiesmüller, U.; Brinda, T.: Automatically identifying learners' problem solving strategies in-process solving algorithmic problems. In: Acm (Ed.): Proceedings of the 14th annual ACM SIGCSE conference on Innovation and technology in computer science education 2009, Paris, France July 06 - 09, 2009 (14th Annual Conference on Innovation and Technology in Computer Science Education (ITiCSE 2009), Paris). ACM Press, New York 2009, p. 354-354. CitationDetails

    Learners often use learning and programming environments to practice basics of programming and solving algorithmic problems. To adapt the software feedback to each learner's problem solving process, the learning environment will be enhanced with a tool to identify the individual problem solving strategy in-process automatically. Former attribution of problem solving strategies to patterns in recorded learner-system interactions by human researchers should be validated with the help of questionnaires based on the Theory of Reasoned Action. To identify the patterns automatically, speech recognition methods can be used. In this research project each single problem solving strategy is modelled by a hidden markov model.

    Full text in the ACM Digital Library

  • Kiesmüller, U.: Diagnosing Learners' Problem Solving Strategies Using Learning Environments with Algorithmuc Problems in Secondary Education. In: Pears, A.; Malmi, L. (Ed.): Proceedings of the 8th International Conference on Computing Education Research - Koli Calling 2008. Uppsala Universitet, Uppsala, Schweden 2009, p. 16-24. CitationDetails
  • Kiesmüller, U.: Automatisierte Identifizierung der Problemlösestrategien von Programmieranfängern in der Seundarstufe I. In: Brinda, T.; Fothe, M.; Hubwieser, P.; Schlüter, K. (Ed.): Didaktik der Informatik - Aktuelle Forschungsergebnisse - 5. Workshop der GI-Fachgruppe "Didaktik der Informatik". Köllen, Bonn 2008, p. 33-42. CitationDetails

    Im Teilbereich der Algorithmik werden oft spezielle Lernund Programmierumgebungen eingesetzt, um insbesondere im Informatikunterricht der Sekundarstufe I den Lernenden die Grundlagen des Programmierens zu vermitteln. In einigen deutschen Bundesländern (z. B. Bayern), werden die Programmiergrundlagen bereits in der 7. Jahrgangsstufe (12 bis 13-jährige) gelehrt, wo dann altersgerecht gestaltete Lernund Programmierumgebungen wie Robot Karol und Kara, der programmierbare Marienkäfer, verwendet werden. Trotz all dieser Be- mühungen bleiben die Leistungen der Lernenden oft hinter den Erwartungen zu- rück. Um eine Verbesserung der Lehr-Lern-Prozesse zu erreichen, ist ein möglicher Ansatz genauere Kenntnisse bezüglich der individuellen Vorgehensweisen von Lernenden beim Erstellen ihrer Lösungen unter Berücksichtigung der Lö- sungsqualität zu erhalten. Ziel des hier angesprochenen Forschungsvorhabens ist die Identifizierung und Kategorisierung verschiedener Vorgehensweisen der Lernenden, um Lernund Programmierumgebungen und den damit gestalteten Informatikunterricht zu optimieren. Dazu müssen die eingesetzten Lernund Programmierumgebungen um spezielle Untersuchungsund Diagnosekomponenten erweitert werden, deren Ergebnisse künftig den Lernenden in Form individualisierter Hilfestellungen zur Verfügung gestellt werden können. Im vorliegenden Text werden Vorüberlegungen dargelegt, die Forschungsmethodik und die Konzipierung und Implementierung der Forschungsinstrumente erläutert, erste Studien beschrieben sowie deren Ergebnisse vorgestellt und diskutiert.

    Volltext

  • Kiesmüller, U.; Brinda, T.: Diagnosing problem solving strategies of programming novices in secondary education automatically?. In: Ifip (Ed.): Proceedings of the Joint Open and Working IFIP Conference on ICT and Learning for the Net Generation - LYICT 2008. 2008. CitationDetails
  • Kiesmüller, U.; Brinda, T.: How Do 7th Graders Solve Algorithmic Problems? A Tool-Based Analysis. In: Acm (Ed.): roceedings of the 13th Annual Conference on Innovation and Technology in Computer Science Education (ITICSE 2008, Madrid). ACM Press, New York 2008, p. 353-353. CitationDetails
  • Kiesmüller, U.; Brinda, T.: Werkzeuggestützte Untersuchung der Vorgehensweisen von Lernenden beim Lösen algorithmischer Probleme. In: Eibl, C.; Magenheim, J.; Schubert, S.; Wessner, M. (Ed.): Die 5. e-Learning Fachtagung Informatik - DeLFI 2007. Köllen, Bonn 2007, p. 295-296. CitationDetails

Talks

Filter:
  • Kiesmüller, U.: Prozessbegleitende automatisierte Identifizierung der Vorgehensweisen von Lernenden beim Lösen algorithmischer Probleme in der Sekundarstufe I - Eingeladener Vortrag; Herbsttagung des MNU-Landesverbandes Franken, 17.09.2009, Universität Bayreuth, Bayreuth. Details