sola – System zur Prävention und Analyse von musikbezogenen Beschwerden

sola – System for the prevention and analysis of music-related sufferings

„sola“ ist ein System für Musizierende, das Sensordaten während des Spielens sammelt und diese interpretiert, visualisiert sowie bei potentiell gesundheitsgefährdender Ausführung direktes Feedback gibt. Es fördert die Selbstkontrolle während des Übens und unterstützt bei der Prävention von spielbezogenen Beschwerden.

"sola" is a system for musicians which collects sensor data while playing and interprets and visualizes them simultaneously. As soon as it detects any potentially health-endangering performance it will gives direct feedback and will show concrete proposals for adjustments. It promotes self-control during practice and supports the prevention of play related sufferings.

Hintergrund des Projekts

Project background

Musizieren und ein Instrument zu erlernen ist altersunabhängig und für jeden möglich. Für eine spätere professionelle Laufbahn beginnt die Vorbereitung meist schon im Kindesalter mit 4 – 6 Jahren. Das beschwerdefreie Spielen ist Voraussetzung für ein erfolgreiches Ausüben des Instruments über Jahrzehnte hinweg. Jedoch haben viele professionelle Musiker_innen, aber auch Musikschüler_innen Beschwerden beim Spielen. Gerade beim Üben, welches den Großteil der Zeit am Instrument ausmacht, ist es von großer Wichtigkeit darauf zu achten, dass keine Fehlhaltungen und -belastungen entstehen.

Bis jetzt gibt es kaum Produkte, die das Spiel im Detail analysieren können und auf den/sie Spieler_in individuell eingehen. Anders verhält es sich beim Sport, wo es bereits für Laien und Profis digitale Unterstützungsmöglichkeiten gibt.

The ability to play the instrument without any problems is a requirement for a successful practice of the instrument over decades. However, many professional musicians, but also many music students, have sufferings while playing. Especially when practicing, which accounts for the majority of the time spent with the instrument, it is of great importance to ensure that no incorrect postures or stresses occur.

Until now there are hardly any products that can analyze the playing in detail and respond to the individual musician. The situation is different in sports, where there are already digital support options for amateurs and professionals.

Konzeption und Recherchengrundlage

Concept and Research

Beim Spielen der meisten klassischen Instrumente nimmt der/die Spielende eine nicht ergonomische Haltung ein. Zusätzlich wird durch lange Spielzeiten und einem hohen Leistungsdruck der Körper des/der Musizierenden stark beansprucht. Beschwerden wie Schmerzen in den Händen, Rücken und Hals, sowie andere Krankheitsbilder sind für angehende und professionelle Musiker_innen nicht selten.

Oft führen sie auch zu Arbeitsausfällen bis hin zur Berufsunfähigkeit, was ein großes Problem für Berufsmusiker_innen darstellt. Besser ist es, wenn diese Probleme frühzeitig erkannt werden und somit Beschwerden gar nicht erst auftreten. Das entstandene Ergebnis meiner Bachelor Arbeit soll Musizierende unterstützen, diese Probleme von vornherein zu umgehen.

Auf der Basis der Recherche entstanden unterschiedliche erste Konzepte, von denen ich zwei weiter ausarbeitete, um sie mithilfe eines ersten Prototypens zu validieren und einem Experten vorzuführen. Für den Prototypen des ersten Konzepts wurde das MYO Armband mit der dazugehörenden Software zum Auslesen der Daten verwendet. Das zweite Konzept wurde mithilfe der ml5.js Library umgesetzt, die durch Machine Learning das Tracken der Bewegung ermöglicht.

When playing most classical instruments, the musician adopts a non-ergonomic posture. In addition, long periods of practise and high pressure to perform put great strain on the body of the musician. Sufferings such as pain in the hands, back and neck, as well as other clinical pictures are not rare for professional and future musicians. They often lead to absenteeism from work and even to the inability to work, which is a major problem for professional musicians. It is better if these problems are recognised early on and thus sufferings do not occur in the first place. The result of my Bachelor thesis should help musicians to avoid these problems in the first place.

Based on the research, I developed different first concepts. I developed the two favorite further in order to validate them with the help of a first prototype and present them to an expert. For the prototype of the first concept, the MYO armband with the corresponding software was used to read the data. The second concept was implemented using the ml5.js library, which allows the movement to be tracked through machine learning.

Spielanalyse durch Messung der Muskelanspannung und Bewegungsanalyse durch Bewegungstracking

Analysis of the play by measuring the muscle tension and by movement tracking

Ergebnis

Result

Systemaufbau

Structure of the system

Das System besteht aus drei Bestandteilen: dem Sensor, der Datenbank und einem digitalen Device (siehe Abbildung). Daten werden durch einen oder mehrere Sensoren am Instrument, oder direkt am Körper gemessen und in einer Datenbank in der Cloud gespeichert. Das grafische Interface dient als Visualisierungsmöglichkeit der Echtzeitdaten und der gesammelten Datensätzen. Dieser Aufbau ist für jeden Sensor gleich und, da immer Daten gesammelt und dann visualisiert werden.

1

Die Live-Daten werden über Bluetooth an das Tablet geschickt und dort in Echtzeit mit den Noten angezeigt.

2

Wird ein Problem festgestellt, beispielsweise wenn der/die Musiker_in zu fest drückt oder keine Pause macht, wird der Sensor alarmiert, der ein Feedback zum Beispiel in Form einer Vibration abgibt.

3

Die Daten werden während des Spielens in einer Datenbank gespeichert und erhalten dort einen Zeitstempel, sodass sie später wieder aufgerufen und angeschaut werden können.

4

Gespeicherte Daten können nach dem Spielen durch die digitale Anwendung visualisiert werden. Zudem können unterschiedliche Datensätze miteinander verglichen werden.

5

Werden durch die digitale Anwendung Einträge getätigt, so werden diese in der Datenbank gespeichert.

Das Konzept wurde am Beispiel eines Armbands, das EMG-Daten misst, ausgearbeitet. Dazu wurde das MYO-Armband von Talmi Labs für den Prototypen verwendet. Das Instrument Violoncello wurde als Beispiel ausgesucht, jedoch ist das Konzept ebenfalls auf andere Instrumente übertragbar und unterscheidet sich dabei hauptsächlich in der Interpretation der Daten.

The system consists of three components: the sensor, the data base and a digital device (see figure). Data is measured by one or more sensors on the instrument or directly on the body of the musician and stored in a database in the cloud. The graphical interface is used to visualize the real-time data and the collected data sets. This structure is equal for each sensor, since data is always collected and then visualized.

1

– The live data is sent to the tablet via Bluetooth and displayed there in real time with the scores.

2

If a problem is detected, for example if the musician presses too hard or does not take a break, the sensor is alerted and gives feedback, for example in the form of a vibration.

3

The data is stored in a data base during the game, where it is timestamped so that it can be retrieved and viewed later.

4

Stored data can be visualized by the digital application after playing. In addition, different data sets can be compared with each other.

5

If entries are made by the digital application, these are stored in the database.

The concept was developed using the example of a wristband that measures EMG data. The MYO Armband from Talmic Labs was used for the prototype. The violoncello was chosen as an example, but the concept can be transferred to other instruments and differs mainly in the interpretation of the data.

Während des Spielens

While playing

Während der Übeeinheit trägt der/die Spielende das Sensor-Armband am linken Arm. Auf dem Tablet werden die aktuellen Noten angezeigt und es kann wie auch mit analogen Noten gespielt werden. Das Armband misst die Zeit über die Muskelanspannung im linken Arm und erkennt, wenn ein kritischer Zustand erreicht wurde. Ist dieser erreicht, so wird vom System ein visuelles Feedback (Farbe und Hinweis in Textform) und ein taktiles Feedback (Vibration) gegeben.

Während des Üben kann durch das Berühren der Noten die Einheit pausiert werden und problematische Stellen über die Markierung in den Noten nochmals genauer betrachtet werden. In dieser Ansicht sind ebenso Anmerkungen, die während des Spielens gemacht worden sind, aber nicht abgebildet werden, angezeigt.

During the practice unit, the musician wears the sensor armband on the left arm. The current scores are displayed on the tablet. While playing the bracelet measures the muscle tension in the left arm and detects when a critical condition has been reached. Once a critical state is reached, the system provides visual (color and text) and tactile feedback (vibration).

While practicing, the unit can be paused by touching the scores and problematic areas can be examined more closely via the highlighted parts in the scores. This view also displays suggestions or warnings that were made while playing but are not displayed then.

Spielhinweise und Erinnerungen werden in den digitalen Noten dynamisch angezeigt

Suggestions and Warnigs are shown dynamically inside the scores whyle playing

Nach dem Spielen

After playing

Vor und nach dem Üben kann über die „Tagesansicht” nochmals eine Zusammenfassung aller Hinweise betrachtet werden. Neben der Beschreibung des Problems, werden von dem System Vorschläge zur Veränderung und Anpassung der Haltung oder Spielweise, sowie Empfehlungen für passende Technik-Übungen gegeben.

Über eine Vergleichsfunktion können Abschnitte aus den Musikstücken (vonwelche zu verschiedenen Zeitpunkten aufgenommen wurden) miteinander verglichen werden. Hierdurch können mögliche Tendenzen erkannt werden.

Neben dem Spielen kann der/die Nutzer_in des Systems auch auf eine Bibliothek an Körperübungen zurückgreifen, die auf den Musikkontext angepasst sind.

Before and after practicing you might have a look on the "daily overview" which shows a summary of all suggestions and warnings made while practicing. The system gives suggestions for changing and adjusting the posture or playing style, as well as recommendations for appropriate technique exercises.em Vorschläge zur Veränderung und Anpassung der Haltung oder Spielweise, sowie Empfehlungen für passende Technik-Übungen gegeben.

A comparison function can be used to compare sections to get insight into the improvement over time. This allows possible tendencies to be identified.

In addition to playing, the user of the system can also access a library of physical exercises adapted to the music context.

Meine Aufgaben

Recherche (Experteninterviews, Literaturrecherche, Shadowing), Konzeption (HMW, Storyboard), Ausgestaltung (Screendesign), Prototyping (Rapid Prototyping, Funktionsprototyp)

My tasks

research (expert interview, literature research, shadowing), conception (HMW, storyboard), design (screendesign), Prototyping (rapid prototyping, functional prototype)

Verwendete Technologien

Javascript, Principle, MySQL, PHP

Used technologies

Javascript, Principle, MySQL, PHP

Betreuer

Prof. Benedikt Groß, Prof. David Oswald

Supervisors

Prof. Benedikt Groß, Prof. David Oswald

Semester und Zeitraum

Bachelorarbeit (4 Monate)

Semester and time span

Bachelorthesis (4 month)