Die Bewertung wie gut eine Band sich selbst findet und wie gut ein externer eine Band bewertet ist eine schwer zu beurteilende Fragestellung. Auf der Seite der Bands spielen dabei Faktoren wie grundlegende Attributionsstile, Reflektionsfähigkeit, eigener Anspruch und letztlich auch so etwas wie Tagesform ein Rolle. Ebenso liefert das Musikgenre auch gleich einen Horizont mit. Punk ist Punk und bleibt Punk, hat also von Natur aus einen geringeren musikalischen Anspruch als Funk oder Progressive Rock, heißt: Virtuosität am Instrument entsteht erst ab einer gewissen technischen Fähigkeit und musikalischen Fertigkeit und dort trennt sich unserer Meinung nach die Spreu vom Weizen. Musiker mit einem guten Rhythmusgefühl und einer gewissen Vorstellung von Melodie und Harmonie können nicht wirklich schlecht spielen. Der Umkehrschluss daraus ist jedoch auch anzunehmen. Auf der anderen Seite der Band also beim Zuhörer spielen ebenso Tagesform, Geschmack, musikalische Sozialisation, das Verhältnis zur Band und möglicherweise Ereignisse vor oder während des Konzertes eine Rolle. Eine objektive Bewertung von musikalischem Wert ist daher nicht bzw. nur eingeschränkt möglich.

Im Hinblick auf die Komplexität der vorzunehmenden Bewertungen haben wir uns im Vorfeld der Untersuchung entschieden, die Auftritte der Bands durch eine Jury bewerten zu lassen. Bei der Zusammensetzung der Jury haben wir darauf geachtet, dass es sich um Musiker/innen handelt, die selbst auch Erfahrungen als Bandmusiker haben. Das ist aus unserer Sicht unabdinglich, um die komplexen Abstimmungs­prozesse auf der Bühne zu verstehen und bewerten zu können.

Dabei gäbe es die Möglichkeit eine Jury zu den entsprechenden Konzerten zu schicken. Das hätte den Vorteil, dass die Jury sehr gut die Atmosphäre beim Konzert erfassen und die Musiker/innen im einzelnen erfassen und befragen könnte. Schwierigkeiten würde es mit Sicherheit geben, die selbe Jury zu allen Konzerten zusammen zu bringen. Eine jeweils verschiedene Jury zu befragen, würde aus unserer Sicht zu sehr unterschiedlichen und wenig vergleichbaren Bewertungen der einzelnen Bands führen. Vor allem aus logistischen Gründen haben wir uns dann dafür entschieden, der Jury Videomitschnitte der Konzerte zur Bewertung vorzulegen.

Das hat zwar den Nachteil, dass durch den Qualitätsverlust und die Mischung der Tonspuren keine differenzierte Bewertung der einzelnen Musiker/innen möglich ist. Andererseits soll durch die Untersuchung auch die Band und nicht der/die Einzelmusiker/in bewertet werden. Der Vorteil dieser Verfahrensweise liegt darin, das man äußere Einflüsse auf der Seite der Jury verringern kann und das es einfacher zu ermöglichen ist, dass alle teilnehmenden Bands durch die gleichen Personen bewertet werden. Den Vergleich zwischen Selbst- und Fremdbewertung ziehen wir im Rahmen der Studie über die parallele Auswertung von zwei Fragebögen. Zum Einen erhielt jede/r Musiker/in einen Fragebogen als Pendent dazu erhielt jedes Jurymitglied einen Bewertungsbogen für jede Band.