One-shot teamherkenning en 3D pose estimation van wielrenners voor augmented reality visualisatie

Dit onderzoek is geïnspireerd door het VENTOUX-project, dat streeft naar het verrijken van de kijkervaring van wielrennen door middel van geavanceerde videoanalyse. In lijn met de ambities van dit project, neemt het onderzoek een tweeledige benadering om de kijkervaring te verbeteren.

De eerste benadering richt zich op de automatische teamclassificatie vanuit helikopterbeelden. YOLOv8 wordt ingezet voor de detectie van renners, wat zorgt voor snelle en nauwkeurige identificatie van individuele wielrenners. Een belangrijke uitdaging bij teamclassificatie is de grote variatie aan ploegen en teamoutfits, wat complexiteit toevoegt wanneer deze methode schaalbaar moet worden gemaakt voor andere wedstrijden, waarin nieuwe ploegen kunnen deelnemen of ploegen andere truien kunnen dragen. Om dit probleem aan te pakken, wordt een Siamese neuraal netwerk met one-shot learning toegepast, waardoor de methode in staat is om nieuwe ploegen te herkennen op basis van minimale gegevens. Het Siamese netwerk bepaalt of een gedetecteerde renner uit een helikopterbeeld overeenkomt met een vooraf bekende afbeelding van die ploeg. Daarnaast wordt Deep SORT tracking wordt ingezet om renners gedurende de wedstrijd te volgen, wat de classificatie verder kan verbeteren met postprocessing-technieken.

In bepaalde situaties, bijvoorbeeld wanneer bekend is dat er slechts één renner per ploeg in een specifieke groep rijdt, kan de teamclassificatie gekoppeld worden aan individuele namen. Dit maakt het mogelijk om via augmented reality (AR) de naam van de renner aan de uitzending toe te voegen. Door middel van 3D-pose schatting, uitgevoerd met 4D-Humans, kunnen tekstvlakken zoals namen en snelheden nauwkeurig de bewegingen van de renners volgen.

Deze aanpak biedt een efficiënte methode om wielerploegen automatisch te herkennen en verrijkt de kijkervaring door relevante AR-visualisaties toe te voegen, wat zowel live-uitzendingen als post-race analyses inzichtelijker maakt.