Wat is Lumiere?

Lumiere is een spectaculaire video tool van Google. Het is een platform voor kunstmatige intelligentie dat nogal revolutionair is. LUMIERE staat voor Learning, Understanding, and Manipulating Information with Enhanced Reasoning and Empathy. Het is een systeem dat zoekopdrachten in natuurlijke, menselijke taal begrijpt. en relevante en gepersonaliseerde content kan genereren en feedback en begeleiding kan geven aan gebruikers. Op het moment van dit schrijven (jan 2024) is het nog een onderzoeksproject en dus niet beschikbaar voor het grote publiek. Het is nog onbekend wanneer dat beschikbaar komt

De achtergrond van Lumiere

Deze AI-video tool is opgebouwd uit een nieuw AI model. Voorafgaand aan dit resultaat introduceerde Google een tool genaamd Style Drop, op 15 december 2023. Dit is Google's eigen tekst-naar-afbeelding generator. De belangrijkste features hiervan zijn dat het "een of meer stijlreferentieafbeeldingen gebruikt die de stijl beschrijven voor het genereren van tekst-naar-afbeelding. Even concreet: je kunt een afbeelding als input geven en StyelDrop genereerd dan output op basis van die afbeelding (stijl). Dat betekent dat StyleDrop gebruik maakt van computer vision-onderzoek dat in Google Lumiere is gestopt.

Daarnaast is het instrument Video Poet de voorloper van Google Lumiere. Dit is een taalmodel voor het genereren van video door middel van een zero-shot prompt. Video Poet was een multimodaal model. Dit betekent dat het in staat is om audio te produceren uit video-input. Video Poet leert dus op verschillende manieren namelijk in video-, beeld-, audio- en tekstmodaliteiten".

Deze twee projecten zijn dus een integraal onderdeel geworden van Lumiere en dat maakt Lumiere krachter dan welke videogenerator dan ook.

Waarin verschilt Lumiere van andere AI-video tools?

De belangrijkste innovatie van Google is de manier waarop een video wordt genereert. Het is gebaseerd op het zogenaamde 'SpaceTime Diffusion-model' dat de volledige tijdsduur, van 5 seconden, van de video in één keer genereert. Andere AI-videomodellen genereren elke beeldje (frame) één voor één. Hier tref je een aantal van die videomodellen aan. Met Lumiere is Google in staat om meer consistentie te bieden. Het betekent concreet dat elke beeldje (frame) een samenhang weergeeft van de verschillende frames. Hiermee word je in staat gesteld veel consistenter en nauwkeuriger video te maken. Google heeft dit in zijn onderzoeksrapport aangetoond met verschillende scenes.