Sora is een tekst-naar-video AI-model van het bedrijf OpenAI dat ook eigenaar is van ChatGPT. Sora kan realistische en fantasierijke scènes maken op basis van tekstinstructies. Sora kan op basis van een tekstprompt van een gebruiker video's genereren die tot een minuut lang zijn.

De beschikbaarheid van Sora

Vandaag op 16 februari is Sora beschikbaar gemaakt voor cyber security professionals om testen uit te voeren en risico's te beoordelen. Ook heeft Open AI  toegang gegeven aan een aantal beeldend kunstenaars, ontwerpers en filmmakers om Sora te testen en feedback te krijgen over hoe het model verder ontwikkelt kan worden. Dit is de eerste stap naar het volledig beschikbaar maken voor creatieve video professionals.

Wat kun je met Sora?

Sora kan complexe scènes genereren met meerdere personages, specifieke soorten bewegingen en details van het onderwerp en de achtergrond. Het model begrijpt niet alleen wat de gebruiker heeft gevraagd in de prompt, maar ook hoe die dingen bestaan in de echte, fysieke wereld. Sora kan tekst, signalen  interpreteren en personages genereren die levendige emoties uitdrukken, aldus OpenAI. Ook is het mogelijk om meerdere shots binnen één gegenereerde video te maken die consistent karakters en visuele stijl vasthouden.

Meer uitleg over Sora

Hieronder een video die meer inzicht geeft over de werking van deze AI-tool.

Ook voor verbeteren van bestaand video materiaal

Sora bouwt voort op eerder onderzoek naar DALL-E en GPT-modellen. Het maakt gebruik van de recaptioning-techniek uit DALL-E 3, waarbij beschrijvende bijschriften worden gegenereerd voor de visuele trainingsgegevens. Hierdoor kan het model de tekstinstructies van de gebruiker in de gegenereerde video nauwkeuriger volgen.

Het model kan niet alleen een video genereren op basis van alleen tekstprompts, maar kan ook een bestaand stilstaand beeld nemen en daar een video van genereren, waarbij de inhoud van het beeld nauwkeurig en met aandacht voor details wordt verbeterd. Het model kan ook een bestaande video nemen en deze uitbreiden of ontbrekende frames invullen.