Terwijl we 2022 bijna weer achter ons laten en alweer op 2023 afstevenen, volgen hier enkele van de meest opvallende en belangrijke trends die wij met Smart AI Solutions hebben waargenomen dit jaar en waarvan we denken dat die in 2023 hun relevantie zeker niet zullen verliezen:
1. Schaal blijft een belangrijke factor
Een thema dat de afgelopen jaren constant is gebleven in de deep learning en machine learning wereld is de drang om grotere neurale netwerken te creëren. De beschikbaarheid van gespecialiseerde AI-hardware, grotere datasets en de ontwikkeling van schaalvriendelijke architecturen zoals de transformers achitectuur zorgen ervoor dat de drang naar steeds grotere en schaalbare netwerken door blijft gaan.
In het afgelopen jaar kondigde DeepMind Gopher aan, een groot taalmodel met 280 miljard parameters. Google kondigde het Pathways Language Model (PaLM) aan, met 540 miljard parameters en het Generalist Language Model (GLaM), met tot 1,2 biljoen parameters. Microsoft en Nvidia hebben op hun beurt gezamenlijk de Megatron-Turing NLG uitgebracht, een LLM(Large Language Model) van 530 miljard parameters.
2. Unsupervised learning wordt steeds belangrijker
Er is de afgelopen jaren enorme vooruitgang geboekt op dit gebied, vooral in Large Language Models die meestal worden getraind op grote datasets van onbewerkte gegevens die via internet zijn verzameld. Veel succesvolle toepassingen voor deep learning vereisen dat de datasets bestaan uit trainingsvoorbeelden die gelabeld zijn. Maar de meeste gegevens die op internet beschikbaar zijn komen niet met de schone en perfecte labels die nodig zijn voor het trainen van modellen. Het annoteren van gegevens is duur en traag, waardoor knelpunten ontstaan. Dit is de reden waarom onderzoekers lang hebben gezocht naar vooruitgang in unsupervised learning, waarbij deep learning-modellen worden getraind zonder de noodzaak van door mensen geannoteerde en gelabelde gegevens.
Er waren dit jaar bijvoorbeeld fenomenale vorderingen in text-to-image-modellen. Modellen zoals OpenAI's DALL-E 2, Google's Imagen en Stability AI's Stable Diffusion hebben de kracht van unsupervised learning aangetoond. In tegenstelling tot oudere text-to-image-modellen, waarvoor goed geannoteerde paren afbeeldingen en beschrijvingen nodig waren, gebruiken deze modellen grote datasets met losse bijschriften die al op internet bestaan. De enorme omvang van hun trainingsdatasets (wat alleen mogelijk is omdat er geen handmatige labelling en annotatie voor nodig is) en de variabiliteit van de ondertitelingsschema's stellen deze modellen in staat allerlei ingewikkelde patronen te vinden tussen tekstuele en visuele informatie. Als gevolg hiervan zijn ze veel flexibeler in het genereren van afbeeldingen voor verschillende beschrijvingen.
3. Multimodaliteit
Het is duidelijk dat multimodaliteit een belangrijke rol heeft gespeeld bij het flexibeler maken van deep learning-systemen. Dit werd misschien het best weergegeven door het Gato model van DeepMind, een deep learning-model dat is getraind op verschillende gegevenstypen, waaronder afbeeldingen en tekst. Gato presteerde behoorlijk in meerdere taken, waaronder de ondertiteling van afbeeldingen, interactieve dialogen, het besturen van een robotarm en het spelen van games. Dit in tegenstelling tot klassieke deep learning-modellen, die zijn ontworpen om één taak uit te voeren.
Sommige onderzoekers hebben het idee zo ver doorgevoerd dat ze voorstelden dat een systeem als Gato alles is wat we nodig hebben om kunstmatige algemene intelligentie (AGI) te bereiken. Hoewel veel wetenschappers het niet eens zijn met deze mening, is het zeker dat multimodaliteit belangrijke resultaten heeft opgeleverd voor deep learning.
Wij hopen hierbij weer een goede samenvatting te hebben gegeven van de trends en ontwikkelingen die spelen in ons interessante vakgebied. Smart AI Solutions blijft altijd op de hoogte van de laatste trends en ontwikkelingen om onze klanten zo goed mogelijk te kunnen helpen. Voor vragen of meer informatie over dit artikel kunt u ons altijd bereiken!