HWSW podcast!

A kínAI módszer titkai (weekly)

· PT42M29S

Összefoglaló

Ebben a HWSW podcast adásban a DeepSeek kínai AI-modelljeit vizsgálják meg Takács Gábor adattudóssal. Megvitatják a DeepSeek v3 és r1 modelljeinek újításait, azok hatékonyságát és a kínai startup gyors fejlődését. Szóba kerül Donald Trump és az Nvidia részvényeinek…

Röviden

Műsor
HWSW podcast!
Megjelenés
2025. 02. 07.
Hossz
42 perc
Témák
mesterséges intelligencia, deepseek, kínai technológia
Átirat
Az epizód beszélt szövege alapján indexelve

Ebben az epizódban

hogy miben más miben jobb a deepsik v3 és r1 a korábbiaknál hát szerintem itt egyszerűen ötletek tömkelegéről van szó zseniális újításokról mind strukturális szinten így a legfelső szintről nézve közép szinten meg a legkisebb részletek szintjén [Zene] is szervusztok ez itt a hvsv podcast sorozatának 54 víkli ad hiphop eltelt az év első hónapja január itt vagyunk az év legrövidebb hónapjában ami ezóttal nem szökő évre a szökő év miatt nem 29 napos hanem csak 28 napos februárt írunk és hát azt kell mondjam hogy a január az hát finoman szóal nem telt eseménytelenül csak úgy kapkodtuk a fejünket a történése során szia szi engem kitáakínok és elfen mutakkoz itt van számi é velem a sz jóban igen hát a januári eseményeknek a jelentős része az egyetlen egy ember volt köthető úgynevezett vagy úgy hívják őt hogy donald trump ugye az egy állom 47 elnöke akit január 20-án iktattak be vagy lépett újból hivatalba de aztán pár nappal később vagy mondjuk egy héten belül kicsit elvette trumptól a reflektorfényt legalábbis a technológiai szektorban egy kínai startup amit deep seeknek hívnak és hát úgy egészen mondjuk tavaly decemberig an sokan nem hallottak róla a nyugati világban maradjunk ennyiben de azért én összeszedtem néhány fontosabb mérföldkövet ennek a cégnek vagy a szolgáltatásnak a az életéből vagy a működéséből csak hogy így felvvázolhassuk vagy lássuk azt hogy ezek ezek azért milyen gyorsan és hirtelen fejlődő szolgáltatások és és vállalatok ugye a dsiket 2023 májusában alapította meg egy bizonyos liang wang fang nevű úriember aki a a highf nevű hedgefund kutatási részlegéből jött egyébként tehát azért van neki nohja a szakmában és az első lelá tehát nyelvi modelljük az november 29-én még hangsúlyozom 2023-at írunk akkor jelent meg aztán ebből jött 2024 májusában egy v2 változat aztán 25 24 szeptemberében egy v2.5 és decemberében az ominózus v3 ami 671 milliárd paraméterrel rendelkezik hogy e sok vagy kevés erről majd beszélni fogunk az adás során meg hogy egátán mit jelent ez hogy ennyi paraméterrel rendelkezik egy nagnyelvű modul és aztán jött a január 10-én a az első ingyenes deepseek kliens okostelefonos alkalmazás ios-re és androidra ez a deepseek r1 hivatalos kiadásával volt egy beekötve ami ugye a a az első érvelési feladatokra öszpontosító nagynyelvi modellje a deepseeknek és aztán eljérkezünk pigpak január 27-ére amikor már a többen töltik le ezt az alkalmazást a az az apple app storyjában mint a a c gpt-t sőt azt hiszem volt nap amikor a legnépszerűbb ingyenesölthető alkalmazás volt és aztán még ugyanezen a napon az nvidia részényinek az elfolyama volt széen 17%-al lesik ezzel egy csapásra 600 milliárdot 600 milliárd dollár párol el a cég értékéből és azt most itt állunk és próbáljuk megérteni ezt az egész deepseek jelenséget hogy ez így hogyan jött és honnan jött és egyáltalán mi ez az egész mert vannak már olyan és elméletek hogy ez az egész csak egy részfé manipuláció valójában hogy a kínaiak itt hackelik a az amerikai teek cégeket de de van aki azt mondja hogy ez egy olyan hatást gyakorolt most a az egész iparágra ami ami alapjaiban megváltoztatja a a a szemléletet a az ai termékeknek a a a a szegmensében és ahhoz hogy ezt kicsit jobban megértsük megég egyáltalán megértsük mert tényleg mis csak kapkoljuk a fejünket elhívtuk ide a stúdióba takács gábor adattudó most szia gábor sziasztok aki hvsv korábbi rendezvényein részt vett vagy járt az már találkozhatott gáborral valamilyen formában szerintem lézíves gábor mondj nekünk azért ettől független egy pár szót magadról hogy hogy hogy kevedettél te erre a területre és és hogyan hogyan kerültél közel az ai-hoz egyáltalán hát jelenleg szabadul szó adattudósként dolgozom mellette győri széchenyi egyetemen próbálom átadni a tudásomat a fiataloknak óraadóként és hát nekem úgy jött ez a kapcsolódás az ai-hoz hogy még a doktorimat anno 2010-ben gépi tanulásból írtam akkor még ez mást jelentett és hát azóta is kapcsolatban állak a területtel meg versenyeken vettem részt egy időszakban ilyesmikkel foglalkoztam igen ha jól tudom akkor a kegle gépianulási közösség világranglistáján hetedik helyezésed volt a vagy az is volt nem tudom hogyan volt-e annál jzés hogy így említted igen erre büszke vagyok de hogy az tényleg egy nagy eredmény volt és gyakorlatilag úgy kerültél még közelebb ehhez a területhez hogy hogy azon a a világranglistán ilyen erős helyezésed volt igen az tényleg egy szép időszak volt jó akkor a térjünk rá a a itt a deepseek kapcsán ugye fontos elmondanunk hogy hogy ez az adás nem egy ilyen gazdaságpolitikai elemzés lesz hogy melyik összeesküvés elmélet a a legigazabb vagy melyikkel értünk egyet hanem inkább szeretnénk megfejteni azt hogy hogy technológiai oldalról hogyan lett ilyen sikeres a deep seek modellje egyáltalán ez mit jelent a jövőre nézve és hogy mekkora jelentősége van ennek a a deepseeg modellnek ugye ahogy beszélt is tamás a a felvezetőben ugye itt itt az amerikai ai fejlesztő cégek azok akik így nagyon érezték ennek a hatását ugye az nvidia részvényeken satöbbi mekkora jelentősége van a a deepsik modelljének szerinted szerintem jelentős eredménynek számítanak mind a kettő mind a v3 mind az r1 sőt egyébként van egy r1 ami talán a legérdekesebb mert hát mivel is kezdjem tehát vegyük először mondjuk a v3-at hogy ott az egyik kisebb eredmény hogy jóval olcsóbban tanították mint a korábbi hasonló tudású modelleket tehát van egy nagy ó chat gpt néyó tudású modellünk csak most hát állítólag nem lehet hogy hülyeséget mondok de ilyen 6 millió dollár körüli volt igen nekem is ez az összeg rémlig igen mondjuk az utolsó tanítási menetnek a költség a kísérletezés ebben nincsen benne de ez a gépi órákat is feltüntették és és jóval kisebb tehát például leg van egy nagy méretű nyílt forráskodu modell a lámának a valami 400 a valahány milliárd paraméteres modelle 11szer kevesebb gpu idő kellett a tanításhoz és rosszabb fajta gpuk-kon tanították na de nem is ez a legnagyobb eredmény hanem hogy a betanított v3 modell az nyilvános ez a bizonyos 671 milliárd paraméteres hatalmas nagytudású modell és jóval gyorsabb mint a versenytársak mert egy csomó innováció van benne tehát ebbe majd belemegyünk később nem arról van szó hogy egy kicsit reszeltek rajta és akkor lemásolták és gyorsabb lett hanem rengeteg ötlet van ott és akkor ez még nem volt elég hanem ebből a v3-ból egy érvelő modellt az r1-et is kifejlesztettek ez a v3-ból származik és egyrészt tudományos szempontból meg így általánosan is nagyon érdekes hogy mik történtek a fejlesztés során és hát ez pedig egy ilyen mondhatjuk az hogy hogy mondjuk egy o1 tudásszintű nagyjából csak gyorsabb és olcsóbb és nyilvános szerintem hogy mindenki megértse ennek az egésznek a hátterét mert biztos vannak azért olyan hallgatók akik a nagynyelvi modellek fejlődés történetében annyira nincsenek otthon szerintem kicsit induljunk el innen a a a az első kapavágástól hogy hogy hogy mi mi az az elelen pontosan vagy honnan indultak ezek ezek a modellek hogyan épülnek fel ezek a modellek és aztán eljuthatunk odáig hogy mi az amiben itt tát könnyeb lesz megérteni azt hogy mi az amiben itt a kínaiak ujat tudtak bedobni ebbe az egész sztoriba na hát honnan is kezdjük mondjuk talán egy érdekes sztorit lehet mondani hogyha 2017-től kezdjük ekkor ugyanis megjelent egy cikk attention is all you need lehet hogy még volt folytatás is ez a bizonyos transformer architektúrát írta le amit akkor fordításal gépi fordításal alkalmaztak és sokkal jobb eredményt értek el ezzel a transformer architektúrával mint amit korábban el tudtak érni hát itt ez a transformer most annyira ne is menjünk bele a technikai részleteibe de talán az a lényeg hogy ez egyben próbálja a teljes mondatot megérteni nem pedig sorba végigaladni rajta tehát kontextusában tudja azt hogy melyik szó vagy szó é vagy igen tehát egybe olvassa az egész szöveget de amikor értelmezi akkor ez a bizonyos figyelem azt jelenti hogy amikor egy szót éppen értelmez akkor a figyelem segít neki hogy mely más szavak fontosak most az adott szó értelmezésében és h tudjuk hogy a nyelv az milyen bonyolult rendszer ott nagyon fontos hogy mondjuk egy nem elhangzott korábban és az egy komplett ilyen mellékmondatot mondjuk vagy almondatot pont az ellenkezőjére vált jelentésben na és szóval akkor még csak arra használ áták hogy angolt franciára angolt németre fordítottak meg vissza és akkor az emberek így gondolták hogy na jó hát ez egy ilyen érdekes eredmény de annyira érdekes volt hogy utána megindult egy ilyen forradalom és hát egyre nagyobb és nagyobb transformereket kezdtek el tanítani a kutatók sőt egy idő után kiszedték azt a részt is hogy hogy először meg kell ért valami szöveget hanem inkább ez a szöveggálási üzemmód lépett előtérbe amikor arra épül az egész hogy egy szövegnek a következő szavát próbáljuk meg előrejelezni és ilyen elven próbálunk szöveget generálni na a lényeg a lényeg hogy a a az open ai az abban volt forradalmi hát ez nem is annyira forradalom ez inkább ilyen mérnöki fejlesztés hogy egy minél nagyobb transzformert minél több adaton próbáltak tanítani és mindent megtettek tehát nem sajnálták ott az erőforrást hogy nagy adathalmaz gyűjtsenek minél tisztábbat és egy hatalmas méretű modellt tanítsanak és akkor hát ennek a végeredménye lett mondjuk a chat gpt ühm és akkoror a új korszakot indít ha jól értem akkor igazából fordításból indult ez az egész történet hogy minél jobb kontextusában jól lefordított szövegeket eredményezzenek és rájöttek hogy akkor ez generálásra is alkalmas igen maradjunk az open ai-nál ugye ott megszületett a chat gpt ez volt ez a a szöveggenerálás ott az a történet is sokat fejlődött ugye most azt hiszem az o1 a a legfrissebb modelljük vagy legerősebb mondhatjuk így mondhatjuk szerintem milyen milyen in tehát hogy volt-e innováció c gpt első verziója és a az o1 között a technológiájában igazából csak úgymond brute forceolták a a történetet és úgy jutottak el az o1-ig vagy volt ott valamilyen technológ váltás mindenképpen voltak ott is innovatív újítások hát például a képek kezelése vagy a kép és szöveg együttes kezelése akkor a hangnak a feldolgozása ezekkel egy időben de ott az a probléma hogy az open ai a nevével ellentétben az nem teljesen egy ilyen nyít kutatást folytatott hanem esetleg valamiféle információt elcsepeg tettek a az újításokról amit lehet tudni hogy az o1 ez az érvelő modell az egy ilyen gyökeresen más megközelítés mint a korábbiak mert ott a válaszadást egy ilyen egy ilyen érvelő szakasz a válasz meggondolása ellenőrzése előzi meg és az o1 ugye azt mindnyájan tudjuk ha kipróbáljuk akkor először gondolkodik akkor ilyen érdekes dolgokat néha kiír hogy éppen mit csinál nem látjuk a teljes részletességében és különösen matematikai programozási feladatokon jóval erősebb mint mondjuk egy négyó hogyha visszatérünk a a a költségekel amiről ugye szó volt említetted te is ezt a 6 millió dollárt hogye ehhez képest egyes cikkekben azt lehetett olvasni hogy a a a globális ai iparnak a a videi beruházási összege az ilyen 250 milliárd dollár környékén lesz tehát csak idén ennyit fog ak belepumpálni globálisan a a a a mesterséges intelligenciába különböző tek cégek fejlesztőcégek nem tudom kik globálisan és ehhez képest ez a 6 millió dollár egy eléggé sok nagyságrenddel kevesebbnek tűnik és ugye eddig az volt az alapvetés ebbe az iparágba főleg ugye a technológiai cégek megközelítéséből nézve hogy akkor lesz neked jó ai modelled hogyha minél több számítási kapacitá raksz be a rendszerbe ugye minél több gpu-t veszel az nvidiától ugye ebből fakadta az hogy amikor a diepsp megjelent akkor az nvidia elkezdett lefele menni a a törzsdén meg azok a cégek akik ilyen technológiai beszállítók voltak azok azért elégé ezt megérezték a a a piacokon de hogy akkor akkor tehát nézzük már meg hogy mit tud a a deep seek amit a az open ai meg a többi szereplő a a copilot a a a google a gaminvel nem tudnak tehát hogy hogy hogy hogy lehet az hogy ők ennyivel hatékonyabban meg tudták ezt ezt ugrani ezt a lécet és aztán ennek milyen következményei lesznek erre majd kitérhetünk később jól van hát még mielőtt belemennénk ebbe tehát ez a 6 millió dollár ezt persze nem kell kifizetni annak aki most szeretne egy v3-at mert egyszerűen letöltheti tehát láttam olyat aki például letöltötte most egy egy ilyennek a futtatása az lehet már olyan is van aki egy az egyben tudta futtatni kicsit erős gép kell hozzá de nem elérhetetlenül erős de például ilyen kvantálásos kis trükkel láttam olyat hogy egy ember saját kics kicsit erősebb hobb gépén futtatott egy deepseek hát r1-et de mondjuk méretben az hasonló mint a v3 olyan körülbelül 1,5 token per másodperces sebességgel ami azért elég durva szóval ez mindenféle ilyen open ai infrastruktúra meg kínaiakkal való kommunikálás nélkül a saját gépén futtatta na de szóval vissza akkor a az ötletekhez hogy miben más miben jobb a deepsik v3 és r1 a korábbiaknál hát szerintem itt egyszerűen ötletek tömkelegéről van szó zseniális újításokról mind strukturális szinten így a legfelső szintről nézve közép szinten meg a legkisebb részletek szintjén is na most most így kezdjük elősször mondjuk a v3-mal mondjuk a v3-nak az egyik ilyen nagy újítása amyen strukturális az a mixture of experts moe megközelítés tehát itt arról van szó hogy mondjuk egy chat gpt o1 amikor szöveg szöveget generál akkor a teljes hálózat aktív és akkor az a rengeteg több 100 milliárd paraméter mind használatban van ellenben itt fel van oszva a nagy hálózat kisebb részekre van az elején egy ilyen útvonalválasztó router hálózat és vannak úgynevezett szakértőhálózatok és akkor amikor bejön egy token akkor rendszer eldönt hogy ezt most melyik szakértőknek küldi ki nem csak egynek hanem soknak meg vannak olyan szakértők akik egyébként minden kérdésre aktívak és akkor végén kikeverjük a szakértők válasz ából a az eredményt na most hát azt írják hogy hogy token enként ilyen 37 milliárd paraméter lesz aktív a v3 modell esetén nem a teljes 671 milliárdos készlet ez mondjuk ilyen 5%-nyi aktív paraméter mit…

Említett entitások

Témák

Személyek

  • Takács Gábor

Szervezetek, cégek

Tickerek

  • NVDA

Hallgasd meg

Gyakori kérdések erről az epizódról: „A kínAI módszer titkai (weekly)”

Miről szól ez az epizód: „A kínAI módszer titkai (weekly)”?

Ebben a HWSW podcast adásban a DeepSeek kínai AI-modelljeit vizsgálják meg Takács Gábor adattudóssal. Megvitatják a DeepSeek v3 és r1 modelljeinek újításait, azok hatékonyságát és a kínai startup gyors fejlődését. Szóba kerül Donald Trump és az Nvidia részvényeinek… Az epizód a HWSW podcast! című magyar podcast egyik adása, megjelenés: 2025. 02. 07..

Milyen témákat érint ez az epizód: „A kínAI módszer titkai (weekly)”?

Fő témái: mesterséges intelligencia, deepseek, kínai technológia.

Mikor jelent meg és milyen hosszú ez az epizód: „A kínAI módszer titkai (weekly)”?

Megjelenés: 2025. 02. 07.. Hossz: 42 perc. Az epizód a Podiverzumon hallgatható meg: https://podiverzum.hu/podcast/hwsw-podcast/a-kinai-modszer-titkai-weekly

Több epizód a HWSW podcast!-ből

Hasonló epizódok más magyar podcastokból