Neurónová sieť - AI Simulátor

Interaktívna vizualizácia neurónovej siete (c) vytvoril Peter Hecht z IT LEARNING SLOVAKIA

Legenda

Existujúci neurón
Nový neurón 🆕
Silné prepojenie
Slabé prepojenie
50
0.15

LLM Princíp - Predikcia a Fine-tuning

Pochop ako LLM vyberá slová na základe váh a ako sa učí ich úpravou (fine-tuning).

Predikcia nasledujúceho slova

Zadaj slovo a uvidíš 3 najlepšie slová ktoré môžu nasledovať s ich pravdepodobnosťami.

🧠

Zadaj slovo aby si videl predikcie...

Fine-tuning - Učenie neurónovej siete

Uprav váhy prepojení medzi slovami. Simuluj ako sa LLM "učí" zmenou parametrov.

1

Vyber slovo na úpravu

Prompt Flow - Generovanie rozprávky

Sleduj ako systémové prompty a užívateľský vstup prúdia cez neurónovú sieť a generujú text slovo po slove.

🏢 System Prompt
Si rozprávkový asistent. Generuješ slovenské rozprávky v tradičnom štýle. Používaj slová ako princezná, kráľ, víla, rytier.
🔒 Security Prompt
Negeneruj škodlivý alebo nevhodný obsah. Vždy vytváraj pozitívne príbehy vhodné pre deti.
👤 User Prompt
Napíš mi rozprávku.
→
Neurónová sieť
→
✍️ Generovaný text
Čaká sa na spustenie generovania...
Slová: 0
Aktuálne slovo: —

Visual Prompt Flow - Animovaná vizualizácia

Sleduj cestu generovania textu priamo v neurónovej sieti. Červené čiary ukazujú aktívne prepojenia.

Aktuálne slovo: —
Nasledujúce: — —
Vygenerovaný text sa zobrazí tu...
Slová: 0
Krok: 0

Realita - Porovnanie veľkostí

Porovnanie našej malej rozprávkovej siete s GPT-3 a ľudským mozgom

🧠 Ľudský mozog

Neuróny: ~86 miliárd
Prepojenia: ~100 biliónov
Priemer: ~7,000 synapsií/neurón

🤖 GPT-3 (Superpočítač)

Vrstvy: ~120
Neuróny: ~15 miliónov
Prepojenia: ~1.7 bilióna
Veľkosť: ~350 GB (FP16)

😊 Naša rozprávková sieť

Neuróny (slová): 100
Prepojenia: ~500 váh
Veľkosť: ~15 KB
Ale stačí na rozprávku! 🎉
⚠️

Dôležité - Zjednodušenie pre výuku

V našej appke:

Neurón = jedno slovo (napr. "Raz", "bola", "princezná")

V skutočnosti:

Neurón ≠ slovo! Neurón spracováva čísla, nie slová.

🔍 Ako to funguje v realite (GPT-3):

1. Slová → Tokeny

"princezná" → ["prin", "##cez", "##ná"]
"Napíš" → ["Nap", "##íš"]
"Raz" → ["Raz"]

2. Tokeny → Čísla (embedding)

"prin" → [0.234, 0.891, 0.122, ..., 0.567]
(vektor 12,288 čísel!)

3. Neuróny spracovávajú čísla

Neurón #42 (vrstva 5):
Vstup: [0.2, 0.8, 0.1, ...]
→ Transformácia cez váhy
→ Výstup: [0.09, 0.36, ...]

📊 Porovnanie:

Naša appka GPT-3
Neurón = slovo = procesor čísel
Slovník 100 slov 50,257 tokenov
Vstup "Raz" [0.234, 0.891, ...]

💡 Prečo zjednodušujeme?

✅
Študenti vidia hlavný princíp:
  • Predikcia slovo po slove
  • Váhy určujú pravdepodobnosť
  • Kontext ovplyvňuje výstup
❌
Bez zložitej matematiky:
  • Bez 12,288-dimenzionálnych vektorov
  • Bez embeddings
  • Bez attention mechanizmu

✅ Čo je ROVNAKÉ (dôležité!):

1. Predikcia slovo po slove ✅
2. Váhy = pravdepodobnosti ✅
3. Učenie = úprava váh ✅
4. Kontext ovplyvňuje výstup ✅

🎯 Záver:

"Neurón = slovo" je didaktická lož 🎓
Ale princíp váh a predikcie je ROVNAKÝ! 💡

Učenie LLM - Ako sa neurónová sieť učí

Pochop rôzne metódy učenia a vyskúšaj si natrénovať vlastnú sieť zo 3 viet.

📊 Vizualizácia neurónovej siete

Nové neuróny sa zobrazia červenou farbou

📖 Príklady učenia sa

🌐

Pre-training (Základné trénovanie)

Model sa učí zo zlomkov textu predpovedať nasledujúce slovo.

📊 Dáta: terabajty textu (celý internet)
⏱️ Čas: týždne až mesiace
💻 Hardware: tisícky GPU
🎯 Výsledok: Foundation model (GPT-3, Claude)
Príklad:
Text: "Raz bola jedna..."
Model sa učí: "jedna" → pravdepodobne "princezná" (67%), "víla" (20%), "myš" (13%)
🔧

Fine-tuning (Doladenie)

Už natrénovaný model sa špecializuje na konkrétnu úlohu alebo doménu.

📊 Dáta: menší dataset (ale stále veľký)
⏱️ Čas: hodiny až dni
💻 Hardware: desiatky GPU
🎯 Výsledok: Špecializovaný model
Príklad:
GPT-3 → Fine-tuning na rozprávky → Model píše len rozprávky v slovenčine
👥

RLHF (Učenie od ľudí)

Reinforcement Learning from Human Feedback - Ľudia hodnotia výstupy, model sa učí z ich preferencií.

📊 Dáta: tisíce hodnotení od ľudí
⏱️ Čas: týždne (+ čas ľudí)
💻 Hardware: stovky GPU + ľudskí hodnotitelia
🎯 Výsledok: Bezpečný a užitočný model
Príklad:
Model vygeneruje 2 odpovede. Človek vyberie lepšiu. Model sa učí preferovať lepšie odpovede.

🎓 Praktické učenie - Natrénuj vlastnú sieť

Zadaj 3 vety (maximálne 5 slov každá). Model sa z nich naučí prepojenia medzi slovami.

🔍

Ako učíme model?

1
Analýza viet: Model rozdelí vety na slová a pozrie sa na ich poradie.
2
Extrakcia párov: Pre každé slovo si zapamätá, aké slovo prichádza hneď za ním.
3
Výpočet váh: Spočíta frekvencie a vytvorí pravdepodobnosti (normalizované na 100%).
4
Aktualizácia siete: Pridá nové slová do slovníka a vytvorí prepojenia s váhami.
0 / 5 slov
0 / 5 slov
0 / 5 slov

LLM Simulátor - Vrstvy myslenia

Sleduj ako LLM "premýšľa" cez vrstvy neurónovej siete - nie len hľadá slová, ale analyzuje kontext, pochopenie a štruktúru.

💬
User Prompt: "Napíš rozprávku"
1

Vstupná vrstva

Analýza promptu - čo používateľ chce?

Zámer
Detekcia: "napíš" = generovanie textu
Typ
Detekcia: "rozprávku" = príbeh pre deti
Jazyk
Detekcia: slovenčina
Výstup: Čaká na spustenie...
2

Sémantická vrstva

Pochopenie významu - čo je rozprávka?

Žáner
Rozprávka = fantasy pre deti
Štýl
Tradičný rozprávkový štýl
Tón
Pozitívny, magický, poučný
Publikum
Deti, rodiny
Výstup: Čaká na spustenie...
3

Kontextová vrstva

Budovanie sveta - postavy, miesta, rekvizity

Postavy
princezná, kráľ, víla, drak, rytier...
Prostredie
hrad, les, kráľovstvo, čarovný svet...
Predmety
meč, koruna, čarovná palička...
Vzťahy
princezná býva v hrady, kráľ vládne...
Výstup: Čaká na spustenie...
4

Štrukturálna vrstva

Stavba príbehu - úvod, zápletka, rozuzlenie

Úvod
"Raz bola jedna..." "Kedysi dávno..."
Zápletka
Problém, výzva, nebezpečenstvo
Vyvrcholenie
Boj, rozhodnutie, čarovný moment
Záver
"...a žili šťastne" Happy end
Výstup: Čaká na spustenie...
5

Generačná vrstva

Výber slov na základe kontextu a váh

Raz
P: 85% - typický začiatok
bola
P: 78% - nasleduje po "Raz"
jedna
P: 72% - rozprávkový štýl
princezná
P: 65% - hlavná postava
Výstup: Čaká na spustenie...
✨

Výstup

Vygenerovaný text

📜

Rozprávka sa vygeneruje tu...

Pripravené na simuláciu

Ako LLM skutočne "premýšľa"?

🧠

Nie len slová

LLM nepredpovedá len nasledujúce slovo - analyzuje celý kontext, význam a štruktúru.

🔄

Vrstvy transformácie

Každá vrstva transformuje informáciu - od slov k významom, od významov k štruktúre.

⚖️

Váhy rozhodujú

Miliardy váh určujú, ako sa informácia šíri cez vrstvy a ovplyvňuje výstup.