Seletatavus - "miks see ülesanne"

Miks on seletatavus oluline?

Õpetajate usalduse reegel nr 1:

Kui ma ei saa aru, miks valib süsteem Ivani jaoks ülesande 147 — ma ei hakka sellele toetuma.

Sama kehtib väliste kuulajate puhul: ilma selge „miks just see ülesanne“ taustata jääb jutt liiga üldiseks. Seletatavus pole lihvi – see on põhitoode.

Mida me ei tee

Me ei palu LLM-idel (Claude / GPT) numbrilisi fakte jutustada.

Modellid mõnikord hallutsineerivad:

• nimetada valed mikrooskused;
• aja $P(L)$ segamini $P(\text{solve})$-ga;
• leiutada “põhjuseid”, mida andmed ei toeta.

Kui selgitused peavad olema täpsed, siis see ebaõnnestub. Nii et faktid kogunevad mallide kaudu deterministlikult.

Mida me teeme

Mallid kokutavad lauseid BKT olekust lihtsate reeglitega:

1. Leia ülesande nõrgim oskus — see on soovituse peamine põhjus.
2. Leia tugevaim oskus — see tagab, et õpilane ei uppu.
3. Too välja $P_{\text{joint}}$ ZPD-indikaatorina.
4. Kui kehtib rareSkillBonus, maini haruldase oskuse fookust.

Näidisseletus (eesti)

Ülesanne T-147 Ivanile

Põhjus: kõige nõrgem mikrooskus on "sulgude avamine" (P=0.41).
        Tugevaim — "aritmeetika märkidega" (P=0.82). Ülesanne
        treenib just nõrka kohta, kuid ei jää aritmeetika peale
        kinni. Lahenduse tõenäosus ≈ 0.55 — see on parajalt
        keeruline.

Tõlge:

“Nõrgim mikrooskus — sulgude avamine ($P = 0.41$). Tugevaim — aritmeetika märkidega ($P = 0.82$). Harjutus treenib nõrka kohta, ilma et õpilane aritmeetikasse takerduks. $P(\text{solve}) \approx 0.55$ — parajalt keeruline.”

Rakendamine

Failis web/lib/explain.ts (tulevikuvisioon — praegune stabiilne lähtepunkt):

export function explainRecommendation(
  scored: ScoredTask,
  microskills: Record<MicroSkillId, MicroSkill>,
  lang: 'et' | 'ru' | 'en' = 'et'
): string {
  const sorted = Object.entries(scored.perSkillPL)
    .sort(([, a], [, b]) => a - b);
  const [weakest, weakP] = sorted[0];
  const [strongest, strongP] = sorted[sorted.length - 1];
  const targetSkill = microskills[weakest].title_et;
  const supportSkill = microskills[strongest].title_et;
  return T[lang]({
    targetSkill,
    weakP: weakP.toFixed(2),
    supportSkill,
    strongP: strongP.toFixed(2),
    pSolve: scored.pSolve.toFixed(2),
  });
}

const T = {
  et: ({ targetSkill, weakP, supportSkill, strongP, pSolve }) =>
    `Põhjus: nõrgim — "${targetSkill}" (P=${weakP}). Tugevaim — ` +
    `"${supportSkill}" (P=${strongP}). Lahenduse tõenäosus ≈ ${pSolve}.`,
  ru: ...,
  en: ...,
};

Valikuline: Claude stilistina

Täidetud malli võite Claude’ile edasi anda ainult tooni peenhäälestuseks. Juhend inglise keeles (Claude vastab eesti keeles vastavalt palvele):

You are a MATx assistant. Rewrite the following for a teacher in 1–2 friendly
Estonian sentences. Do not change numbers or skill names.

[template]

Kaitsepiirded:

• arvud ja oskused jäävad fikseerituks – Claude loeb, kuid ei tohiks fakte muuta;
• hallutsinatsioonide risk jääb madalaks, kuna esitatakse faktid;
• toon tundub inimesena, mitte andmebaasi dump.

Hübriidretsept: faktid meilt, sõnastuse lihv on valikuline.

Õpetaja kasutajaliidese väljad

Väli	Allikas	Eesmärk
Ülesande nimi	ülesanne.id	identifitseerimine
Top-2 oskused P	meisterlikkuse vektor	sihtmärk vs tugi
Õpilane $P(\text{solve})$	scoreTaskForStudent	ZPD indikaator
1–2 proosalauset	selgitamaSoovitus	inimloetav põhjus
Alternatiivid (top-3)	soovita()[1..2]	varuvalikud

Erijuhud

• Ülesandes on ainult üks oskus → puudub „tugevaim kontrast”. Mall: „Sihtoskus X (P=Y). $P(\text{solve}) \approx Z$.”
• Kõik oskused tugevad ($P > 0.85$) → miks üldse soovitada? Mall ütleb otse: „Oskused juba omandatud — kinnistus.”
• Kõik oskused nõrgad ($P < 0.3$) → frustratsioonitsoon. Mall hoiatab: „Ülekoormuse oht — kaalu lihtsamat alternatiivi.”

Mallid ja LLM-id — Q&A punktid

“Selgitused genereeritakse deterministlikult BKT olekust – numbrid jäävad usaldusväärseks, ilma LLM-i hallutsinatsioonide riskita matemaatikas. Valikuline stilistiline edasiandmine hoiab tooni sõbralikuna, ilma fakte puudutamata.”

Edasi — “kuidas treenida”, mitte ainult “mis on valesti”

Praegu vastab mall küsimustele “miks just see ülesanne” ja “kus on õpilane kõige nõrgem”. Järgmine samm — lisada veel üks rida: kuidas treenida. Mitte ainult “Ivani $P(\text{sulud}) = 0.41$”, vaid ka “proovi nii: viis sulgude harjutust, siis üks miinusmärgiga sulgude ees”. Õpetaja ekraan muutub diagnoosist diagnoosiks + retseptiks samal lehel.

Milline vihje töötab paremini

Kui ühele veale on mitu vihjet, on kasulik teada, milline neist aitab. Lihtne loogika: pärast vihjet A lahendas õpilane järgmise ülesande 60% juhtudest, pärast vihjet B — 75%. Järelikult B on parem — näitame seda sagedamini. Ilma valemiteta, lihtsalt loendur “kui sageli aitas”. Suuremas tootes muutub see automaatseks parima vihje valikuks.