“Jesse krijgt lokale AI werkend en efficiënt, met een sterke focus op veiligheid.”

Uitgezocht, gemeten en efficiënt ingericht.

Strix Halo is een chip van AMD waarmee één kleine computer grote AI-modellen kan draaien, zonder cloud. In mijn Strix Halo Guide ↗ staat hoe je zo'n computer kiest (koopgids), instelt en het juiste model kiest, met snelheden die ik zelf heb gemeten. De ruwe meetdata staan er openbaar bij, tien mensen uit de community deelden hun eigen metingen, en fouten corrigeer ik openlijk.

• Welke software het best draait. Ik vergeleek op dezelfde hardware ruim twintig versies van llama.cpp, vijf versies van Ollama en de Lemonade-server, met tests die per versie zijn vastgelegd.
• Sneller door te meten. Een versnellingstechniek maakte een middelgroot model (27 miljard parameters) ruim 75% sneller, gemeten in tien herhalingen; bij een ander model was de winst ongeveer 8%. Zo weet je vooraf wat iets oplevert, in plaats van het te beloven.
• Wat past, en wat het kost. Welke modellen op één computer met 128 GB geheugen draaien, hoe snel, en wat zo'n systeem kost.
• Pas in gebruik na een test. Ik ontdekte dat een oudere versie zonder foutmelding verkeerde antwoorden gaf bij lange teksten. Sindsdien gaat een model bij mij pas in gebruik na een vaste test.
• Verbetering overgenomen in llama.cpp, een van de bekendste programma's om AI lokaal te draaien (bijna 130.000 sterren).

Uitgezochtgemeteningerichtgetestgedeeld

Inrichting en veiligheid, samen met IT.

• AI-tools afgeschermd van echte data. AI-assistenten die code schrijven werken bij mij in een aparte virtuele computer, zonder beheerrechten en zonder toegang tot mijn eigen bestanden.
• Gevoelige gegevens: lokaal waar het moet, cloud waar het kan. Voor gevoelige informatie kies ik een lokale of private opzet; voor de rest kan de cloud prima.
• Kritisch, en het uitspreken. Ik meldde gelekte sleutels en toegangsgegevens, met de oplossing erbij. Vier (semi-)publieke organisaties bevestigden daarna schriftelijk het herstel, één keer door de CISO, en de KNAW zet mij in haar Hall of Fame 2026 ↗.
• Een beveiligingstest, met toestemming. Voor Gitaarafstellen.nl testte ik de website en de systemen erachter, leverde een rapport met herstelplan, en deed na het herstel door de webbouwer de hertest.
• Bijhouden wat AI doet. Een AI-agent die voor mij werkte, hield van elke actie een logboek bij. Zo zie je of het veilig blijft en of het iets oplevert.

Uitzoeken waarom iets niet werkt, tot het is opgelost.

• Problemen in AI-software opgelost. Bij NVIDIA kon een mislukte controle toch als geslaagd doorkomen; mijn oplossing, met 21 testgevallen, is overgenomen. Bij Ray maakte ik het aanmaken van sleutels voor cloudservers betrouwbaar.
• AI-uitkomsten die kloppen. Ruim een jaar beoordeelde en verbeterde ik AI-antwoorden via Scale AI. Belangrijk werk laat ik door meerdere AI's los van elkaar controleren.

Klein en praktisch beginnen.

1. Luisteren: welke kennis en gegevens zijn er, wat is gevoelig, en wie beslist wat mag?

2. Eén team, één toepassing, naast het bestaande werk. Bijvoorbeeld: snel een antwoord vinden in goedgekeurde projectdocumenten, met de bron erbij.

3. Testen met de gebruikers en met IT: klopt het, is het veilig, en scheelt het echt tijd?

4. Verbeteren en uitbreiden, met wat de gebruikers terugzeggen.

Interesse in AI

Dagelijks bezig met wat nieuwe AI kan, en het zelf uitproberen en meten.

Doorzetten

Doorgaan tot het werkt, ook als dat tientallen stappen kost.

Direct en snel

De meldingen, verbeteringen en de beveiligingstest deed ik in één zomer.

Ondernemend

Mijn eigen bedrijf, Kleine Koe.