WerkCV Claim–Evidence Benchmark v1
Zo toetsen we of voorstelclaims echt naar CV-bronnen terugwijzen.
De benchmark meet bronondersteuning, niet de waarheid van een kandidaat, geschiktheid voor een baan of identiteit.
Onafhankelijke review loopt
We publiceren nog geen prestatiescore.
De 60 fictieve conceptcases en evaluatiecode zijn technisch voorbereid, maar de vereiste onafhankelijke tweetalige beoordeling en adjudicatie zijn niet afgerond. De datasetdownloads blijven daarom gesloten en moeilijke cases worden niet stil verwijderd.
Wat iedere case bevat
- Exacte claimspan in het voorstel
- Verwacht oordeel en geaccepteerde bronspan of aantoonbare afwezigheid
- Foutcategorie, annotatiereden, documentversie en SHA-256-checksum
- 30 Nederlandse en 30 Engelse cases; zes oordeelklassen met elk tien cases
- Tien beroepsfamilies en junior-, medior- en seniorcases
Wat we rapporteren
- Claimextractieprecisie en -recall
- Macro-F1 en cijfers per oordeelklasse
- Vangst van niet-onderbouwde en strijdige claims
- Geldigheid van broncitaten; lancering vereist 100%
- Numerieke tegenstrijdigheden, actuele feiten, taalverschil en stabiliteit over drie runs
- Bootstrap-betrouwbaarheidsintervallen, mislukkingen en bekende beperkingen
Publicatiepoorten
| Maatstaf | Minimum |
|---|---|
| Geldige broncitaten | 100% |
| Recall niet-onderbouwd/strijdig | ≥ 90% |
| Ernstige false alarms op ondersteunde claims | ≤ 5% |
| Macro-F1 | ≥ 0.80 |
| Recall actuele feiten | ≥ 90% |
| Stabiliteit over herhaalde runs | ≥ 95% |
Versie en reproduceerbaarheid
Public draft checksum: b6504e978d808b1ca1fca5d0d6d3f9ad7a1ff3916664d6bb33cf692bc2c0651e
Laatst technisch geëvalueerd: nog niet. Laatst bijgewerkt: 22 augustus 2026.