WerkCV Claim–Evidence Benchmark v1
Deze methode meet bronondersteuning. Zij bewijst niet dat een kandidaat objectief de waarheid spreekt, geschikt is voor een functie of juridisch geïdentificeerd is.
Huidige status
De 60 fictieve openbare conceptcases en evaluatiecode zijn technisch voorbereid. De vereiste onafhankelijke tweetalige review, overeenstemmingsmeting en adjudicatie zijn nog niet afgerond. Daarom blijven downloads en nauwkeurigheidsclaims gesloten.
01 · Dataset
02 · Holdout
Een aparte set van 40 fictieve cases—20 Nederlands en 20 Engels—wordt alleen via een extern pad en goedgekeurde checksum geladen. De cases staan niet in publieke assets of downloads. Ontbreekt het bestand of wijkt de checksum af, dan stopt de evaluatie.
03 · Meetprotocol
Iedere case wordt drie keer uitgevoerd met vastgelegde applicatiecommit, parser, model, prompt, temperatuur en bronchecksums. Resultaten worden per taal en bestandstype uitgesplitst; bootstrap-intervallen en mislukte voorbeelden horen bij het verslag.
| Maatstaf | Publicatiedrempel |
|---|---|
| Citation resolution validity | 100% |
| Unsupported/contradicted catch recall | ≥ 90% |
| Severe false alarms on supported claims | ≤ 5% |
| Macro-F1 | ≥ 0.80 |
| Current-fact confirmation recall | ≥ 90% |
| Repeated-run verdict stability | ≥ 95% |
Een mislukte drempel wordt gerapporteerd als beperking; moeilijke cases worden niet verwijderd om een score te verhogen.
04 · Menselijke beoordeling
De reviewer moet ervaring hebben met kandidaatvoorstellen voor recruitmentbureaus. Credentials en belangenconflicten worden vastgelegd. Meningsverschillen worden gedocumenteerd en geadjudiceerd; onopgeloste verschillen krijgen een tweede specialist.
Reviewer nog niet gepubliceerd; deze externe poort staat open.
Bronnen voor de methode
Deze bronnen ondersteunen de keuze voor herhaalbare evaluatie, bronspannen en transparante publicatie. Ze bewijzen geen productprestatie; die moet uit de beschreven review en evaluatie komen.