Token Tester
Dit hulpmiddeltje was gemaakt om te helpen bij de ontwikkeling van het tekstanalyse-algoritme van Word Stats. Het werkt op individuele tokens, niet op zinnen. Selecteer een taal, pas eventueel de instellingen voor woordafbreking aan en voer een reeks tekens in het vakje in. Druk op Opschonen om te zien hoe dit token wordt opgeschoond als het andere karaketers dan letters en cijfers bevat, en/of druk op Test om te zien hoe het wordt ontleden. Merk op dat tekst hoofdlettergevoelig is; bijvoorbeeld het Engelstalige I'm wordt herkend als een geldig woord, maar i'm niet.
Woord ( Geldig ) Getal Hyperlink Leeg Iets anders
| Karakters | -- | |
| Lettergrepen | -- | |
| Woordafbreking | -- |