Token-Tester
Dieses kleine Werkzeug unterstützt die Entwicklung des Textanalysealgorithmus von Word Stats. Es arbeitet mit einzelnen Tokens, nicht mit Sätzen. Wählen Sie eine Sprache, passen Sie bei Bedarf die Einstellungen für die Silbentrennung an und geben Sie eine Zeichenfolge in das Feld ein. Mit Bereinigen sehen Sie, wie Zeichen außer Buchstaben und Ziffern aus dem Token entfernt werden. Mit Testen sehen Sie, wie das Token ausgewertet wird. Die Groß- und Kleinschreibung ist relevant: Beispielsweise wird I'm als gültiges Wort erkannt, i'm dagegen nicht.
Wort ( Gültig ) Zahl Hyperlink Leer Sonstiges
| Zeichen | -- | |
| Silben | -- | |
| Silbentrennung | -- |