лексемы
Существительное
Слово происходит от лексема
Производные слова
Примеры
В отличие от битовых индексов, отображение лексем в сигнатуры не однозначно, то есть возможно существование лексемы w3 с сигнатурой 001000.
Уже в древнерусском языке этот тип распался, лексемы, относящиеся к нему, перешли в более продуктивные типы, тогда же форма именительного падежа была вытеснена первоначальной формой винительного падежа любовь ( ).
При этом все слова логлана организованы ещё и как пятьдесят четыре подкласса, 54 так называемых лексемы.
Другой метод - hasMoreTokens - возвращает true в том случае, если в строке еще остались неизвлеченные лексемы.
Отметим, что в узлах дерева на этом этапе содержатся сами лексемы ("имена" слов).
Перевод на английский язык
token