tokenizability
|to-ken-i-za-bi-li-ty|
🇺🇸
/ˌtoʊkəˌnaɪzəˈbɪlɪti/
🇬🇧
/ˌtəʊkəˌnaɪzəˈbɪlɪti/
(tokenize)
made into tokens
トークンにする（小さな単位に分ける）
語源
「tokenizability」は動詞「tokenize」と名詞化接尾辞「-ability」を組み合わせて現代英語で作られた語です。'tokenize'は「印（しるし）」を意味する 'token' と動詞化接尾辞 '-ize' から来ています。
「token」は古英語の 'tacen'（印・しるし）に由来し、中英語の 'token' を経て現代英語の 'token' になりました。'-ize' はギリシャ語・ラテン語由来の動詞化接尾辞を経て入り、'-ability' はラテン語の '-abilitas' から古フランス語・中英語を経て現代英語に定着しました。これらが結合して 'tokenize'、さらに 'tokenizability' が生まれました。
元は「しるし」を指していましたが、時代が進むと 'tokenize' は「（データなどを）トークンに変換する」という技術的な意味を持つようになり、'tokenizability' は「トークン化できる度合い」という現代的な意味になりました。
品詞ごとの意味
名詞 1
the quality or state of being capable of being broken into tokens; the degree to which something can be tokenized.
トークンに分割できる性質・度合い
The tokenizability of the dataset affects the choice of tokenizer used in preprocessing.
データセットのトークン化可能性は前処理で使用するトークナイザの選択に影響する。
同意語
反意語
名詞 2
in computational linguistics and NLP, a measure of how easily text (or other input) can be segmented into meaningful tokens for processing by algorithms.
計算言語学や自然言語処理で、テキスト（または他の入力）を処理用のトークンに分割しやすいかの評価・指標
Languages with agglutinative morphology can present lower tokenizability for simple tokenizers.
膠着語は単純なトークナイザにとってトークン化可能性が低くなることがある。
同意語
反意語
最終更新時刻: 2026/01/20 07:25