tokenized
|to-ken-ized|
🇺🇸
/ˈtoʊ.kə.naɪz/
🇬🇧
/ˈtəʊ.kə.naɪz/
(tokenize)
made into tokens
トークンにする（小さな単位に分ける）
語源
「tokenized」は英語で、名詞の「token」と動詞化接尾辞「-ize」から成る。「token」は古英語の'tacen'（「しるし」）に由来し、「-ize」はギリシャ語の'-izein'を経て（ラテン語/フランス語経由で）「〜にする」という意味を持つ。
「token」は古英語の'tacen'から中英語の'token'へ変化し、動詞化する接尾辞「-ize」が付いて'modern English'の'tokenize'が作られ、さらに過去形・過去分詞として'tokenized'が標準的に生じた。
当初は「しるし・象徴」の意味だったが、接尾辞で動詞化され「しるしにする」「表現・表象に変える」という意味に変化した。現代では特にテキストをトークンに分割する意味（NLP）や、機密データをトークンに置き換える意味（データ保護）などの専門的用法が定着している。
品詞ごとの意味
動詞 1
past tense or past participle form of 'tokenize'.
「tokenize」の過去形・過去分詞形
The developer tokenized the user data before storing it.
開発者は保存する前にユーザーデータをトークン化した。
同意語
反意語
形容詞 1
converted into tokens; represented as discrete tokens or small units (especially in computing, natural language processing, or data security).
トークン（小さな単位）に変換された（特にコンピュータ科学・自然言語処理・データ保護で使われる）
The text was tokenized into words and punctuation for analysis.
解析のためにテキストは単語と句読点にトークン化された。
同意語
反意語
最終更新時刻: 2025/12/14 06:22