tokens是什么意思 1、在語料庫語言學中,會計算文本的tokens和types。tokens指的是“形符”,就是文本中出現(xiàn)的所有詞的個數(shù);types指的是“類符”,就是文本中出現(xiàn)的不重樣的詞的個數(shù)。2、n 象征;表征;記號 We sho...