tokens是什么意思 1、在語料庫語言學中,會計算文本的tokens和types。tokens指的是“形符”,就是文本中出現的所有詞的個數;types指的是“類符”,就是文本中出現的不重樣的詞的個數。2、n 象征;表征;記號 We sho...