意味推論や AI を使わず、言語に応じた単語トークンを数えて順位付けします。
プレーンテキスト内の連続した単語 N-gram を言語に応じて数えます。
2つのテキストを、単語頻度の cosine 類似度と語彙の Jaccard 類似度で比較します。
単語、書記素クラスター、行、UTF-8バイト数を数えます。