論文の概要: Diffusion Language Models Change Speed Across Tasks and Languages
- arxiv url: http://arxiv.org/abs/2610.25835v1
- Date: Mon, 19 Oct 2026 05:47:58 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:02:52.977922
- Title: Diffusion Language Models Change Speed Across Tasks and Languages
- Title（参考訳）: 拡散言語モデルによるタスクと言語間の速度変化
- Abstract要約: トークン当たりのフォワードパスの数はそのタスクに大きく依存していることがわかった。
DiffusionGemmaでは、ストーリーライティングのトークンを生成するには、文法修正の3倍以上の前方通過が必要になる。
多言語生成では、高度にトークン化された言語はトークン単位のパスも必要としており、すでにより多くのトークンで支払っているコストが増大している。
- 参考スコア（独自算出の注目度）: 48.04694751789902
- License:
- Abstract: Diffusion language models can write several tokens in one forward pass, and they decide during generation how many passes to spend. Two outputs of the same token length can therefore vary a lot in cost. To understand the underlying factors of this cost variation, we analyze two diffusion models across 10 tasks. We find that the number of forward passes per token depends heavily on the task. Text copied or lightly edited from the input is cheap, while open-ended writing is costly. In DiffusionGemma, generating a token for story writing requires more than three times as many forward passes as for grammar correction. Two output properties explain much of this gap: how much of it is new relative to the input, and how rare its words are within the task. The same holds within a single response when thinking is involved. The final answer is cheap when it repeats the model's reasoning trace and costly when it adds something new. In multilingual generation, we find that highly tokenized languages also require more passes per token, adding to the cost they already pay with more tokens. Finally, cost tracks correctness: on the same math problem, wrong answers take more passes per token than correct ones, and weighting candidate answers by decoding speed beats majority voting by up to 4.2 points at no extra cost. Taken together, our results show that diffusion's computational advantage depends on how much of the output is already determined, while its decoding effort offers a practical signal for making inference more efficient and reliable.
- Abstract（参考訳）: 拡散言語モデルは、1つのフォワードパスでいくつかのトークンを書ける。
したがって、同じトークン長の2つの出力は、コストで大きく変化する可能性がある。
このコスト変動の根底にある要因を理解するために,10タスクにまたがる2つの拡散モデルを分析する。
トークン当たりのフォワードパスの数はそのタスクに大きく依存していることがわかった。
入力からコピーまたは軽量に編集されたテキストは安価であり、オープンエンドの書き込みはコストがかかる。
DiffusionGemmaでは、ストーリーライティングのトークンを生成するには、文法修正の3倍以上の前方通過が必要になる。
2つの出力特性は、このギャップの大部分を説明している。
同じことが,思考に関わる場合,ひとつの応答に留まります。
最後の答えは、モデルの推論トレースを繰り返すと安くなり、何か新しいものを追加するとコストがかかります。
多言語生成では、高度にトークン化された言語はトークン単位のパスも必要としており、すでにより多くのトークンで支払っているコストが増大している。
最後に、コストは正しさを追跡します:同じ数学問題において、間違った答えは正しい答えよりもトークン当たりのパスを多く受け取り、復号速度で候補の答えを重み付けすると、余分なコストで最大4.2ポイントの票を勝ち取る。
その結果、拡散の計算上の優位性は、既にどれだけのアウトプットが決定されているかに依存し、その復号化努力は推論をより効率的かつ信頼性の高いものにするための実用的な信号を提供することを示した。
関連論文リスト
- TrimTokenator: Towards Adaptive Visual Token Pruning for Large Multimodal Models [4.779482139419908]
テキストトークンと意味的に視覚トークンを除去する相互情報に基づくトークンプルーニング戦略を導入する。
LLaVA-15-7BやLLaVA-7Bといったモデルでは,テキストトークンを88.9%削減しながら高い性能を維持している。
論文 参考訳（メタデータ） (2025-08-30T02:43:50Z) - Token Pruning in Multimodal Large Language Models: Are We Solving the Right Problem? [19.35502303812707]
マルチモーダル大言語モデル(MLLM)は、クロスモーダルな理解と生成に顕著な性能を示したが、それでも厳しい推論コストに悩まされている。
近年,MLLMの冗長なトークンを識別し,計算コストとKVストレージコストを削減するトークンプルーニングにより,この問題を解決するための豊富な研究が提案されている。
本稿では,これらの疑問に一つずつ答え,将来的なトークンプルーニング手法の設計について考察する。
論文 参考訳（メタデータ） (2025-02-17T07:05:36Z) - Beyond Literal Token Overlap: Token Alignability for Multilinguality [53.680462160878925]
我々は,多言語トークン化の効果と品質を理解する新しい方法として,サブワードトークン整合性を提案する。
特に、この指標は、スクリプトが異なっており、リテラルトークンの重複が低い場合、多言語性を予測する。
言語間移動のための最適な言語ペアを特定するために,我々のサブワードトークン整合性指標を推奨する。
論文 参考訳（メタデータ） (2025-02-10T13:50:12Z) - Token Assorted: Mixing Latent and Text Tokens for Improved Language Model Reasoning [53.57895922042783]
大規模言語モデル(LLM)は、チェーン・オブ・シークレット(CoT)データに基づいて訓練された場合、推論と計画が優れている。
そこで我々は,遅延離散トークンを用いて推論過程を部分的に抽象化するハイブリッド表現を提案する。
論文 参考訳（メタデータ） (2025-02-05T15:33:00Z) - From Language Models over Tokens to Language Models over Characters [54.123846188068384]
現代の言語モデルは、$itcharacter$ stringsではなく$ittoken$ strings上の内部的、数学的に...分布である。
本稿では,トークンレベル言語モデルから文字レベル言語への変換アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-12-04T21:19:20Z) - Language Model Tokenizers Introduce Unfairness Between Languages [98.92630681729518]
トークン化段階では,モデルが呼び出される直前に,異なる言語に対する扱いの相違が生じることを示す。
文字レベルとバイトレベルのモデルも、いくつかの言語ペアの符号化長の4倍以上の差を示している。
我々は、多言語で公平なサブワードトークン化器を用いて、将来の言語モデルを訓練するべきだと仮定する。
論文 参考訳（メタデータ） (2023-05-17T14:17:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。