論文の概要: Diffusion Language Models Are Natively Length-Aware

• arxiv url: http://arxiv.org/abs/2603.06123v1
• Date: Fri, 06 Mar 2026 10:30:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:45.511798
• Title: Diffusion Language Models Are Natively Length-Aware
• Title（参考訳）: 拡散言語モデルはネイティブに長さを認識している
• Authors: Vittorio Rossi, Giacomo Cirò, Davide Beltrame, Luca Gandolfi, Paul Röttger, Dirk Hovy,
• Abstract要約: 生成開始前にコンテキストウィンドウを動的にトリミングするゼロショット機構を提案する。 統計学的に有意な性能低下を伴わず,全タスクにわたるFLOPの大幅な減少を報告した。
• 参考スコア（独自算出の注目度）: 29.070013714054877
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unlike autoregressive language models, which terminate variable-length generation upon predicting an End-of-Sequence (EoS) token, Diffusion Language Models (DLMs) operate over a fixed maximum-length context window for a predetermined number of denoising steps. However, this process is independent of the required response length, resulting in computational waste for the majority of short responses common in reasoning and chat tasks. To address this problem, we conjecture that the latent prompt representation contains sufficient information to estimate the required output length. We provide empirical evidence for this phenomenon and propose a zero-shot mechanism to dynamically crop the context window before generation begins, leading to fewer diffusion steps and substantial computational savings. We evaluate our approach on four benchmarks with diverse tasks -- GSM8K (reasoning), HumanEval (code generation), IfEval (instruction following), and LongFormQA (question answering) -- revealing massive efficiency gains at minimal performance impact. We report significant reductions in FLOPs across all tasks, with no statistically significant performance degradation, and significant performance improvements in 2 out of 4 tasks.
• Abstract（参考訳）: EoS(End-of-Sequence)トークンを予測して可変長生成を終了する自動回帰言語モデルとは異なり、拡散言語モデル(DLM)は、所定の数のデノナイジングステップに対して、固定された最大長コンテキストウィンドウ上で動作する。 しかし、このプロセスは要求された応答長とは独立であり、推論やチャットタスクで一般的な短い応答の大部分が計算に費やされる。 この問題に対処するために、潜在プロンプト表現は必要出力長を推定するのに十分な情報を含んでいると推測する。 この現象の実証的な証拠を提供し、生成開始前にコンテキストウィンドウを動的にトリミングするゼロショット機構を提案する。 GSM8K(推論)、HumanEval(コード生成)、ifEval(命令フォロー)、LongFormQA(質問応答)という4つのタスクを持つ4つのベンチマークに対するアプローチを評価し、パフォーマンスへの影響を最小限に抑える。 統計学的に有意な性能低下はなく,4タスク中2タスクで有意な性能改善が得られず,全タスクにわたるFLOPの大幅な削減が報告された。

関連論文リスト

• TokenSqueeze: Performance-Preserving Compression for Reasoning LLMs [57.217593337454026]
  TokenSqueezeは、パフォーマンスを保ち、自己生成データにのみ依存しながら推論パスを凝縮する新しいLong2Shortメソッドである。 TokenSqueeze は MATH500 ベンチマークの精度を維持しながらトークンの使用量を削減できることを示す。
  論文  参考訳（メタデータ） (2025-11-17T10:38:56Z)
• Beyond Fixed: Training-Free Variable-Length Denoising for Diffusion Large Language Models [74.15250326312179]
  拡散大言語モデルは効率的な並列生成とグローバルモデリングを提供する。 DLLMの主流の応用は、静的に事前定義された生成長の必要性によって妨げられている。 DAEDALは,動的適応長拡張を可能にする新しい学習自由化戦略である。
  論文  参考訳（メタデータ） (2025-08-01T17:56:07Z)
• ONLY: One-Layer Intervention Sufficiently Mitigates Hallucinations in Large Vision-Language Models [67.75439511654078]
  LVLM(Large Vision-Language Models)は、テキスト応答による画像入力の理解と推論のための新しいパラダイムを導入している。 彼らは幻覚という永続的な課題に直面しており、現実のアプリケーションに信頼性のあるデプロイを行うことについて懸念を抱き、実践的な弱点をもたらしている。 OnLYは,1つのクエリと1層の介入しか必要とせず,効率的なリアルタイムデプロイメントを実現するためのトレーニング不要なデコーディング手法である。
  論文  参考訳（メタデータ） (2025-07-01T16:01:08Z)
• S$^4$C: Speculative Sampling with Syntactic and Semantic Coherence for Efficient Inference of Large Language Models [38.784951111677856]
  大規模言語モデル(LLM)は、様々な下流タスクにまたがる顕著な推論能力を示す。 その自己回帰的な性質は、相当なレイテンシ推論をもたらし、リアルタイムアプリケーションに課題を提起する。 マルチヘッドドラフトを利用して投機的サンプリングを拡張するSyntactic and Semantic Coherenceフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-17T03:38:19Z)
• Accelerated Test-Time Scaling with Model-Free Speculative Sampling [58.69141724095398]
  STAND(Stochastic Adaptive N-gram Drafting)は,新しいモデルフリーな投機的デコード手法である。 従来の自己回帰復号法と比較して,STANDは推論遅延を60～65%削減することを示した。 モデルフリーのアプローチとして、STANDは追加のトレーニングなしで既存の言語モデルに適用できる。
  論文  参考訳（メタデータ） (2025-06-05T07:31:18Z)
• ReWOO: Decoupling Reasoning from Observations for Efficient Augmented Language Models [32.95155349925248]
  本稿では,外部観測から推論プロセスを取り除き,トークン消費量を大幅に削減するモジュラーパラダイムReWOOを提案する。 マルチステップ推論ベンチマークであるHotpotQAにおいて,ReWOOは5倍のトークン効率と4%の精度向上を実現している。 本稿では,175B GPT3.5から7B LLaMAへの推論能力をオフロードし,真に効率的でスケーラブルなALMシステムの可能性を示す。
  論文  参考訳（メタデータ） (2023-05-23T00:16:48Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。