Fugu-MT 論文翻訳(概要): Survival-Guided Length Control for Efficient Diffusion Language Models

論文の概要: Survival-Guided Length Control for Efficient Diffusion Language Models

arxiv url: http://arxiv.org/abs/2608.26374v1
Date: Wed, 26 Aug 2026 19:59:42 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-28 16:30:58.168848
Title: Survival-Guided Length Control for Efficient Diffusion Language Models
Title（参考訳）: 効率的な拡散言語モデルのためのサバイバルガイド長制御
Abstract要約: 終端トークン上での離散時間生存問題として長さ選択をリキャストする。既存のDLMに付加可能なプラグイン・トレーニング不要長予測器を提案する。
参考スコア（独自算出の注目度）: 15.49436655340166
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Diffusion language models (DLMs) generate text by iteratively denoising masked sequences, but standard decoding either fixes the sequence length or relies on ad hoc stopping rules, often leading to unnecessary denoising steps. We recast length selection as a discrete-time survival problem over the end-of-sequence token and propose a plug-in, training-free length predictor that can be added to any existing DLM. Across reasoning and code-generation benchmarks, survival-guided length decoding speeds up inference by up to 7 times while preserving task accuracy. We further find that predicted lengths vary widely even within the same dataset, making model performance sensitive to the chosen length.
Abstract（参考訳）: 拡散言語モデル(DLM)は、反復的にマスマスキングシーケンスを復号化することでテキストを生成するが、標準的な復号化はシーケンス長の修正かアドホックな停止規則に依存し、しばしば不要な復号化ステップにつながる。提案手法は,既存のDLMに付加可能なプラグイン,トレーニング不要長予測器を提案する。推論とコード生成ベンチマークを通じて、生存誘導長復号はタスクの正確性を維持しながら、最大7倍の速度で推論を行う。さらに、予測長は同一データセット内でも大きく異なり、モデルの性能は選択した長さに敏感であることがわかった。

関連論文リスト

Predict, Don't Iterate: Efficient Adaptive-Length Infilling for Diffusion Language Models [78.02669593911784]
拡散言語モデル (DLMs) は自己回帰パラダイムに代わる有望な代替品として登場した。本稿では,DLMの効率的な埋め込み法であるPILL(Probing-based InfiLling with preset-Length-free decoding)を提案する。
論文参考訳（メタデータ） (2026-09-02T04:52:01Z)
Beyond Tokenization: Direct Timestep Embedding and Contrastive Alignment for Time-Series Question Answering [13.074536659496362]
大規模言語モデル(LLM)の最近の進歩により、時系列質問応答(TSQA)が生まれている。 TSQAは時系列解析を自然言語による質問応答として定式化する。この課題に対処するために、直接時間ステップ埋め込みとセマンティックアライメントという2つの重要なコンポーネント上に構築されたTSQAのための新しいフレームワークであるCADEを提案する。
論文参考訳（メタデータ） (2026-06-17T12:07:23Z)
Diffusion Large Language Models for Visual Speech Recognition [56.81307584718608]
本稿では,最初の拡散大言語モデル(DLLM)に基づく視覚音声認識(VSR)フレームワークを提案する。 DLLM-VSRは早期に高信頼位置をコミットし、コミットトークンを双方向コンテキストとして、曖昧なトークンを洗練させる。我々は、ビデオ長を用いて、可塑性転写長仮説を構築する長さ誘導型候補復号法を開発した。提案手法はラベル付きトレーニングデータのみを用いて, LRS3 上で19.5%の最先端 WER を実現する。
論文参考訳（メタデータ） (2026-05-27T13:22:08Z)
TS-Haystack: A Multi-Scale Retrieval Benchmark for Time Series Language Models [4.387988928531881]
時系列言語モデル(TSLM)は、自然言語における連続的な信号の推論のための統一モデルとして登場している。既存のモデルは通常、短いシーケンスでトレーニングされ、評価されるが、現実の時系列センサーストリームは数百万のデータポイントにまたがる。 TS-Haystackは4つのカテゴリにまたがる10のタスクタイプからなる長期コンテキストの時間的評価ベンチマークである。
論文参考訳（メタデータ） (2026-02-15T15:50:02Z)
Length-Adaptive Interest Network for Balancing Long and Short Sequence Modeling in CTR Prediction [50.094751096858204]
LAINは、長いシーケンスと短いシーケンスのモデリングのバランスをとるために、シーケンス長を条件信号として組み込んだプラグアンドプレイフレームワークである。私たちの仕事は、シーケンシャルなレコメンデーションにおいて、長さによるバイアスを軽減する、汎用的で効率的でデプロイ可能なソリューションを提供します。
論文参考訳（メタデータ） (2026-01-27T03:14:20Z)
Can LLMs Track Their Output Length? A Dynamic Feedback Mechanism for Precise Length Regulation [50.821215666749545]
大きな言語モデル(LLM)は、しばしばその応答長を正確に測ることに失敗し、長さの制約に固執する。生成中の動的長さフィードバックを組み込んだ新しい長さ制御手法を提案する。要約タスクと伝記タスクの実験は、目標トークン、単語、文数を達成する際のトレーニング不要なアプローチにより、精度が大幅に向上することを示している。
論文参考訳（メタデータ） (2026-01-05T03:49:14Z)
DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
論文参考訳（メタデータ） (2025-09-28T07:00:15Z)
Beyond Fixed: Training-Free Variable-Length Denoising for Diffusion Large Language Models [74.15250326312179]
拡散大言語モデルは効率的な並列生成とグローバルモデリングを提供する。 DLLMの主流の応用は、静的に事前定義された生成長の必要性によって妨げられている。 DAEDALは,動的適応長拡張を可能にする新しい学習自由化戦略である。
論文参考訳（メタデータ） (2025-08-01T17:56:07Z)
Hansel: Output Length Controlling Framework for Large Language Models [3.053720182019654]
Hanselは大規模言語モデルにおける長さ制御のための効率的なフレームワークである。このフレームワークは、モデルの微調整段階において、事前訓練されたLLMに適用することができる。
論文参考訳（メタデータ） (2024-12-18T16:52:38Z)
Precise Length Control in Large Language Models [1.3654846342364308]
大規模言語モデル(LLM)は、プロダクションシステムでますます使われている。本稿では,事前学習したデコーダのみのLCMを応答長の正確な制御に適応させる手法を提案する。
論文参考訳（メタデータ） (2024-12-16T16:22:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。