Fugu-MT 論文翻訳(概要): Don't Commit Alone: Joint Token Commitment in Diffusion Large Language Models

論文の概要: Don't Commit Alone: Joint Token Commitment in Diffusion Large Language Models

arxiv url: http://arxiv.org/abs/2607.04469v1
Date: Sun, 05 Jul 2026 19:29:13 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-07 22:26:29.944203
Title: Don't Commit Alone: Joint Token Commitment in Diffusion Large Language Models
Title（参考訳）: 単独でコミットしない:拡散大言語モデルにおけるジョイントトークンコミット
Abstract要約: マーカー付きコーディネーションパスであるCoCommitを提案する。 LLaDA2.1-miniとLoRAアダプタと一致したグリーディ推論では、共同コミットメントは評価した6つのベンチマークの正確性を改善する。
参考スコア（独自算出の注目度）: 0.6916773850242582
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Diffusion large language models (dLLMs) commit multiple tokens per denoising step by decoding each selected position independently from the shared context; when those positions are dependent, the resulting factorization error is captured by conditional total correlation, which confidence-based selection cannot observe from marginals alone. We propose CoCommit, a marker-gated coordination pass that briefly defers commitment: after the usual bundle selection, a learned marker announces the commit set and the backbone's last-$n$ layers are re-applied so marked positions coordinate -- approximating joint-mode decoding -- before greedy argmax writes tokens. The method reuses existing weights with one extra partial forward pass and no auxiliary model. On LLaDA2.1-mini with LoRA adapters and matched greedy inference, joint commitment improves accuracy on all six benchmarks we evaluate, with the largest gains on reasoning and exact-answer tasks.
Abstract（参考訳）: 拡散大言語モデル (dLLMs) は、各選択された位置を共有コンテキストから独立して復号することで、段階ごとに複数のトークンをコミットする。通常のバンドル選択の後、学習されたマーカーがコミットセットをアナウンスし、バックボーンの最後の$n$のレイヤが再適用され、マークされた位置座標 -- 共同モードデコーディングの近似 -- が、greedy argmaxがトークンを書き込みます。この方法は、既存の重量を1つの余剰部分フォワードパスと補助モデルなしで再利用する。 LLaDA2.1-miniとLoRAアダプタと一致したgreedy推論では、共同コミットメントによって評価した6つのベンチマークの精度が向上する。

関連論文リスト

Neither Parallel Nor Sequential: How DiffusionGemma Actually Commits Tokens [0.08599681538174887]
オープン拡散言語モデルは並列非自己回帰デコーダとして販売されている。 Gemma 4をベースとしたマスク付き離散拡散混合実験モデルを構築した。 686プロンプト、6レジームのプローブスイート全体で、その復号化は並列でもブロック自動回帰でもないことが判明した。
論文参考訳（メタデータ） (2026-06-12T16:45:11Z)
Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models [59.51249894128724]
マスク付き拡散言語モデルは、反復を識別するごとに複数のトークンを明らかにすることで推論ステップを削減することができる。パラレルマスク拡散復号法のためのトレーニング不要な復号法であるADASを提案する。
論文参考訳（メタデータ） (2026-06-09T13:17:27Z)
Understanding-Enhanced Model Collaboration for Long-Tailed Egocentric Mistake Detection [85.49213290363834]
理解力向上型モデル協調手法(UE-MCM)を提案する。より効率的な粗いビデオ理解と正確なきめ細かなアクション推論を組み合わせる。結果として得られるシステムは速度と精度のバランスを保ち、エゴセントリックな指導ビデオの微妙で稀で曖昧な誤りを検出するのに効果的である。
論文参考訳（メタデータ） (2026-06-01T11:50:16Z)
Cluster-Level Attention-Guided Parallel Decoding for Masked Diffusion Language Models [13.325071163425621]
マスク付き拡散言語モデル (MDLM) は、各デノナイジングステップにおける全てのマスキング位置を予測することで並列デコードを可能にする。我々は、この粒度を再考し、信頼できる予測が連続した高信頼のスパンとしてしばしば現れることを観察する。自己アテンションマップを用いてクラスタ間の依存関係を推定し、並列コミットのための相互互換CICのコンフリクト対応の選択を可能にする。
論文参考訳（メタデータ） (2026-05-28T08:42:39Z)
Context Pruning for Coding Agents via Multi-Rubric Latent Reasoning [14.508049757681862]
LLMベースのコーディングエージェントは、トークンの予算の大部分をリポジトリファイルを読むのに費やしている。この定式化がモデリングのボトルネックを生み出すことを示す。コード関連性を2つの解釈可能な品質次元に分解する構造化プルーニングフレームワークであるLaMRを提案する。
論文参考訳（メタデータ） (2026-05-14T18:30:10Z)
Dependency-Guided Parallel Decoding in Discrete Diffusion Language Models [21.699371484195865]
我々は,dLLMの最終隠れ状態にアタッチする軽量依存予測器DEMASKを提案する。実証的に、DEMASKはDream-7Bで1.7-2.2$times$ Speedupを達成し、信頼性ベースのベースラインやKLベースのベースラインと比較して精度が向上した。
論文参考訳（メタデータ） (2026-04-02T22:21:24Z)
Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。 NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2026-03-27T11:34:41Z)
Not all tokens are created equal: Perplexity Attention Weighted Networks for AI generated text detection [49.15148871877941]
大規模言語モデル(LLM)の検出に理論的に魅力的なアプローチを提供する次点分布出力本稿では,LLMの最後の隠蔽状態を用いて,列長の次トーケン分布のメトリクスに基づく一連の特徴量の重み付けを行うパープレキシティ注意重み付けネットワーク(PAWN)を提案する。 PAWNは、トレーニング可能なパラメータのごく一部を持つ最強のベースラインよりも、競争力があり、より優れた分散性能を示している。
論文参考訳（メタデータ） (2025-01-07T17:00:49Z)
Localizing Factual Inconsistencies in Attributable Text Generation [74.11403803488643]
本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。 QASemConsistencyは、人間の判断とよく相関する事実整合性スコアを得られることを示す。
論文参考訳（メタデータ） (2024-10-09T22:53:48Z)
Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
論文参考訳（メタデータ） (2023-05-17T14:30:11Z)
Consensus-Guided Correspondence Denoising [67.35345850146393]
本稿では,地域間コンセンサス学習フレームワークと対応関係を異色化し,対応関係をロバストに識別する。ローカル地域からグローバル地域への動的グラフから推定されるコンセンサススコアに基づいて,信頼度の高い候補を初期マッチングから蒸留する新しい「プルーニング」ブロックを導入した。本手法は、堅牢なラインフィッティング、ワイドベースライン画像マッチング、画像ローカリゼーションベンチマークを顕著なマージンで上回る。
論文参考訳（メタデータ） (2021-01-03T09:10:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。