論文の概要: Anchors Enhance Controllability and Reasoning of Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.15097v1
• Date: Sat, 10 Oct 2026 18:14:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 02:35:57.076643
• Title: Anchors Enhance Controllability and Reasoning of Diffusion Language Models
• Title（参考訳）: 拡散言語モデルにおけるアンカーの可制御性と推論
• Abstract要約: 拡散言語モデル(DLM)は、制御可能なテキスト生成の新しい機会を提供する。 DLMの双方向注意により、制御トークンは出力シーケンス内の任意の位置から生成をガイドすることができる。 本稿では,アンカー生成器が短い出力フラグメントからなるアンカーを生成するフレームワークであるAnchorDLMを提案する。
• 参考スコア（独自算出の注目度）: 16.671899813761186
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language models (DLMs) offer new opportunities for controllable text generation. However, their controllability, defined as the ability to satisfy task constraints while preserving their original capabilities, remains underexplored. DLMs' bidirectional attention allows control tokens to guide generation from arbitrary positions in the output sequence, but effective guidance depends on the compatibility between their content and placement. To this end, we propose AnchorDLM, a framework in which an anchor generator produces an anchor consisting of a short output fragment and its position for each query. The anchor is placed as control tokens at the specified position to initialize the output sequence of a frozen DLM and guide subsequent denoising. We train the anchor generator with reinforcement learning (RL) to jointly optimize anchor content and placement, using rewards computed from the DLM's generated outputs based on answer correctness and constraint satisfaction. Moreover, through the lens of discrete flow matching (DFM), we interpret anchor placement as helping to reshape the initial velocity field that guides generation. Experiments on code generation and mathematical reasoning across five DLM backbones show that AnchorDLM improves controllability and further yields gains in reasoning performance across diverse benchmarks.
• Abstract（参考訳）: 拡散言語モデル(DLM)は、制御可能なテキスト生成の新しい機会を提供する。 しかし、元の能力を維持しながらタスクの制約を満足する能力として定義された制御性は、まだ未熟である。 DLMの双方向注意により、制御トークンは出力シーケンス内の任意の位置から生成を誘導することができるが、効果的なガイダンスは、その内容と配置の互換性に依存する。 この目的のために、アンカー生成器が短い出力フラグメントと各クエリに対するその位置からなるアンカーを生成するフレームワークであるAnchorDLMを提案する。 アンカーは、指定された位置に制御トークンとして配置され、凍結したDLMの出力シーケンスを初期化し、その後の復調をガイドする。 我々は,DLMの出力から得られる報酬を回答の正しさと制約満足度に基づいて計算し,アンカーの内容と配置を協調的に最適化するために,強化学習(RL)を用いたアンカージェネレータを訓練する。 さらに、離散フローマッチング(DFM)のレンズを通して、我々はアンカー配置を、生成を導く初期速度場を形作るのに役立つものとして解釈する。 5つのDLMバックボーンにまたがるコード生成と数学的推論の実験により、AnchorDLMは制御性を改善し、様々なベンチマークで性能を推し進める。

関連論文リスト

• Diffusion Language Models for Mobile Edge Agentic AI: Foundations, Applications, and Challenges [58.887152635127165]
  拡散言語モデル(DLM)は、モバイルエッジエージェント人工知能(AI)の非自己回帰的な代替手段を提供する DLMは複数の不確実なトークンを並列に更新し、生成プロセスを通して双方向のコンテキストを利用することができる。 この調査は、DLMの基礎をレビューし、レイテンシ、メモリ、エネルギ、帯域幅、プライバシ、信頼性制約の下でのエッジ設定に対する適合性を分析します。
  論文  参考訳（メタデータ） (2026-09-04T06:16:49Z)
• Prefix-Denoising Consistency: Test-Time Verification for Diffusion Language Models [6.053609157192373]
  拡散言語モデル(DLM)のテスト時間自己検証手法であるPDC(emphPrefix-Denoising Consistency)を導入する。 PDCは、プレフィックス条件付き再生下でのDLMの特異なテスト時間信号を利用し、正しい軌道は不正確な信号よりも安定で再現性が高い。 これらの結果から, プレフィックス条件による再生は, テスト時間検証に有効なDLM固有のプリミティブであることがわかった。
  論文  参考訳（メタデータ） (2026-08-26T02:45:09Z)
• MDLMPE: Distribution Aware Positional Encoding for Masked Diffusion Language Models [10.872454179321808]
  マスク付き拡散言語モデルは、明らかにされたトークンとマスクされたトークンの動的で非連続的な構成を生成する。 マスク拡散に特化して設計された位置符号化MDLMPEを提案する。 LLaDAとDREAMの実験により、MDLMPEは一般的に従来の位置符号化法より優れていることが示された。
  論文  参考訳（メタデータ） (2026-08-04T14:54:14Z)
• Expert-Choice Routing Enables Adaptive Computation in Diffusion Language Models [11.628969213956502]
  専門家選択ルーティングはトークン選択ルーティングよりも拡散言語モデルに適していることを示す。 我々は、時間に依存した専門家の能力を導入します。 DLM MoEモデルでは,ECルーティングが優れたパラダイムとして確立されている。
  論文  参考訳（メタデータ） (2026-04-02T05:01:36Z)
• Steering and Rectifying Latent Representation Manifolds in Frozen Multi-modal LLMs for Video Anomaly Detection [52.5174167737992]
  ビデオ異常検出(VAD)は、ビデオ内の異常事象を特定することを目的としている。 本稿では,MLLMに基づくVADを受動的に読み上げから内部表現を積極的に操り,修正するSteerVADを提案する。 本手法は、トレーニングデータの1%しか必要としないチューニングフリーアプローチにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-02-27T13:48:50Z)
• Relaxing Positional Alignment in Masked Diffusion Language Models [6.511565218210195]
  マスケード拡散言語モデル(MDLM)は、支配的な自己回帰的アプローチに代わる有望な代替手段として登場した。 厳密な位置予測によってMDLMの復号化がトークンの誤認識に非常に敏感になることを示す。 本手法は広く使われているMDLMモデルに適用し、5つのオープンエンドテキスト生成ベンチマークで実験を行う。
  論文  参考訳（メタデータ） (2026-01-30T13:09:21Z)
• ILRR: Inference-Time Steering Method for Masked Diffusion Language Models [8.458339111154585]
  単一の参照シーケンスを用いてDLMを操る学習自由フレームワークであるIterative Latent Representation Refinement (ILRR)を紹介する。 ILRRは、生成したシーケンスの内部アクティベーションを、デノナイジングプロセスを通して所定の参照のアクティベーションと動的に調整することで生成をガイドする。 さらに、短い参照を用いて長いテキストをステアリングできる拡張である空間変調ステアリングを導入し、シーケンス間のガイダンス強度を調節する。
  論文  参考訳（メタデータ） (2026-01-29T12:48:59Z)
• Prompt Highlighter: Interactive Control for Multi-Modal LLMs [50.830448437285355]
  本研究では,マルチモーダル LLM (LLMs&VLMs) 推論における重要な側面として,明示的な制御可能なテキスト生成を目標とする。 本稿では,新しい推論手法であるPrompt Highlighterを導入し,ユーザが特定のプロンプトスパンをハイライトし,生成中のフォーカスをインタラクティブに制御できるようにする。 推論中、注意重みを通して強調されたトークンでモデルを導くことで、より望ましい出力が得られます。
  論文  参考訳（メタデータ） (2023-12-07T13:53:29Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。