論文の概要: In-Place Instruction Following in Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2609.07160v1
- Date: Mon, 07 Sep 2026 07:55:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.38286
- Title: In-Place Instruction Following in Diffusion Language Models
- Title（参考訳）: 拡散言語モデルにおけるパス内命令の追従
- Abstract要約: In-place Instruction following task を形式化し,リテラル,スタイル,言論関数の制約にまたがる階層的なベンチマークである IIF-Bench を構築した。
推測時間に基づくアテンションバイアス調査では、バニラdLLMはデノナイジング時に制約スパンを過度に優先順位付けしていることが示唆されている。
制約認識型SFTと優先最適化を組み合わせたIPP指向のポストトレーニングフレームワークであるGRAFTを提案する。
- 参考スコア（独自算出の注目度）: 16.860084957614944
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion Large Language Models (dLLMs) generate text via bidirectional iterative denoising, naturally supporting user-specified constraints anchored at arbitrary output positions, a paradigm known as In-place Prompting (IPP). We formalize this as the In-place Instruction Following (IIF) task and construct IIF-Bench, a hierarchical benchmark spanning literal, style, and discourse-function constraints, paired with a rubric-based local-global evaluation protocol. An inference-time attention-bias probe suggests that vanilla dLLMs often under-prioritize constraint spans during denoising. We then propose GRAFT, an IPP-oriented post-training framework combining constraint-aware SFT and preference optimization. On four representative dLLMs, GRAFT raises the average IIF score from 57.75 to 73.10 (+15.35 points), with absolute gains of 15.91 and 15.57 points on literal and discourse-function constraints, while preserving general generation ability.
- Abstract（参考訳）: Diffusion Large Language Models (dLLMs) は、任意の出力位置に固定されたユーザ指定制約(IPP)を自然にサポートし、双方向反復記述を通じてテキストを生成する。
In-place Instruction following (IIF) タスクとしてこれを形式化し,リテラル,スタイル,言論関数制約にまたがる階層的なベンチマークである IIF-Bench を構築し,ルーリックベースの局所言語評価プロトコルと組み合わせる。
推測時間に基づくアテンションバイアス調査では、バニラdLLMはデノナイジング時に制約スパンを過度に優先順位付けしていることが示唆されている。
次に,制約認識型SFTと優先最適化を組み合わせたIPP指向のポストトレーニングフレームワークであるGRAFTを提案する。
4つの代表 dLLM では、GRAFT は平均 IIF スコアを 57.75 から 73.10 (+15.35 点) に上げ、15.91 と 15.57 の絶対ゲインをリテラルと言論関数の制約で獲得し、一般生成能力を保っている。
関連論文リスト
- Weave of Formal Thought [51.56484100374058]
WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。
本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。
Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
論文 参考訳（メタデータ） (2026-06-24T15:58:11Z) - Decoupling Semantics and Geometric Grounding: Spatial Visual Prompts for Language-Conditioned Imitation Learning [21.67233368353003]
本稿では,アクション生成ループから空間的グラウンドを明示的に抽出する分離アーキテクチャであるSVP-ILを提案する。
実験では、SVP-ILは最先端のVLAや純粋なビジュモータベースラインよりも著しく優れている。
論文 参考訳（メタデータ） (2026-06-24T03:45:06Z) - Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models [59.51249894128724]
マスク付き拡散言語モデルは、反復を識別するごとに複数のトークンを明らかにすることで推論ステップを削減することができる。
パラレルマスク拡散復号法のためのトレーニング不要な復号法であるADASを提案する。
論文 参考訳（メタデータ） (2026-06-09T13:17:27Z) - Efficient Long-Context Modeling in Diffusion Language Models via Block Approximate Sparse Attention [58.484607892210015]
Diffusion Language Models (DLM) は、グローバルコヒーレント、双方向、および制御可能なテキスト生成を可能にする。
既存の多くのブロックスパースアテンション手法は、高分解能アテンション空間上の固定サンプリングパターンによってブロックを選択する。
本稿では,ブロックワイド事前サンプリング操作によるBA-Att(Block Approximate Sparse Attention framework)を提案する。
論文 参考訳（メタデータ） (2026-05-19T12:01:13Z) - KUET at StanceNakba Shared Task: StanceMoE: Mixture-of-Experts Architecture for Stance Detection [2.5199066832791526]
StanceMoEは、アクターレベルのスタンス検出のための微細調整されたBERTエンコーダ上に構築された、コンテキスト強化型Mixture-of-Experts (MoE)アーキテクチャである。
本モデルでは,補完的な言語信号の取得を目的とした6つの専門モジュールを統合した。
StanceNakba 2026 Subtask Aデータセットで、1,401の注釈付き英語テキストを含む実験が行われた。
論文 参考訳（メタデータ） (2026-04-01T13:24:03Z) - Matching Features, Not Tokens: Energy-Based Fine-Tuning of Language Models [102.20309135516186]
クロスエントロピー(CE)トレーニングは、言語モデルの密集したスケーラブルな監視を提供する。
言語モデル微調整のための特徴マッチング手法を提案する。
この目的を効率的に最適化するために,エネルギーベースファインチューニングを提案する。
論文 参考訳（メタデータ） (2026-03-12T17:57:50Z) - WavefrontDiffusion: Dynamic Decoding Schedule or Improved Reasoning [39.57157800995735]
本稿では,アクティブトークンのウェーブフロントを最終位置から外へ拡張する動的デコード手法であるWavefrontDiffusionを提案する。
推論とコード生成の4つのベンチマークで、WavefrontDiffusionは最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-11-22T07:33:00Z) - HYPEROFA: Expanding LLM Vocabulary to New Languages via Hypernetwork-Based Embedding Initialization [50.27950279695363]
多くの事前訓練された言語モデル (PLM) は、中級言語と低級言語で最適な性能を示す。
これを解決するための一般的な戦略は、ターゲット言語固有の新しいトークンを導入し、埋め込みを初期化し、ターゲット言語データに連続的な事前トレーニングを適用することである。
より適応的なトークン埋め込みのためのハイパーネットワークベースのアプローチであるHYPEROFAを提案する。
論文 参考訳（メタデータ） (2025-04-21T19:40:32Z) - Align-SLM: Textless Spoken Language Models with Reinforcement Learning from AI Feedback [50.84142264245052]
テキストレス音声言語モデル(SLM)のセマンティック理解を強化するためのAlign-SLMフレームワークを導入する。
提案手法は、与えられたプロンプトから複数の音声継続を生成し、意味的指標を用いて、直接選好最適化(DPO)のための選好データを生成する。
語彙および構文モデリングのためのZeroSpeech 2021ベンチマーク、意味的コヒーレンスのためのStoryClozeデータセットの音声バージョン、GPT4-oスコアや人間評価などの音声生成指標を用いて、フレームワークの評価を行った。
論文 参考訳（メタデータ） (2024-11-04T06:07:53Z) - Integrating LLMs and Decision Transformers for Language Grounded
Generative Quality-Diversity [0.0]
品質多様性(Quality-Diversity)は最適化の一分野であり、強化学習と制御ドメインの問題によく適用される。
本稿では,レパートリーをトラジェクトリの自然言語記述で拡張する大規模言語モデルを提案する。
また、このような生成エージェントの性能を評価するためのLCMベースのアプローチを提案する。
論文 参考訳（メタデータ） (2023-08-25T10:00:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。