論文の概要: ILRR: Inference-Time Steering Method for Masked Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2601.21647v1
• Date: Thu, 29 Jan 2026 12:48:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.819052
• Title: ILRR: Inference-Time Steering Method for Masked Diffusion Language Models
• Title（参考訳）: ILRR:擬似拡散言語モデルの推論時間ステアリング法
• Authors: Eden Avrahami, Eliya Nachmani,
• Abstract要約: 単一の参照シーケンスを用いてDLMを操る学習自由フレームワークであるIterative Latent Representation Refinement (ILRR)を紹介する。 ILRRは、生成したシーケンスの内部アクティベーションを、デノナイジングプロセスを通して所定の参照のアクティベーションと動的に調整することで生成をガイドする。 さらに、短い参照を用いて長いテキストをステアリングできる拡張である空間変調ステアリングを導入し、シーケンス間のガイダンス強度を調節する。
• 参考スコア（独自算出の注目度）: 8.458339111154585
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete Diffusion Language Models (DLMs) offer a promising non-autoregressive alternative for text generation, yet effective mechanisms for inference-time control remain relatively underexplored. Existing approaches include sampling-level guidance procedures or trajectory optimization mechanisms. In this work, we introduce Iterative Latent Representation Refinement (ILRR), a learning-free framework for steering DLMs using a single reference sequence. ILRR guides generation by dynamically aligning the internal activations of the generated sequence with those of a given reference throughout the denoising process. This approach captures and transfers high-level semantic properties, with a tunable steering scale enabling flexible control over attributes such as sentiment. We further introduce Spatially Modulated Steering, an extension that enables steering long texts using shorter references by regulating guidance intensity across the sequence. Empirically, we demonstrate that ILRR achieves effective attribute steering on LLaDA and MDLM architectures with a minor computational overhead, requiring only one additional parallel forward pass per denoising step. Under the same compute budget, ILRR improves attribute accuracy over comparable baselines by 10$\%$ to 60$\%$ points, while maintaining high generation quality.
• Abstract（参考訳）: 離散拡散言語モデル(DLMs)は、テキスト生成に対して有望な非自己回帰的な代替手段を提供するが、推論時間制御の効果的なメカニズムは、いまだに未熟である。 既存のアプローチには、サンプリングレベルのガイダンス手順や軌道最適化機構がある。 本研究では,単一の参照シーケンスを用いてDLMを操る学習自由フレームワークであるIterative Latent Representation Refinement (ILRR)を紹介する。 ILRRは、生成したシーケンスの内部アクティベーションを、デノナイジングプロセスを通して所定の参照のアクティベーションと動的に調整することで生成をガイドする。 このアプローチは、感情などの属性を柔軟に制御できるチューニング可能なステアリングスケールで、高レベルのセマンティックプロパティをキャプチャし、転送する。 さらに、短い参照を用いて長いテキストをステアリングできる拡張である空間変調ステアリングを導入し、シーケンス間のガイダンス強度を調節する。 経験的に、ILRRはLLaDAおよびMDLMアーキテクチャ上で、少ない計算オーバーヘッドで効率的な属性ステアリングを実現し、デノナイジングステップ毎に1つの並列フォワードパスしか必要としないことを示した。 同じ計算予算の下で、ILRRは同等のベースラインに対する属性精度を10$\%$から60$\%$ポイントに改善し、ハイジェネレーション品質を維持している。

関連論文リスト

• RISER: Orchestrating Latent Reasoning Skills for Adaptive Activation Steering [62.63376387138257]
  本稿では,アクティベーション空間における大規模言語モデル(LLM)推論を適応的に制御するプラグイン・アンド・プレイ介入フレームワークを提案する。 RISERは再利用可能な推論ベクトルのライブラリを構築し、軽量ルータを使用して各入力に対して動的に構成する。 ルーターは、タスクレベルの報酬の下で強化学習を通じて最適化され、緊急かつ構成的な方法で潜在する認知的プリミティブを活性化する。
  論文  参考訳（メタデータ） (2026-01-14T08:04:33Z)
• Activation Steering for Masked Diffusion Language Models [1.0980666029958932]
  マスケ拡散言語モデルは反復的復調過程を通じてテキストを生成する。 本稿では,MDLMのためのアクティベーションステアリングフレームワークを提案する。 LLaDA-8B-Instructの実験では、高レベル属性の信頼性変調が示されている。
  論文  参考訳（メタデータ） (2025-12-30T11:10:52Z)
• In-Distribution Steering: Balancing Control and Coherence in Language Model Generation [0.0815557531820863]
  In-Distribution Steering (IDS) は,表現空間における入力データ分布に基づいてステアリング強度を適応させる新しい手法である。 IDSは、崩壊することなくコヒーレントテキストを生成しながら、分類タスクに対して高い精度を達成し、実世界のアプリケーションに特に適している。
  論文  参考訳（メタデータ） (2025-10-15T08:31:37Z)
• Beyond Next-Token Prediction: A Performance Characterization of Diffusion versus Autoregressive Language Models [82.87985794856803]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにおいて最先端のパフォーマンスを達成した。 最近、Diffusion Language Models (DLM) が有望な代替アーキテクチャとして登場した。
  論文  参考訳（メタデータ） (2025-10-05T10:50:52Z)
• Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
  MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。 中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。 大規模な実験ではPPADの大幅な改善が示されている。
  論文  参考訳（メタデータ） (2025-05-26T14:42:35Z)
• LLM Braces: Straightening Out LLM Predictions with Relevant Sub-Updates [27.022532404557264]
  LLMBRACESは,FFN層内の値ベクトルに関連付けられた関連値を求める手法である。 サブアップデートのコントリビューションを最適化することで、LLMBRACESは予測プロセスを洗練し、より正確で信頼性の高いアウトプットを実現する。 LLMBRACESは感情制御による生成と毒性の低減に優れており、アプリケーション間で柔軟に制御されたテキスト生成の可能性を強調している。
  論文  参考訳（メタデータ） (2025-03-20T16:55:26Z)
• Refining Sentence Embedding Model through Ranking Sentences Generation with Large Language Models [60.00178316095646]
  多くのNLPタスクには文の埋め込みが不可欠であり、NLIのようなデータセットを使用して強いパフォーマンスを達成する対照的な学習方法がある。 近年の研究では、大きな言語モデル(LLM)を利用して文ペアを生成し、アノテーション依存を減らしている。 本稿では,潜在空間におけるLLMの生成方向を制御する手法を提案する。 複数のベンチマークによる実験により,本手法は文合成に要するコストを最小限に抑えつつ,新たなSOTA性能を実現することを示した。
  論文  参考訳（メタデータ） (2025-02-19T12:07:53Z)
• LF-Steering: Latent Feature Activation Steering for Enhancing Semantic Consistency in Large Language Models [16.37602070339033]
  LLM(Large Language Models)は、意味的に等価なパラフレーズ入力によって、しばしば一貫性のない応答を生成する。 セマンティック不整合の原因となる潜在特徴表現を正確に識別する新しいアクティベーションステアリング手法LF-ステアリングを提案する。 本手法は, 関連トランス層の隠蔽状態をスパースオートエンコーダに基づいて, 疎活性化された高次元特徴空間にマッピングする。
  論文  参考訳（メタデータ） (2025-01-19T13:06:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。