論文の概要: Unmask the State: When Does State Adaptation Matter for Masked Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2609.33355v1
- Date: Sun, 27 Sep 2026 08:27:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:49:48.361793
- Title: Unmask the State: When Does State Adaptation Matter for Masked Diffusion Language Models
- Title（参考訳）: Unmask the State: Masked Diffusion Language Modelに対する状態適応はいつ重要か?
- Abstract要約: 戦略の逆転を通じて、ある選択肢が一定の選択に好適な選択肢となるような問題について検討する。
我々はMDMを5つの軸(スコア、基数、地域、コミットメント、計画)に分類し、適応機会を最良の候補行動の一段階の利点として定義する。
この見解は、適応値はそのような逆転の周波数と大きさの両方に依存することを示している。
- 参考スコア（独自算出の注目度）: 13.300852036964258
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Masked diffusion language models (MDMs) admit flexible generation orders, making the unmasking strategy an inference decision. Existing methods vary in how they prioritize positions, control parallelism, restrict selection regions, revise predictions, or plan future denoising, yet it remains unclear when these choices should change during generation. We study this question through strategy reversals, where an alternative action becomes preferable to a fixed choice. We organize MDM inference into five axes--score, cardinality, region, commitment, and planning--and define adaptation opportunity as the one-step utility advantage of the best candidate action over a validation-selected fixed action. This view shows that adaptation value depends on both the frequency and magnitude of such reversals. Across three MDMs and ten tasks, adaptation opportunities are highly heterogeneous, with some regimes exhibiting concentrated and predictable one-step gains. This motivates selective adaptation: lightweight detectors calibrated on validation prompts identify high-opportunity states, capturing, for example, 56.9 percent of the candidate-set oracle opportunity by adapting only the top 10 percent of states on LLaDA-8B constrained JSON filling. Our transition-level results suggest that state adaptation is most useful when applied selectively rather than uniformly.
- Abstract（参考訳）: マスキング拡散言語モデル(MDM)はフレキシブルな生成順序を認め、マスキング戦略を推論決定にする。
既存の方法は、位置の優先順位付け、並列化の制御、選択領域の制限、予測の修正、将来の計画などによって異なるが、これらの選択が世代によっていつ変わるかは定かではない。
我々は、この疑問を戦略の逆転を通じて研究し、そこでは、ある選択肢が一定の選択に好まれる。
我々はMDM推論を5つの軸(スコア、基数、地域、コミットメント、計画)に分類し、適応機会をバリデーション選択された固定アクションよりも最適な候補アクションの1ステップの利点として定義する。
この見解は、適応値はそのような逆転の周波数と大きさの両方に依存することを示している。
3つのMDMと10のタスクにまたがって、適応の機会は非常に均一であり、いくつかのレジームは集中的で予測可能なワンステップゲインを示す。
例えば、LLaDA-8Bで制限されたJSONフィリングの上位10%だけを適合させることで、候補セットのオラクル機会の56.9%をキャプチャする。
遷移レベルの結果から、状態適応は一様ではなく選択的に適用する場合に最も有用であることが示唆された。
関連論文リスト
- Evolution-Aware MSA Reasoning for Subsampling via Factor Graphs [55.715754117956514]
複数のシーケンスアライメントは、明示的な進化コンテキストを持つタンパク質言語モデルを提供する。
MSAサブサンプリングは限定的なトークン予算では避けられない。
本稿では,因子グラフ推論を用いて固定予算MSAサブセットを推定するAP-REASONERを提案する。
論文 参考訳（メタデータ） (2026-07-24T13:55:21Z) - The Long-Term Effects of Data Selection in LLM Fine-Tuning [1.9054869116450563]
短時間のセレクタは、後続の学習を遅くし、忘れることの増大を抑えながら、ランク逆転を示すことができることを示す。
本稿では,この動作をエフェミクティック選択として形式化し,その原因を簡易に解析し,LHAS(Long-Horizon Aware Selection)の目的を提案する。
この研究は、データ選択は、局所的なデータ効率のメカニズムとしてだけでなく、モデルの学習軌道を形成する訓練の介入として評価されるべきである、と論じている。
論文 参考訳（メタデータ） (2026-05-28T20:12:45Z) - OLIVIA: Online Learning via Inference-time Action Adaptation for Decision Making in LLM ReAct Agents [74.20327254615854]
大規模言語モデルエージェントは、シーケンシャルな意思決定タスクを解決するために、推論、行動選択、観察をインターリーブする。
LLMエージェントの既存の推論時間適応法は、主にプロンプトや検索に依存している。
提案するOLIVIAは,ReAct型エージェントのための推論時行動適応フレームワークである。
論文 参考訳（メタデータ） (2026-05-11T19:28:20Z) - Adaptive Conformal Prediction for Improving Factuality of Generations by Large Language Models [86.8650252164764]
大規模言語モデル(LLM)は、事実的に誤った出力を生成する傾向にある。
本研究では,LLMへのコンフォメーションスコア変換法を拡張する適応型コンフォメーション予測手法を提案する。
これにより、アクシデントに依存したキャリブレーションが可能となり、条件付きカバレッジを改善しながら、限界範囲のカバレッジ保証が維持される。
論文 参考訳（メタデータ） (2026-04-15T15:35:42Z) - GEM: Guided Expectation-Maximization for Behavior-Normalized Candidate Action Selection in Offline RL [7.213487945222728]
GEM(Guided expectation-Maximization)は,マルチモーダルかつ制御可能なアクション選択を実現する分析フレームワークである。
推測中、GEMは、行動正規化サポートと結びついた保守的なアンサンブルの低信頼を用いて、候補ベースの選択を行う。
実証的には、GEMはD4RLベンチマークで競合し、計算を再トレーニングせずに意思決定品質と交換する単純な推論時予算ノブ(候補数)を提供する。
論文 参考訳（メタデータ） (2026-03-24T14:04:43Z) - Know When to Abstain: Optimal Selective Classification with Likelihood Ratios [10.317060648446828]
我々は、Neyman-Pearson補題のレンズを通して最適な選択関数の設計を再考する。
この視点は、いくつかのポストホック選択ベースラインの挙動を統一し、選択分類への新たなアプローチを動機付けていることを示す。
提案手法は,教師付き学習モデルと視覚言語モデルの両方を含む,様々な視覚・言語タスクにまたがって評価する。
論文 参考訳（メタデータ） (2025-05-21T01:26:21Z) - Adaptation with Self-Evaluation to Improve Selective Prediction in LLMs [56.526095828316386]
大規模言語モデル(LLM)の選択予測性能を改善するために,自己評価による適応のための新しいフレームワークを提案する。
提案手法は,様々な質問応答(QA)データセット上で評価し,最先端の選択的予測手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-10-18T03:34:59Z) - Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。
この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。
そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
論文 参考訳（メタデータ） (2023-09-07T17:44:56Z) - Gumbel-Softmax Selective Networks [10.074545631396385]
本稿では,エンド・ツー・エンドの差別化可能なトレーニングフレームワークの選択を可能にする,選択的ネットワークの学習方法を提案する。
公開データセットの実験は、選択的回帰と分類のためのガンベル-ソフトマックス選択ネットワークの可能性を示している。
論文 参考訳（メタデータ） (2022-11-19T02:20:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。