論文の概要: EMO: A Closed-Loop Test-Time Computation Framework via Alternating Context Optimization and Logits Steering

• arxiv url: http://arxiv.org/abs/2610.22160v1
• Date: Thu, 15 Oct 2026 16:23:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.190377
• Title: EMO: A Closed-Loop Test-Time Computation Framework via Alternating Context Optimization and Logits Steering
• Title（参考訳）: EMO: コンテキスト最適化とログステアリングによるクローズドループテスト時間計算フレームワーク
• Abstract要約: 予測-最大化にインスパイアされたトレーニング不要のフレームワークであるEMOを紹介する。 EMOは質問固有文脈推定(E-step)と分布改善(M-step)を交互に行う 操舵強度を十分に小さくするために, 目標KLの偏差が一周的に減少することが証明された。
• 参考スコア（独自算出の注目度）: 41.107172036478026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-time context optimization adapts frozen language models through textual feedback, but ordinary conditional generation provides no separate control over how strongly to reinforce the distributional changes induced by a context update. We introduce EMO, a training-free framework inspired by expectation--maximization that alternates question-specific context estimation (E-step) and distribution refinement (M-step). The E-step revises a system context using textual gradients from an external judge without access to gold answers. The M-step contrasts next-token distributions under the revised and preceding contexts at a shared prefix to construct a confidence-constrained logit correction. Feedback on the steered response drives the next context update, coupling adaptation across rounds with intervention within each generation. Theoretically, we connect parameter and context optimization through a shared target-KL objective and additive logit representations, and derive the steering vector from context-induced logit displacements. Under context-improvement and faithful-steering assumptions, we prove a one-round decrease in target KL divergence for sufficiently small steering strength. Under greedy decoding across eight models and six benchmarks, EMO improves the zero-shot baseline in 39 of 40 aggregated settings, averaging $+9.10$ percentage points. With the same judge, it adds $+1.53$ points on average over context-only optimization (TextGrad), with consistent MMLU-Pro gains across models. At matched target-model generation budgets, accuracy advantages over best-of-$N$ are strongest on Llama, while oracle coverage is higher in most comparisons despite fewer candidates. The coverage--selection gap motivates allocating test-time computation jointly to candidate generation and verification.
• Abstract（参考訳）: テスト時コンテキスト最適化は、テキストフィードバックを通じてフリーズ言語モデルに適応するが、通常の条件生成では、コンテキスト更新によって引き起こされる分散変化をいかに強く強化するかを、別々に制御することができない。 EMOは,質問固有文脈推定(E-step)と分布改善(M-step)を交互に行う,期待の最大化にインスパイアされた学習自由フレームワークである。 Eステップは、金の回答にアクセスせずに外部の裁判官からテキストの勾配を使ってシステムコンテキストを更新する。 Mステップは、修正および前回のコンテキスト下での次トーケン分布を共有プレフィックスで対比し、信頼性に制約のあるロジット補正を構築する。 ステアリングされたレスポンスに対するフィードバックは、次のコンテキスト更新を駆動し、各世代内の介入とラウンド間の適応を結合する。 理論的には、パラメータとコンテキストの最適化を、共有ターゲットKLと付加ロジット表現で結合し、コンテキスト誘起ロジット変位からステアリングベクトルを導出する。 文脈改善および忠実な操舵仮定の下では, 十分に少ない操舵力に対して, 目標KLの偏差が一周的に減少することが証明された。 8つのモデルと6つのベンチマークで派手な復号化の下で、EMOは40の集計設定のうち39のゼロショットベースラインを改善し、平均9.10ドルのパーセンテージポイントを獲得した。 同じ判断で、コンテキストのみの最適化(TextGrad)よりも平均$+1.53$ポイントが加算され、モデル間で一貫性のあるMMLU-Proが獲得される。 一致したモデル生成予算では、Llamaではベスト・オブ・N$よりも精度の優位性が強く、候補が少ないにもかかわらず、ほとんどの比較ではオラクルのカバレッジが高い。 カバレッジ-選択ギャップは、テスト時間計算を候補生成と検証に共同で割り当てる動機となる。

関連論文リスト

• RRPO: Reference-Relative Policy Optimization with Stratified Conditional Rollouts [84.20747697259326]
  グループ相対政策最適化(GRPO)は、検証可能なフィードバックからの強化学習において大きな効果を示している。 我々は,直接正当性に基づく優位性構築を参照相対的比較に置き換えることでGRPOを一般化するtextbfReference-Relative Policy Optimization (RRPO)を提案する。 我々は,タスクベーストラス検証に頼らずに,ポリシー最適化全体を通じてアンカーベースのコントラスト的優位性を用いてRRPOを評価する。
  論文  参考訳（メタデータ） (2026-07-20T19:40:25Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• GEM: Guided Expectation-Maximization for Behavior-Normalized Candidate Action Selection in Offline RL [7.213487945222728]
  GEM(Guided expectation-Maximization)は,マルチモーダルかつ制御可能なアクション選択を実現する分析フレームワークである。 推測中、GEMは、行動正規化サポートと結びついた保守的なアンサンブルの低信頼を用いて、候補ベースの選択を行う。 実証的には、GEMはD4RLベンチマークで競合し、計算を再トレーニングせずに意思決定品質と交換する単純な推論時予算ノブ(候補数)を提供する。
  論文  参考訳（メタデータ） (2026-03-24T14:04:43Z)
• Contextual Counterfactual Credit Assignment for Multi-Agent Reinforcement Learning in LLM Collaboration [22.269718913202595]
  コンテキスト非現実的クレジット割り当て(textbftextttC3)を導入する。 textbftextttC3は、エピソード全体で報酬を分配する代わりに、個々のメッセージの因果的影響を分離する。 textbftextttC3は、確立されたベースラインよりもターミナルパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2026-03-06T20:25:11Z)
• Score-Guided Proximal Projection: A Unified Geometric Framework for Rectified Flow Editing [1.0312968200748118]
  Rectified Flowモデルは最先端の世代品質を実現するが、正確なタスクのためにそれらを制御することは依然として困難である。 現在のアプローチは「幾何学的ロック」に苦しむ逆法に基づくガイダンスに分岐する Score-Guided Proximal Projectionは,決定論的最適化と縮尺サンプリングのギャップを埋める統一フレームワークである。
  論文  参考訳（メタデータ） (2026-03-05T23:44:45Z)
• ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
  ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。 我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-02-27T05:22:01Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。