論文の概要: Certified Predictive Value-of-Advice Gating for Cost-Aware Language-Model Guidance in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.29548v1
• Date: Wed, 26 Aug 2026 02:18:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:56.072043
• Title: Certified Predictive Value-of-Advice Gating for Cost-Aware Language-Model Guidance in Reinforcement Learning
• Title（参考訳）: 強化学習におけるコスト認識型言語モデル指導のための予測的アドバイスゲーティングの認定
• Abstract要約: 言語モデルアドバイスは強化学習を促進することができるが、呼び出しはコストがかかり、返されるアクションは古いか間違っているかのどちらかである。 質問の前に、コントローラは解析可能な応答を予測し、各応答に追従する決定と継続を宣言し、予測値に縛られる低い信頼度がコストを上回る場合にのみクエリを行う。
• 参考スコア（独自算出の注目度）: 0.9558392439655014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language-model advice can accelerate reinforcement learning, but calls are costly and returned actions may be stale or wrong. We formulate advice acquisition as a response-contingent metareasoning problem: before querying, the controller predicts possible parsed responses, evaluates the decision and declared continuation that would follow each response, and queries only when a lower confidence bound on predictive value exceeds the priced cost. Execution is governed separately by an action-specific certificate. Under explicit assumptions, certified advice is near-optimal, a wrapped learner inherits fallback regret only under intervention stability, and conservative allocation loses at most the declared query-value estimation error relative to a myopic oracle. On BabyAI, a proxy-calibrated controller with Qwen2.5-1.5B and 7B advisors improves GoToObj return over no querying by 0.029 +/- 0.016 and 0.030 +/- 0.015 across 20 seeds while reducing calls by more than 97% relative to always-query. GoToLocal is a null result. Exactly matched-call tests show an advantage over random placement only for the 1.5B advisor and no advantage over an equal-budget early schedule. Mondrian calibration improves decision-relevant empirical coverage from 0.47 to 0.85, still below the 0.90 target, while the formally covered radius is vacuous. The demonstrated benefit is therefore robust sparse advice volume on a useful task, not a proven per-state placement advantage.
• Abstract（参考訳）: 言語モデルアドバイスは強化学習を促進することができるが、呼び出しはコストがかかり、返されるアクションは古いか間違っているかのどちらかである。 質問の前に、コントローラは解析可能な応答を予測し、各応答に追従する決定と継続を宣言し、予測値に縛られる低い信頼度がコストを上回る場合にのみクエリを行う。 実行は、アクション固有の証明書によって別々に管理される。 明示的な仮定では、認定されたアドバイスはほぼ最適であり、ラップされた学習者は介入安定性の下でのみ、フォールバック後悔を継承する。 BabyAIでは、Qwen2.5-1.5Bと7Bアドバイザを備えたプロキシキャリブレーションコントローラが、20のシードに対して0.029 +/- 0.016と0.030 +/- 0.015のクエリ無しでGoToObjリターンを改善し、常時クエリと比較して97%以上呼び出しを削減している。 GoToLocalはnullの結果です。 正確に一致した呼び出しテストは、1.5Bアドバイザにのみランダムな配置に勝るもので、予算が等しい早期スケジュールに勝るものではない。 モンドリアン・キャリブレーションは0.47から0.85に改善され、それでも0.90の目標より低いが、公式に覆われた半径は空白である。 したがって、実証された利益は、州ごとの配置上の利点ではなく、有用なタスクに対する頑健な助言量である。

関連論文リスト

• Cost-Aware Post-Hoc Deferral Under Calibration and Shift: An Environmental AI Case Study [2.9152186617858304]
  本研究では,6グループ誤りリスク推定器,クラス非対称コスト,レビュア精度,オプションサポートゲートを用いて,自動動作とレビュー結果の比較を行う。 12のオフザシェルフバックエンド、学習リスク、キャリブレーションに適合したクラス対応の信頼度推定器、それぞれが生のChowを6回打ち負かしている。 10の川駅に乗り換えると、ゲートは全てのケースにフラグを付け、常に見直されるフォールバックとなり、レビューが完璧で制約のない場合にのみ8つの駅で最低コストに達する。
  論文  参考訳（メタデータ） (2026-09-07T23:09:35Z)
• RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
  RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。 本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
  論文  参考訳（メタデータ） (2026-08-25T08:35:04Z)
• Repeated-Game Security for Restaking-Based Verifiable Inference [2.9661360665913574]
  本論文は,1ラウンドスラッシング条件が同一の利害関係下での推論を繰り返すと,セキュリティを過小評価できることを示す。 本稿では,歴史に依存した課題,評価ヘビー級のスラッシュ,利得の優位性を組み合わせた展開可能なメカニズムを提案する。
  論文  参考訳（メタデータ） (2026-08-10T03:03:56Z)
• SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
  自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。 自己検証を計算制御ポリシとして使用することを学ぶ。 マクロ平均精度は0.563で、平均で2.99回しか推測できない。
  論文  参考訳（メタデータ） (2026-07-30T16:20:58Z)
• SFGA: A Statistics-First Gating Architecture with Adjudicative Escalation for Trustworthy SFT Data Procurement [2.8129261352670003]
  我々は、調達をコストに配慮したルーティング問題として扱う統計第一のゲーティングアーキテクチャであるsysを提案する。 ゲートは間隔が狭く、サンプルサイズが適切で、軸が一致する場合にのみ決定を受理する。 コンサイドの勝利率は0.80、ポジションフリップ率は52%である。
  論文  参考訳（メタデータ） (2026-07-21T10:52:04Z)
• Deterministic Decisions for High-Stakes AI. A Zero-Egress Pipeline with the Deployability of RAG and the Accuracy of Machine Learning [0.0]
  インターベンションバイアス(英語: Intervention bias)は、大規模言語モデル教育アドバイザリーエージェントの以前には確立されていなかった障害モードである。 教師付き政策学習は、このバイアスを排除していることを示す。 LLM-as-judge score is blind to intervention bias, rewarding fluent over-prescription rather than decision quality。
  論文  参考訳（メタデータ） (2026-06-28T08:58:17Z)
• Let the Results Speak: A Replication-First Paradigm for LLM Behavioral Benchmarking [22.825786049667602]
  本稿では,1つのヒト・ラタのコンセンサスに有効性を確保するために,複製第一パラダイムを提案する。 楽器を4つの特性で認証する - Kランの信頼性、アーキテクチャ的に異なる審査員間のクロスインストラクトレプリケーション、以前のトレーニングコホートからの審査員による歴史的フットプリントキャリブレーション、事前登録された予測。 本研究は, 自己発達型データ駆動による情緒的伴奏で, 次元は事前に決められず, 手順は9次元に安定化する。
  論文  参考訳（メタデータ） (2026-05-27T03:41:11Z)
• Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
  我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。 K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。 EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
  論文  参考訳（メタデータ） (2026-05-22T08:26:08Z)
• ZIP-RC: Optimizing Test-Time Compute via Zero-Overhead Joint Reward-Cost Prediction [57.799425838564]
  ZIP-RCは、モデルに報酬とコストのゼロオーバーヘッド推論時間予測を持たせる適応推論手法である。 ZIP-RCは、同じまたはより低い平均コストで過半数投票よりも最大12%精度が向上する。
  論文  参考訳（メタデータ） (2025-12-01T09:44:31Z)
• Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration [52.70324949884702]
  バッチ二分決定における近似的後続確率を用いた余剰リスクの定量化を行う。 我々は、再校正のみが後悔のほとんどに対処する体制と、後悔が集団的損失に支配される体制を識別する。 NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。
  論文  参考訳（メタデータ） (2025-03-23T10:52:36Z)
• Certified Error Control of Candidate Set Pruning for Two-Stage Relevance Ranking [57.42241521034744]
  本稿では、妥当性ランキングのための候補セットプルーニングの認証エラー制御の概念を提案する。 提案手法は,第1段階から抽出した候補集合を抽出し,第2段階の復位速度を向上する。
  論文  参考訳（メタデータ） (2022-05-19T16:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。