論文の概要: When (and How) to Trust the Expert: Diagnosing Query-Time Expert-Guided Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2605.09109v1
- Date: Sat, 09 May 2026 18:48:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 02:24:05.522506
- Title: When (and How) to Trust the Expert: Diagnosing Query-Time Expert-Guided Reinforcement Learning
- Title（参考訳）: エキスパートを信頼する時(そして方法) - クエリ時間の専門家による強化学習の診断
- Abstract要約: 有能だが最適でないコントローラーを備えた連続制御問題(チューニングされたPID、手動設計の歩行)
成長するメソッドのファミリーは、RLの間、クエリ可能な専門家としてそのようなコントローラを使用するが、各メソッドは、不完全な専門家テストなしで、異なるベンチマークで独立して提案されている。
我々は,共有SACバックボーン,共通HPOおよび評価プロトコル,100/50種毎(env,メソッド),専門家の授業経験,行動バイアス,観察ノイズの劣化について比較を行った。
- 参考スコア（独自算出の注目度）: 4.913013713982676
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many continuous-control problems ship with a competent but suboptimal controller (a tuned PID, a hand-designed gait). A growing family of methods uses such controllers as queryable experts during RL, but each method has been proposed in isolation, on a different benchmark, without imperfect-expert testing. We harmonize the comparison on a shared SAC backbone, common HPO and evaluation protocols, 100/50 seeds per (env, method), and a degradation sweep over expert undertuning, action bias, and observation noise. The comparison surfaces three failure modes single-paper evaluations miss: (F1) a critic blind spot under argmax-plus-bootstrap that drags IBRL below no-expert SAC on experts close to the no-expert-RL ceiling (RL-near-ceiling, distinct from the absolute physical ceiling); (F2) residual saturation on far-from-optimal experts; and (F3) warm-start buffer poisoning that collapses training-time-handoff methods under deployment-time expert undertuning. No single method dominates: each wins on one task-structure regime and fails predictably elsewhere; on RL-near-ceiling experts (FourTank, GlassFurnace) no query-time method clears the expert within our 1M-step budget, leaving open whether this is a fundamental wall or a budget effect. We convert the spread into a testable decision rule keyed on three pre-training observables (expert quality, task termination, perturbation type). The benchmark, taxonomy, and decision rule are the primary contribution; we additionally describe EDGE, a softmax-over-ensemble-LCB design point used to demonstrate that both axes the taxonomy points to (gate form, scoring rule) are individually exploitable.
- Abstract（参考訳）: 多くの連続制御問題は、有能だが最適でないコントローラ(手動設計の歩数調整されたPID)を搭載している。
成長するメソッドのファミリーは、RLの間、クエリ可能な専門家としてそのようなコントローラを使用するが、各メソッドは、不完全な専門家テストなしで、異なるベンチマークで独立して提案されている。
我々は,共有SACバックボーン,共通HPOおよび評価プロトコル,100/50種毎(env,メソッド),専門家の授業経験,行動バイアス,観察ノイズの劣化について比較を行った。
A critic blind spot in argmax-plus-bootstrap that drags IBRL under no-expert-RL ceiling (RL-near-ceiling, different from the absolute physical ceiling), (F2) residual saturation on far-from-optimal experts, (F3) warm-start buffer poisoning that destroys training-time-handoff methods under deployment-time-time-handoff Germany under deployment-time-expert-RL ceiling (RL-near-ceiling, different from the absolute physical ceiling)。
RL-near-ceiling expert (FourTank, GlassFurnace)では、クエリタイムメソッドが、私たちの100Mステップの予算内でエキスパートをクリアし、これが基本的な壁か予算効果かに関わらず、オープンにします。
本研究では,3つの事前学習可観測値(専門品質,タスク終了,摂動型)をキーとするテスト可能な決定ルールに変換する。
EDGE (Softmax-over-ensemble-LCB design point) は、双方が分類点を(ゲートフォーム、スコアリングルール)個別に利用可能であることを示すために用いられる。
関連論文リスト
- RAPTOR: Role-Aware Private Training for Mixture-of-Experts [68.5626338219096]
RAPTORはRole-Aware Private Trainingフレームワークである。
RAPTORは共有と専門家の最適化を交互に行い、各障害を直接ターゲットする。
GLUEタスク間でのSwitch TransformerとOLMoEの微調整およびDeepSeek-VL2-Tinyの実験では、標準のDPベースラインよりも一貫した利得を示している。
論文 参考訳（メタデータ） (2026-09-04T23:16:12Z) - Pandora's AI Model Routing Box: Efficient Allocation with Costly Value Estimation [64.51088225051959]
不均一なAIシステムは、最低コストで最も効果的に答えられる専門家にクエリをルーティングすることで、品質と効率を向上させることができる。
我々はこのトレードオフをPandoraのBoxの例として定式化した。
ガウス信号モデルの下では、得られたポリシーは、各専門家とインプットに対して、その価値見積の精算がそのコストに値するかどうかを決定する、クローズドフォームな情報表現を持つ。
論文 参考訳（メタデータ） (2026-08-20T17:54:37Z) - PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception [75.70273182182397]
PerceptionRubricsはルーブリックベースの評価フレームワークである。
飽和ベンチマークスコアと現実世界の脆さのギャップに対処する。
1,038枚のインフォメーションセンス画像と1万個以上のインスタンス固有のルーリックをペアリングする。
論文 参考訳（メタデータ） (2026-06-26T17:59:15Z) - Split the Differences, Pool the Rest: Provably Efficient Multi-Objective Imitation [49.86232017439639]
マルチ出力拡張行動クローン(MA-BC)について紹介する。
MA-BCは、振る舞いの衝突が観測されない状態-動作ペアをプールしながら、専門家データを分離する。
我々は,MA-BCが極小であることを示す,多目的模倣学習のための新しい下位境界を確立する。
論文 参考訳（メタデータ） (2026-05-12T11:49:08Z) - Beyond Augmented-Action Surrogates for Multi-Expert Learning-to-Defer [6.792743621449621]
マルチエキスパートラーニング・ツー・デフレ・サロゲートは統計的に一貫性があるが、専門家が成長するにつれて不適合になり、有用な専門家を抑圧したり、劣化させたりすることができる。
クラスとエキスパートを1つの拡張予測幾何学内のアクションとしてキャストする。
本稿では,クラス後部をソフトマックスで推定し,各専門家ユーティリティを独立シグモイドで推定する分離サロゲートを提案する。
論文 参考訳（メタデータ） (2026-04-10T15:27:23Z) - Trust, Don't Trust, or Flip: Robust Preference-Based Reinforcement Learning with Multi-Expert Feedback [2.4352490146713364]
マルチエキスパートの選好フィードバックから共有報酬モデルと専門家固有の信頼パラメータを共同で学習する統合フレームワークであるTriTrust-PBRLを紹介する。
TTPは最先端のロバスト性を実現し、敵対的腐敗下では概日光性能を維持し、標準のPBRL法は破滅的に失敗する。
論文 参考訳（メタデータ） (2026-01-26T18:21:48Z) - Sample-Efficient Expert Query Control in Active Imitation Learning via Conformal Prediction [2.344992278528697]
アクティブ・イミテーション・ラーニング(CRSAIL)のためのコンフォーマライズ・リジェクション・サンプリングについて述べる。
CRSAILは、K$-thのエキスパートステートとの距離によって、状態の新規性を評価する。
これにより、エキスパートクエリの総数は、DAggerに対して96%、以前のAILメソッドよりも最大65%削減される。
論文 参考訳（メタデータ） (2025-11-29T11:58:21Z) - Domain-Specific Pruning of Large Mixture-of-Experts Models with Few-shot Demonstrations [48.890534958441016]
本研究では,大規模MoEモデルにおける領域の特殊化と専門的冗長性について検討する。
本稿では,最も関係のある専門家のみを識別・保持するための簡易で効果的な刈取フレームワークであるEASY-EPを提案する。
DeepSeek-R1とDeepSeek-V3-0324の実験は、我々の手法が同じメモリ予算の下で同等の性能と2.99タイムのスループットを達成できることを示した。
論文 参考訳（メタデータ） (2025-04-09T11:34:06Z) - Finding Fantastic Experts in MoEs: A Unified Study for Expert Dropping Strategies and Observations [86.90549830760513]
わずかに活性化されたMixture-of-Experts(SMoE)は、ニューラルネットワークの学習能力のスケールアップを約束している。
多様な視点から専門家の重要度を推定するためのベンチマークとして,MoE Experts Compression Suite (MC-Suite)を提案する。
我々は,SMoEsの指示追従能力が主に損なわれるという,実験的に検証された予想を提示する。
論文 参考訳（メタデータ） (2025-04-08T00:49:08Z) - Learning to Defer to Multiple Experts: Consistent Surrogate Losses,
Confidence Calibration, and Conformal Ensembles [0.966840768820136]
本研究は,L2D(L2D)を複数の専門家に委譲する学習の統計的特性について考察する。
我々は、一貫したサロゲート損失、信頼性校正、および専門家の原則的なアンサンブルを導出するオープンな問題に対処する。
論文 参考訳（メタデータ） (2022-10-30T21:27:29Z) - Blind Exploration and Exploitation of Stochastic Experts [7.106986689736826]
我々は,後方サンプリング,高信頼境界,経験的Kulback-Leibler分散,およびマルチアームバンディット問題に対するminmax法を用いて,最も信頼性の高い専門家を特定するためのブラインド探索・エクスプロイト(BEE)アルゴリズムを提案する。
本稿では,他の専門家の意見のみを瞬時に活用できる,経験的に実現可能な専門家能力尺度を提案する。
論文 参考訳（メタデータ） (2021-04-02T15:02:02Z) - Confidence-Budget Matching for Sequential Budgeted Learning [69.77435313099366]
問合せ予算で意思決定問題を定式化する。
我々は,多腕バンディット,線形バンディット,強化学習問題を考察する。
我々は,CBMに基づくアルゴリズムが逆性の存在下で良好に動作することを示す。
論文 参考訳（メタデータ） (2021-02-05T19:56:31Z) - Prediction with Corrupted Expert Advice [67.67399390910381]
ステップサイズを減らした古典的乗法重みアルゴリズムの変種が、良質な環境において絶え間なく後悔することを証明する。
我々の結果は、しばしば同等のFollow the Regularized Leader(FTRL)とOnline Mirror Descent(OMD)フレームワークの驚くべき相違を明らかにします。
論文 参考訳（メタデータ） (2020-02-24T14:39:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。