論文の概要: When Better Policies Leave Harder Failures: Coverage Shift in VLM Success Monitoring

• arxiv url: http://arxiv.org/abs/2610.24801v1
• Date: Sat, 17 Oct 2026 18:08:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 16:08:59.126287
• Title: When Better Policies Leave Harder Failures: Coverage Shift in VLM Success Monitoring
• Title（参考訳）: より良い政策が失敗に終止符を打つ時-VLM成功監視の包括的変化
• Abstract要約: 政策改善時に成功を判断する固定視覚言語モデル(VLM)について検討する。 20シードのトレイ配置実験では、トレーニングはシミュレータ検証された成功のみを選択する。 成功率は66.8%から97.0%に上昇し、ホバリング失敗は5.0%から0.9%に低下する。
• 参考スコア（独自算出の注目度）: 2.256249780306427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Can a better robot policy become harder to monitor? We study a fixed vision-language model (VLM) that judges success while a policy improves. In a controlled 20-seed tray-placement experiment, training selects only simulator-verified successes. Success rises from 66.8% to 97.0%, and accepted hover failures fall from 5.0% to 0.9% of executions. Yet the judge accepts 50.0% of remaining hovers, versus 31.1% under untrained sampling. These residual failures more often lie below the tray rim, which can conceal the gap beneath a grasped cube. A separate boundary probe accepts 148/160 below-rim hovers and 0/160 above-rim hovers. We call this change in conditional monitoring sensitivity coverage shift: learning changes which failures reach a fixed judge. A broader diagnosis covers nine judges and 1,392 stimuli. Judge-filtered experiments across eight settings further show heterogeneous effects of state-dependent acceptance. The results distinguish task improvement from failure detectability and motivate reporting absolute misses, conditional misses, and audit coverage together.
• Abstract（参考訳）: より良いロボットポリシーは監視しにくくなるのか? 政策改善時に成功を判断する固定視覚言語モデル(VLM)について検討する。 制御された20シードのトレイ配置実験では、トレーニングはシミュレータ検証された成功のみを選択する。 成功率は66.8%から97.0%に上昇し、ホバリング失敗は5.0%から0.9%に低下する。 しかし、判事は残留するホバーの50.0%を受け入れ、未訓練のサンプリングでは31.1%を受け入れている。 これらの残留する故障は、しばしばトレイの縁の下にあるが、これはつかんだ立方体の下の隙間を隠すことができる。 別個の境界プローブは148/160下縁ホバーと0/160下縁ホバーを受け入れる。 この変化を条件付き監視感度カバレッジシフトと呼びます。 より広範な診断は、9人の裁判官と1,392人の刺激をカバーしている。 判断フィルターによる8つの条件による実験は、状態依存的受容の不均一な効果をさらに示している。 その結果、タスク改善と障害検出性を区別し、絶対ミス、条件ミス、監査カバレッジを同時に報告する動機付けとなる。

関連論文リスト

• Diagnosing and Recovering from Observation-Space Shift at Long-Horizon Skill Seams [30.88749649763857]
  ロングホライゾンのロボット操作は、独立して訓練されたスキルをチェーンすることでしばしば行われる。 それぞれのスキルは単独で信頼できるが、スキルがチェーンされているとパフォーマンスが大幅に低下する。 我々は、この障害モード、Observatory-Space Shift(OSS)を研究し、これらのスキル・シーム障害の原因を問う。
  論文  参考訳（メタデータ） (2026-10-07T19:15:58Z)
• Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training [45.727227890697556]
  我々は,9,961のソースタスクから50,228のエラー診断ペアからなるエージェントエラーデータセット(AED)を紹介した。 5段階のAgenic Error-to-Trainingパイプラインは自然の故障を収集し、診断と修正案を生成し、記録された証拠と照合する。 アクタートレーニングのレシピの比較において、アクションオンリーの修復トレーニングは成功オンリーのトレーニングよりもWebShop-liteの方が6.67ポイント高い。
  論文  参考訳（メタデータ） (2026-09-30T16:40:22Z)
• Same Winners, Different Success Rates: Evaluating How LLM Agents Recover from Failures [16.745093090677475]
  既存のチェックポイントベースのベンチマークは、独立した実行毎にどのアクションがベストに選択されているかを比較することで、リカバリを測定する。 すべてのアクションが失敗すると、報酬がゼロとなり、独立ランニングは高い確率で同じ結びついた集合を生成する。 等コストベルヌーイ作用に対して、成功確率は各サンプルサイズで同一のベストアクションセット分布が得られることを証明した。
  論文  参考訳（メタデータ） (2026-09-28T03:22:21Z)
• Frozen Judges, Moving Agents: Version-Dependent LLM-Judge Error and the Limits of Judge-Assisted Agent Evaluation [7.504639516424482]
  言語モデル審査員はエージェントのアップグレードを前任者と比較するが、固定された審査員はバージョンに依存した誤りを犯すことがある。 公開コーディングエージェント35件、カスタマーサービスエージェント2件、専門家ラベル付きエージェントRewardBenchトラジェクトリ1,106件を分析した。
  論文  参考訳（メタデータ） (2026-09-28T03:10:18Z)
• Decision Shifts, Lost Label Functionality, and an Inconclusive Grounding Audit in Correctness-Gated Multi-Teacher Distillation [0.0]
  決定の正しさと根拠は異なる目的である。 固定実験において, 高精度多教師蒸留法について検討した。 未ろ過蒸留と比較して, 正度重み付きアームの精度は+0.1660。
  論文  参考訳（メタデータ） (2026-09-09T04:39:56Z)
• Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
  既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。 我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。 我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
  論文  参考訳（メタデータ） (2026-08-14T07:26:38Z)
• Does Splitting a Triage Decision Across Agents Hide Bias or Help Catch It? A Multi-Agent Simulation Study of LLM-Based Resource Allocation Under Audit Capacity Constraints [0.0]
  我々は、同じ決定がロール微分マルチエージェントパイプラインに分散されたとき、バイアスに何が起こるかを研究する。 2つの条件の間に偏りが生じる頻度について、測定可能な違いは見つからない。 バイアスが捕捉されるかどうかに監査能力が大きな、そして重大な影響を与えることが分かっています。
  論文  参考訳（メタデータ） (2026-08-07T08:25:53Z)
• Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
  デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。 私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。 プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
  論文  参考訳（メタデータ） (2026-06-09T02:11:01Z)
• Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
  十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。 STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。 STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
  論文  参考訳（メタデータ） (2026-04-02T01:13:40Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。