論文の概要: Auditing Demonstration Curation Metrics: Action-Only Scorers Fail on the Structural Defects That Degrade Imitation Policies

• arxiv url: http://arxiv.org/abs/2606.05588v1
• Date: Thu, 04 Jun 2026 02:07:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.486342
• Title: Auditing Demonstration Curation Metrics: Action-Only Scorers Fail on the Structural Defects That Degrade Imitation Policies
• Title（参考訳）: デモテーション・キュレーション・メトリクスを聴く:模倣法を低下させる構造欠陥に対して、アクションオンリーのスコーラーは失敗する
• Authors: Aarav Bedi,
• Abstract要約: 模倣学習ポリシーは、訓練されたデモの品質を継承する。 キュレーションメトリクスの集合は、低品質のデモを自動的にスコアとフィルタリングすることを約束します。 デモの欠陥を既知の型で注入する制御されたテストベッドを構築します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Imitation-learning policies inherit the quality of the demonstrations they are trained on, and a growing set of curation metrics promise to score and filter low-quality demonstrations automatically. These metrics are each validated on different data with different protocols, so it is unclear which of them actually identify the demonstrations that harm a policy. We build a controlled testbed in which demonstration defects are injected with known type, and audit seven curation metrics along two axes: how well each separates defective from clean demonstrations, and whether training a behavior-cloning policy on each metric's curated subset improves task success. We study two defect regimes. Subtle perturbations (correlated action noise, tremor, truncation) are detectable by multivariate outlier scoring and, once removed, recover the full downstream gap. Structural errors, where the demonstration executes a wrong action at a key moment, are invisible to every action-only metric we test, and two of them are inverted: they score defective demonstrations as higher quality and, used for curation, tend to leave the policy at or below the uncurated baseline rather than above it. Only metrics that examine the state trajectory detect structural errors, and even the best of them recovers just a third of the downstream gap. High detection accuracy does not guarantee downstream improvement. We release the testbed and all curation implementations.
• Abstract（参考訳）: シミュレーション学習ポリシは、トレーニング対象のデモの品質を継承すると同時に、一連のキュレーションメトリクスによって、低品質なデモのスコアとフィルタリングが自動的に保証される。 これらのメトリクスはそれぞれ異なるプロトコルで異なるデータ上で検証されるため、どのメトリクスがポリシーを傷つける実演を実際に特定しているかは不明だ。 デモの欠陥を既知のタイプで注入するコントロールされたテストベッドを構築し、クリーンなデモからどのように障害を分離するか、各メトリクスのキュレートされたサブセットに対する行動閉鎖ポリシーのトレーニングがタスクの成功を改善するかという、2つの軸に沿って7つのキュレーションメトリクスを監査する。 我々は2つの欠陥について研究する。 サブトル摂動(関連する動作ノイズ、震動、乱れ)は、多変量外乱スコアによって検出され、一度除去すると、下流の完全な隙間を回復する。 デモがキーモーメントで間違ったアクションを実行する構造的エラーは、私たちがテストしたすべてのアクションのみのメトリクスには見えず、そのうち2つは逆転している。 状態軌跡を調べるメトリクスだけが構造的エラーを検出し、最も良いものでさえ下流のギャップの3分の1しか回復しない。 高検出精度は下流の改善を保証するものではない。 テストベッドとすべてのキュレーション実装をリリースします。

関連論文リスト

• Failure Identification in Imitation Learning Via Statistical and Semantic Filtering [2.2515832864485024]
  ロボット工学における模倣学習(IL)ポリシは、制御された設定において強力なパフォーマンスを提供するが、実際のデプロイメントでは脆弱である。 本稿では、ポリシーに依存しない障害検出モジュールFIDeL(Failure Identification in Demonstration Learning)を紹介する。 また,ロボット工学における故障検出のための実世界のタスクのマルチモーダルデータセットであるBotFailsを紹介した。
  論文  参考訳（メタデータ） (2026-04-15T12:27:32Z)
• Contamination Detection for VLMs using Multi-Modal Semantic Perturbation [73.76465227729818]
  オープンソースのVision-Language Models (VLM)は、ベンチマークタスクで最先端のパフォーマンスを達成した。 プレトレーニングコーパスは,テストセットリークによるパフォーマンスの低下という,実践者とユーザ双方にとって重要な懸念を提起する。 既存の検出手法が不整合性を示すか,不整合性を示すかを示す。 マルチモーダルなセマンティック摂動に基づく,新しい簡易かつ効果的な検出法を提案する。
  論文  参考訳（メタデータ） (2025-11-05T18:59:52Z)
• Unpacking Failure Modes of Generative Policies: Runtime Monitoring of Consistency and Progress [31.952925824381325]
  本稿では,障害検出を補完する2つのカテゴリに分割するランタイム監視フレームワークを提案する。 視覚言語モデル(VLM)を用いて、ポリシーがタスクを解決しないアクションを確実かつ一貫して行うことを検知する。 時間的一貫性検出とVLMランタイム監視を統一することにより、Sentinelは2つの検出器のみを使用する場合よりも18%の障害を検出する。
  論文  参考訳（メタデータ） (2024-10-06T22:13:30Z)
• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• ODDR: Outlier Detection & Dimension Reduction Based Defense Against Adversarial Patches [4.4100683691177816]
  敵対的攻撃は、機械学習モデルの信頼性の高いデプロイに重大な課題をもたらす。 パッチベースの敵攻撃に対処するための総合的な防御戦略である外乱検出・次元削減(ODDR)を提案する。 提案手法は,逆パッチに対応する入力特徴を外れ値として同定できるという観測に基づいている。
  論文  参考訳（メタデータ） (2023-11-20T11:08:06Z)
• Calibrated Teacher for Sparsely Annotated Object Detection [35.74904852812749]
  完全な教師付きオブジェクト検出には、すべてのインスタンスに注釈を付けるトレーニングイメージが必要である。 これは、高い労力と時間コストと避けられないアノテーションのため、実際には現実的ではありません。 近年,アノテーションの欠落に対して擬似ラベルを生成することで,オブジェクト検出の容易化が図られている。 本稿では,予測の信頼度を実際の精度に合わせるために,校正教師を提案する。
  論文  参考訳（メタデータ） (2023-03-14T02:02:39Z)
• Robustness of Unsupervised Representation Learning without Labels [92.90480374344777]
  モデルとタスクに依存しない,ラベルのない,教師なしのロバストネス尺度のファミリーを提案する。 本研究は, 線形プローブによる検証を行い, MOCOv2の場合, 対向トレーニングの結果が3倍の精度で得られたことを示す。
  論文  参考訳（メタデータ） (2022-10-08T18:03:28Z)
• Robust Imitation Learning from Corrupted Demonstrations [15.872598211059403]
  一定の数のデータがノイズあるいは任意の外れ値となるような、破損したデモからオフラインのImitation Learningを考える。 本稿では,ポリシーの正確な推定を保証するMOM(Median-of-Means)目標を最小化する,新しいロバストなアルゴリズムを提案する。 連続制御ベンチマーク実験により,提案手法が予測されたロバスト性および有効性を示すことを確認した。
  論文  参考訳（メタデータ） (2022-01-29T14:21:28Z)
• Self-Supervised Predictive Convolutional Attentive Block for Anomaly Detection [97.93062818228015]
  本稿では,再建に基づく機能を,新たな自己監督型予測アーキテクチャビルディングブロックに統合することを提案する。 我々のブロックは、受容領域におけるマスク領域に対する再構成誤差を最小限に抑える損失を備える。 画像やビデオの異常検出のための最先端フレームワークに組み込むことで,ブロックの汎用性を実証する。
  論文  参考訳（メタデータ） (2021-11-17T13:30:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。