論文の概要: Predictive Red Teaming: Breaking Policies Without Breaking Robots

• arxiv url: http://arxiv.org/abs/2502.06575v1
• Date: Mon, 10 Feb 2025 15:44:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:33:19.816291
• Title: Predictive Red Teaming: Breaking Policies Without Breaking Robots
• Title（参考訳）: ロボットを壊さずにポリシーを破る「予測的レッドチーム」
• Authors: Anirudha Majumdar, Mohit Sharma, Dmitry Kalashnikov, Sumeet Singh, Pierre Sermanet, Vikas Sindhwani,
• Abstract要約: 模倣学習によって訓練された視覚運動のポリシーは、困難な操作を行うことができるが、照明、視覚的注意散らし、物体の位置に対して非常に脆弱であることが多い。 そこで本研究では,環境要因に関する政策の脆弱性を発見し,ハードウェア評価を伴わずに性能劣化を予測することを目的とした,レッド・チームリングの課題を提案する。
• 参考スコア（独自算出の注目度）: 26.04419793051022
• License:
• Abstract: Visuomotor policies trained via imitation learning are capable of performing challenging manipulation tasks, but are often extremely brittle to lighting, visual distractors, and object locations. These vulnerabilities can depend unpredictably on the specifics of training, and are challenging to expose without time-consuming and expensive hardware evaluations. We propose the problem of predictive red teaming: discovering vulnerabilities of a policy with respect to environmental factors, and predicting the corresponding performance degradation without hardware evaluations in off-nominal scenarios. In order to achieve this, we develop RoboART: an automated red teaming (ART) pipeline that (1) modifies nominal observations using generative image editing to vary different environmental factors, and (2) predicts performance under each variation using a policy-specific anomaly detector executed on edited observations. Experiments across 500+ hardware trials in twelve off-nominal conditions for visuomotor diffusion policies demonstrate that RoboART predicts performance degradation with high accuracy (less than 0.19 average difference between predicted and real success rates). We also demonstrate how predictive red teaming enables targeted data collection: fine-tuning with data collected under conditions predicted to be adverse boosts baseline performance by 2-7x.
• Abstract（参考訳）: 模倣学習によって訓練された視覚運動のポリシーは、困難な操作を行うことができるが、照明、視覚的注意散らし、物体の位置に対して非常に脆弱であることが多い。 これらの脆弱性はトレーニングの具体例によって予測できないほど大きく、時間を要する高価なハードウェア評価なしでは公開が難しい。 そこで本研究では,環境要因に関する政策の脆弱性を発見し,ハードウェア評価を伴わずに性能劣化を予測することを目的とした,レッド・チームリングの課題を提案する。 これを実現するために,(1)生成画像編集を用いた名目観察を改良し,異なる環境要因に適応し,(2)編集された観察に基づいて実行されるポリシー固有の異常検出器を用いて,各変動下での性能を予測する自動赤信号処理(ART)パイプラインのRoboARTを開発した。 ビジュモータ拡散ポリシーの12の非正規条件における500以上のハードウェア試行実験により、RoboARTは性能劣化を高い精度で予測する(予測された成功率と実際の成功率の平均差0.19未満)。 また,予測的レッドチーム化がターゲットデータ収集をいかに可能かを示す。 予測条件下で収集したデータによる微調整により,ベースライン性能を2～7倍向上させる。

関連論文リスト

• Unpacking Failure Modes of Generative Policies: Runtime Monitoring of Consistency and Progress [31.952925824381325]
  本稿では,障害検出を補完する2つのカテゴリに分割するランタイム監視フレームワークを提案する。 視覚言語モデル(VLM)を用いて、ポリシーがタスクを解決しないアクションを確実かつ一貫して行うことを検知する。 時間的一貫性検出とVLMランタイム監視を統一することにより、Sentinelは2つの検出器のみを使用する場合よりも18%の障害を検出する。
  論文  参考訳（メタデータ） (2024-10-06T22:13:30Z)
• Hacking Predictors Means Hacking Cars: Using Sensitivity Analysis to Identify Trajectory Prediction Vulnerabilities for Autonomous Driving Security [1.949927790632678]
  本稿では,2つの軌道予測モデルである Trajectron++ と AgentFormer の感度解析を行う。 この分析により、全ての入力の間に、両方のモデルに対する摂動感度のほぼ全ては、最新の位置と速度状態にしか属さないことが明らかとなった。 さらに、状態履歴の摂動に支配的な感度があるにもかかわらず、検出不能な画像マップ摂動は、両方のモデルで大きな予測誤差の増加を誘発することを示した。
  論文  参考訳（メタデータ） (2024-01-18T18:47:29Z)
• What Makes Pre-Trained Visual Representations Successful for Robust Manipulation? [57.92924256181857]
  照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。 創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
  論文  参考訳（メタデータ） (2023-11-03T18:09:08Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• An Outlier Exposure Approach to Improve Visual Anomaly Detection Performance for Mobile Robots [76.36017224414523]
  移動ロボットの視覚異常検出システム構築の問題点を考察する。 標準異常検出モデルは、非異常データのみからなる大規模なデータセットを用いて訓練される。 本研究では,これらのデータを利用してリアルNVP異常検出モデルの性能向上を図る。
  論文  参考訳（メタデータ） (2022-09-20T15:18:13Z)
• Detection and Mitigation of Byzantine Attacks in Distributed Training [24.951227624475443]
  ワーカノードの異常なビザンチン挙動は、トレーニングを脱線させ、推論の品質を損なう可能性がある。 最近の研究は、幅広い攻撃モデルを検討し、歪んだ勾配を補正するために頑健な集約と/または計算冗長性を探究している。 本研究では、強力な攻撃モデルについて検討する:$q$ omniscient adversaries with full knowledge of the defense protocol that can change from iteration to iteration to weak one: $q$ randomly selected adversaries with limited collusion abilities。
  論文  参考訳（メタデータ） (2022-08-17T05:49:52Z)
• Control-Aware Prediction Objectives for Autonomous Driving [78.19515972466063]
  本研究では,制御に対する予測の下流効果を評価するための制御認識予測目標(CAPOs)を提案する。 本稿では,エージェント間の注意モデルを用いた重み付けと,予測軌跡を接地真実軌跡に交換する際の制御変動に基づく重み付けの2つの方法を提案する。
  論文  参考訳（メタデータ） (2022-04-28T07:37:21Z)
• Interpretable and Effective Reinforcement Learning for Attacking against Graph-based Rumor Detection [12.726403718158082]
  ソーシャルネットワークは噂によって汚染され、機械学習モデルによって検出される。 ある種の脆弱性は、グラフへの依存と疑わしいランキングによるものである。 ブラックボックス検出器を用いて、強化学習が効果的かつ解釈可能な攻撃ポリシーを学習できるように、依存関係をキャプチャする機能を設計する。
  論文  参考訳（メタデータ） (2022-01-15T10:06:29Z)
• Tracking the risk of a deployed model and detecting harmful distribution shifts [105.27463615756733]
  実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。 我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
  論文  参考訳（メタデータ） (2021-10-12T17:21:41Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。