論文の概要: Embodied Red Teaming for Auditing Robotic Foundation Models

• arxiv url: http://arxiv.org/abs/2411.18676v1
• Date: Wed, 27 Nov 2024 18:57:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:21:32.699510
• Title: Embodied Red Teaming for Auditing Robotic Foundation Models
• Title（参考訳）: ロボットファンデーションモデル監査のための身体的レッドチーム
• Authors: Sathwik Karnik, Zhang-Wei Hong, Nishant Abhangi, Yen-Chen Lin, Tsun-Hsuan Wang, Pulkit Agrawal,
• Abstract要約: Embodied Red Teaming (ERT)は、言語条件ロボットモデルをテストするための多様で困難な命令を生成する。 ERTは、視覚言語モデル(VLM)による自動化されたレッドチーム化技術を使用して、文脈的に基礎があり、難しい命令を生成する。 実験結果から,ERTテストでは,最先端モデルが頻繁に失敗または不安全に振る舞うことが示唆された。
• 参考スコア（独自算出の注目度）: 30.747267017886056
• License:
• Abstract: Language-conditioned robot models (i.e., robotic foundation models) enable robots to perform a wide range of tasks based on natural language instructions. Despite strong performance on existing benchmarks, evaluating the safety and effectiveness of these models is challenging due to the complexity of testing all possible language variations. Current benchmarks have two key limitations: they rely on a limited set of human-generated instructions, missing many challenging cases, and they focus only on task performance without assessing safety, such as avoiding damage. To address these gaps, we introduce Embodied Red Teaming (ERT), a new evaluation method that generates diverse and challenging instructions to test these models. ERT uses automated red teaming techniques with Vision Language Models (VLMs) to create contextually grounded, difficult instructions. Experimental results show that state-of-the-art models frequently fail or behave unsafely on ERT tests, underscoring the shortcomings of current benchmarks in evaluating real-world performance and safety. Code and videos are available at: https://sites.google.com/view/embodiedredteam.
• Abstract（参考訳）: 言語条件付きロボットモデル(すなわち、ロボット基礎モデル)は、自然言語命令に基づいて幅広いタスクをロボットが実行できるようにする。 既存のベンチマークのパフォーマンスは高いが、これらのモデルの安全性と有効性を評価するのは難しい。 現在のベンチマークには2つの重要な制限がある。人間生成命令の限られたセットに依存しており、多くの困難なケースを欠いている。 これらのギャップに対処するために,これらのモデルをテストするための多様かつ困難な命令を生成する新しい評価手法であるEmbodied Red Teaming (ERT)を導入する。 ERTは、視覚言語モデル(VLM)による自動化されたレッドチーム化技術を使用して、文脈的に基礎があり、難しい命令を生成する。 実験結果から,現状のモデルがRTテストで頻繁に失敗または不安全に動作していることが示され,実際の性能と安全性を評価する上での現在のベンチマークの欠点が浮き彫りにされている。 コードとビデオは、https://sites.google.com/view/embodiedredteam.comで入手できる。

関連論文リスト

• Automated Red Teaming with GOAT: the Generative Offensive Agent Tester [8.947465706080523]
  Red Teamingは、安全トレーニング中に設定された規範やポリシー、ルールに違反したコンテンツを、大規模な言語モデルがいかに生成できるかを評価する。 文献における既存の自動化手法のほとんどは、人間がAIモデルと対話する傾向を示すものではない。 本稿では,非言語的会話をシミュレートする自動エージェントレッド・チーム・システムであるジェネレーティブ・オッサンティブ・エージェント・テスタ(GOAT)を紹介する。
  論文  参考訳（メタデータ） (2024-10-02T14:47:05Z)
• RACER: Rich Language-Guided Failure Recovery Policies for Imitation Learning [19.023560632891467]
  本稿では,障害復旧トラジェクトリによる専門家によるデモンストレーションを強化する,スケーラブルなデータ生成パイプラインを提案する。 次に、Rich languAge-guided failure reCovERy(RACER)を紹介します。 実験の結果,RACERはRLbench上での最先端のロボットビュートランスよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-23T02:50:33Z)
• Large Language Models for Orchestrating Bimanual Robots [19.60907949776435]
  本稿では,Language-based Bimanual Orchestration (LABOR)を提案する。 NICOLヒューマノイドロボットを用いた2種類の長距離作業のシミュレーション実験により,本手法の評価を行った。
  論文  参考訳（メタデータ） (2024-04-02T15:08:35Z)
• Yell At Your Robot: Improving On-the-Fly from Language Corrections [84.09578841663195]
  高いレベルのポリシーは、人間のフィードバックによって言語修正の形で容易に管理できることを示す。 このフレームワークは、ロボットがリアルタイムの言語フィードバックに迅速に適応するだけでなく、このフィードバックを反復的なトレーニングスキームに組み込むことを可能にする。
  論文  参考訳（メタデータ） (2024-03-19T17:08:24Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• Instruct2Act: Mapping Multi-modality Instructions to Robotic Actions with Large Language Model [63.66204449776262]
  Instruct2Actは、ロボット操作タスクのシーケンシャルアクションにマルチモーダル命令をマッピングするフレームワークである。 我々のアプローチは、様々な命令のモダリティや入力タイプを調節する上で、調整可能で柔軟なものである。 我々のゼロショット法は、いくつかのタスクにおいて、最先端の学習ベースのポリシーよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-18T17:59:49Z)
• Grounding Language with Visual Affordances over Unstructured Data [26.92329260907805]
  本研究では,非構造化,オフライン,リセットのないデータから,言語条件のロボットスキルを効率的に学習するための新しい手法を提案する。 我々は、言語による全データの1%しか必要としない自己教師型ビジュオ言語割当モデルを利用する。 提案手法は,従来の手法よりも桁違いに少ないデータで,リアルタイムに長時間の多層タスクを完了できることがわかった。
  論文  参考訳（メタデータ） (2022-10-04T21:16:48Z)
• What Matters in Language Conditioned Robotic Imitation Learning [26.92329260907805]
  オフラインのフリーフォーム模倣データセットから言語条件付きポリシーを学習する際の最も重要な課題について検討する。 本稿では,CALVINベンチマークを用いて,言語条件の難易度を向上する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T08:45:32Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)
• Learning Language-Conditioned Robot Behavior from Offline Data and Crowd-Sourced Annotation [80.29069988090912]
  本研究では,ロボットインタラクションの大規模なオフラインデータセットから視覚に基づく操作タスクを学習する問題について検討する。 クラウドソースの自然言語ラベルを用いたオフラインロボットデータセットの活用を提案する。 提案手法は目標画像仕様と言語条件付き模倣技術の両方を25%以上上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-09-02T17:42:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。