論文の概要: Investigating the Role of Instruction Variety and Task Difficulty in Robotic Manipulation Tasks

• arxiv url: http://arxiv.org/abs/2407.03967v2
• Date: Mon, 28 Oct 2024 09:52:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 23:57:53.543785
• Title: Investigating the Role of Instruction Variety and Task Difficulty in Robotic Manipulation Tasks
• Title（参考訳）: ロボット操作作業における指導バラエティと課題難易度の役割の検討
• Authors: Amit Parekh, Nikolas Vitsakis, Alessandro Suglia, Ioannis Konstas,
• Abstract要約: 本研究は、そのようなモデルの一般化能力における命令と入力の役割を体系的に検証する包括的評価フレームワークを導入する。 提案フレームワークは,極度の命令摂動に対するマルチモーダルモデルのレジリエンスと,観測的変化に対する脆弱性を明らかにする。
• 参考スコア（独自算出の注目度）: 50.75902473813379
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating the generalisation capabilities of multimodal models based solely on their performance on out-of-distribution data fails to capture their true robustness. This work introduces a comprehensive evaluation framework that systematically examines the role of instructions and inputs in the generalisation abilities of such models, considering architectural design, input perturbations across language and vision modalities, and increased task complexity. The proposed framework uncovers the resilience of multimodal models to extreme instruction perturbations and their vulnerability to observational changes, raising concerns about overfitting to spurious correlations. By employing this evaluation framework on current Transformer-based multimodal models for robotic manipulation tasks, we uncover limitations and suggest future advancements should focus on architectural and training innovations that better integrate multimodal inputs, enhancing a model's generalisation prowess by prioritising sensitivity to input content over incidental correlations.
• Abstract（参考訳）: 分布外データのみの性能に基づくマルチモーダルモデルの一般化能力の評価は、真のロバスト性をとらえることに失敗する。 本研究は, アーキテクチャ設計, 言語・視覚モダリティ間の入力摂動, タスク複雑性の増大を考慮し, それらのモデルの一般化能力における命令と入力の役割を体系的に検証する包括的評価フレームワークを導入する。 提案フレームワークは,過度な命令摂動に対するマルチモーダルモデルのレジリエンスと観測上の変化に対する脆弱性を明らかにする。 ロボット操作タスクに対する現在のトランスフォーマーベースのマルチモーダルモデルに基づくこの評価フレームワークを利用することで,制約を明らかにするとともに,マルチモーダル入力をよりよく統合するアーキテクチャとトレーニングの革新に重点を置き,インシデント相関よりも入力コンテンツに対する感度を優先することで,モデルの一般化能力を高めることを提案する。

関連論文リスト

• Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
  そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。 本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
  論文  参考訳（メタデータ） (2024-08-24T18:28:19Z)
• On the generalization capacity of neural networks during generic multimodal reasoning [20.1430673356983]
  マルチモーダル一般化のための大規模言語モデルの能力を評価し比較する。 マルチモーダルインプットと体系的一般化のためには、クロスモーダルアテンションまたはより深いアテンション層を持つモデルが、マルチモーダルインプットを統合するのに必要な重要なアーキテクチャ的特徴である。
  論文  参考訳（メタデータ） (2024-01-26T17:42:59Z)
• Model-Agnostic Interpretation Framework in Machine Learning: A Comparative Study in NBA Sports [0.2937071029942259]
  本稿では,モデル性能と解釈可能性のトレードオフを整理する,革新的な枠組みを提案する。 我々のアプローチは高次元データに対するモジュラー操作を中心とし、解釈可能性を維持しながらエンドツーエンドの処理を可能にする。 我々は、我々のフレームワークを広範囲にテストし、計算効率と解釈可能性のバランスをとる上で、その優れた効果を検証した。
  論文  参考訳（メタデータ） (2024-01-05T04:25:21Z)
• Correlation Information Bottleneck: Towards Adapting Pretrained Multimodal Models for Robust Visual Question Answering [63.87200781247364]
  相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。 マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
  論文  参考訳（メタデータ） (2022-09-14T22:04:10Z)
• Exploring the Trade-off between Plausibility, Change Intensity and Adversarial Power in Counterfactual Explanations using Multi-objective Optimization [73.89239820192894]
  自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。 本稿では, 対実例生成のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-20T15:02:53Z)
• DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
  我々は,マルチモーダルモデルの解釈における最先端化に注力する。 提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
  論文  参考訳（メタデータ） (2022-03-03T20:52:47Z)
• Rethinking Self-Supervision Objectives for Generalizable Coherence Modeling [8.329870357145927]
  機械生成テキストのコヒーレンス評価は、検討すべきコヒーレンスモデルの主要な応用の1つである。 タスク全体にわたってうまく一般化するモデルをもたらす訓練データと自己超越目標について検討する。 本研究では, 負サンプルの密度の増加が基本モデルを改善することを実証的に示し, 大域的負のキューを用いることで, 強負のサンプルを訓練しながらモデルをさらに改善・安定化する。
  論文  参考訳（メタデータ） (2021-10-14T07:44:14Z)
• How to Sense the World: Leveraging Hierarchy in Multimodal Perception for Robust Reinforcement Learning Agents [9.840104333194663]
  我々は表現モデルの設計における階層性を主張し、新しいマルチモーダル表現モデルであるMUSEに貢献する。 MUSEは,アタリゲームにおけるマルチモーダル観察を備えた深層強化学習エージェントの感覚表現モデルである。 我々は、強化学習エージェントの異なる設計に関する比較研究を行い、MUSEは、エージェントが最小性能の損失で不完全な知覚経験の下でタスクを実行できることを示した。
  論文  参考訳（メタデータ） (2021-10-07T16:35:23Z)
• Randomized Entity-wise Factorization for Multi-Agent Reinforcement Learning [59.62721526353915]
  実世界のマルチエージェント設定は、エージェントや非エージェントエンティティのタイプや量が異なるタスクを伴うことが多い。 我々の方法は、これらの共通点を活用することを目的としており、「観察対象のランダムに選択されたサブグループのみを考えるとき、各エージェントが期待する効用は何か?」という問いを投げかける。
  論文  参考訳（メタデータ） (2020-06-07T18:28:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。