論文の概要: Multimodal Coherent Explanation Generation of Robot Failures
- arxiv url: http://arxiv.org/abs/2410.00659v1
- Date: Tue, 1 Oct 2024 13:15:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-05 04:35:05.172307
- Title: Multimodal Coherent Explanation Generation of Robot Failures
- Title（参考訳）: ロボット故障のマルチモーダルコヒーレント説明生成
- Authors: Pradip Pramanick, Silvia Rossi,
- Abstract要約: 本稿では,異なるモーダルからの説明の論理的コヒーレンスをチェックすることによって,コヒーレントなマルチモーダルな説明を生成する手法を提案する。
実験により,テキストの包含を認識するために事前訓練されたニューラルネットワークの微調整が,コヒーレンス評価に有効であることが示唆された。
- 参考スコア（独自算出の注目度）: 1.3965477771846408
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The explainability of a robot's actions is crucial to its acceptance in social spaces. Explaining why a robot fails to complete a given task is particularly important for non-expert users to be aware of the robot's capabilities and limitations. So far, research on explaining robot failures has only considered generating textual explanations, even though several studies have shown the benefits of multimodal ones. However, a simple combination of multiple modalities may lead to semantic incoherence between the information across different modalities - a problem that is not well-studied. An incoherent multimodal explanation can be difficult to understand, and it may even become inconsistent with what the robot and the human observe and how they perform reasoning with the observations. Such inconsistencies may lead to wrong conclusions about the robot's capabilities. In this paper, we introduce an approach to generate coherent multimodal explanations by checking the logical coherence of explanations from different modalities, followed by refinements as required. We propose a classification approach for coherence assessment, where we evaluate if an explanation logically follows another. Our experiments suggest that fine-tuning a neural network that was pre-trained to recognize textual entailment, performs well for coherence assessment of multimodal explanations. Code & data: https://pradippramanick.github.io/coherent-explain/.
- Abstract（参考訳）: ロボットの行動を説明することは、社会的空間における受容に不可欠である。
ロボットが与えられたタスクを完了しなかった理由を説明することは、非専門家のユーザがロボットの能力と限界に気付くことが特に重要である。
これまでのところ、ロボットの故障を説明する研究は、複数の研究がマルチモーダルな説明の利点を示しているにもかかわらず、テキストによる説明を生み出すことしか検討されていない。
しかし、複数のモダリティの単純な組み合わせは、異なるモダリティにまたがる情報間のセマンティックな不整合をもたらす可能性がある。
非一貫性のないマルチモーダルな説明を理解することは困難であり、ロボットと人間が何を観察し、どのように観察と推論を行うかに矛盾することもある。
このような矛盾は、ロボットの能力に関する誤った結論につながる可能性がある。
本稿では,異なるモダリティからの説明の論理的コヒーレンスを検証し,必要に応じて改良を加えて,コヒーレントなマルチモーダルな説明を生成する手法を提案する。
本稿では,コヒーレンス評価のための分類手法を提案する。
実験により,テキストの包含を認識するためにトレーニング済みのニューラルネットワークの微調整が,マルチモーダルな説明のコヒーレンス評価に有効であることが示唆された。
コードとデータ:https://pradippramanick.github.io/coherent-explain/。
関連論文リスト
- RoboCodeX: Multimodal Code Generation for Robotic Behavior Synthesis [102.1876259853457]
汎用ロボット行動合成のための木構造多モードコード生成フレームワークRoboCodeXを提案する。
RoboCodeXは、高レベルの人間の命令を複数のオブジェクト中心の操作ユニットに分解する。
概念的および知覚的理解を制御コマンドにマッピングする能力をさらに強化するため、事前学習のための特別なマルチモーダル推論データセットを収集し、教師付き微調整のための反復的自己更新手法を導入する。
論文 参考訳（メタデータ） (2024-02-25T15:31:43Z) - Neural Amortized Inference for Nested Multi-agent Reasoning [54.39127942041582]
本研究では,人間のような推論能力と計算限界のギャップを埋める新しい手法を提案する。
提案手法を2つの挑戦的マルチエージェント相互作用領域で評価する。
論文 参考訳（メタデータ） (2023-08-21T22:40:36Z) - A Closer Look at Reward Decomposition for High-Level Robotic
Explanations [18.019811754800767]
本稿では、報酬分解と抽象的な行動空間を組み合わせたQ-Map学習フレームワークを提案する。
本稿では,2つのロボットシナリオの定量的,定性的な分析を通じて,本フレームワークの有効性を実証する。
論文 参考訳（メタデータ） (2023-04-25T16:01:42Z) - Chaining Simultaneous Thoughts for Numerical Reasoning [92.2007997126144]
テキストによる数値推論は、AIシステムにとって不可欠なスキルであるべきです。
これまでの研究は方程式の構造をモデル化することに集中し、様々な構造化デコーダを提案してきた。
我々は、有向非巡回グラフを用いてステップを推論する数値推論器CANTORを提案する。
論文 参考訳（メタデータ） (2022-11-29T18:52:06Z) - Evaluating Human-like Explanations for Robot Actions in Reinforcement
Learning Scenarios [1.671353192305391]
我々は、自律ロボットが行動を実行した後の目標を達成するために、成功の確率から構築された人間のような説明を活用している。
これらの説明は、人工知能の手法の経験がほとんど、あるいはほとんどない人々によって理解されることを意図している。
論文 参考訳（メタデータ） (2022-07-07T10:40:24Z) - Rethinking Explainability as a Dialogue: A Practitioner's Perspective [57.87089539718344]
医師、医療専門家、政策立案者に対して、説明を求めるニーズと欲求について尋ねる。
本研究は, 自然言語対話の形での対話的説明を, 意思決定者が強く好むことを示唆する。
これらのニーズを考慮して、インタラクティブな説明を設計する際に、研究者が従うべき5つの原則を概説する。
論文 参考訳（メタデータ） (2022-02-03T22:17:21Z) - Explainable Autonomous Robots: A Survey and Perspective [0.0]
説明能力の開発は、自律ロボットへの緊急の第一歩です。
この調査は、機械学習研究で議論された様々なタイプの「説明可能性」の概要を提供する。
論文 参考訳（メタデータ） (2021-05-06T13:38:02Z) - Explainable AI for Robot Failures: Generating Explanations that Improve
User Assistance in Fault Recovery [19.56670862587773]
エージェントの計画実行中に予期せぬ障害の原因を非専門家に説明する,新たなタイプの説明を紹介する。
既存のエンコーダデコーダモデルを拡張して,このような説明を自律的に生成する方法を検討する。
論文 参考訳（メタデータ） (2021-01-05T16:16:39Z) - Integrating Intrinsic and Extrinsic Explainability: The Relevance of
Understanding Neural Networks for Human-Robot Interaction [19.844084722919764]
説明可能な人工知能(XAI)は、インテリジェントで自律的なシステムの信頼と受容を促進するのに役立つ。
NICOは、オープンソースのヒューマノイドロボットプラットフォームであり、ロボット自身による本質的な説明と環境によって提供される外生的な説明の相互作用によって、効率的なロボット動作を実現する方法について紹介されている。
論文 参考訳（メタデータ） (2020-10-09T14:28:48Z) - Joint Inference of States, Robot Knowledge, and Human (False-)Beliefs [90.20235972293801]
本稿では,人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)の認知能力が,ロボットとの相互作用にどのように影響するかを理解するために,対象状態,ロボット知識,人間(時間的)の認知能力の表現にグラフィカルモデルを採用することを提案する。
推論アルゴリズムは、複数のビューにまたがる全てのロボットから個別のpgを融合し、単一のビューから発生したエラーを克服するより効果的な推論能力を得る。
論文 参考訳（メタデータ） (2020-04-25T23:02:04Z) - A general framework for scientifically inspired explanations in AI [76.48625630211943]
我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。
このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
論文 参考訳（メタデータ） (2020-03-02T10:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。