論文の概要: Brittle AI, Causal Confusion, and Bad Mental Models: Challenges and Successes in the XAI Program

• arxiv url: http://arxiv.org/abs/2106.05506v1
• Date: Thu, 10 Jun 2021 05:21:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-12 19:52:22.047133
• Title: Brittle AI, Causal Confusion, and Bad Mental Models: Challenges and Successes in the XAI Program
• Title（参考訳）: 脆弱なAI、因果融合、悪いメンタルモデル:XAIプログラムにおける課題と成功
• Authors: Jeff Druce, James Niehaus, Vanessa Moody, David Jensen, Michael L. Littman
• Abstract要約: ディープニューラルネットワーク駆動モデルは、ベンチマークの自律性タスクにおいて、人間レベルのパフォーマンスを上回っている。 しかし、これらのエージェントの根底にあるポリシーは容易には解釈できない。 本稿では,これらの取組みの起源を論じ,情報の増幅と今後の課題について提案する。
• 参考スコア（独自算出の注目度）: 17.52385105997044
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The advances in artificial intelligence enabled by deep learning architectures are undeniable. In several cases, deep neural network driven models have surpassed human level performance in benchmark autonomy tasks. The underlying policies for these agents, however, are not easily interpretable. In fact, given their underlying deep models, it is impossible to directly understand the mapping from observations to actions for any reasonably complex agent. Producing this supporting technology to "open the black box" of these AI systems, while not sacrificing performance, was the fundamental goal of the DARPA XAI program. In our journey through this program, we have several "big picture" takeaways: 1) Explanations need to be highly tailored to their scenario; 2) many seemingly high performing RL agents are extremely brittle and are not amendable to explanation; 3) causal models allow for rich explanations, but how to present them isn't always straightforward; and 4) human subjects conjure fantastically wrong mental models for AIs, and these models are often hard to break. This paper discusses the origins of these takeaways, provides amplifying information, and suggestions for future work.
• Abstract（参考訳）: ディープラーニングアーキテクチャによって実現される人工知能の進歩は否定できない。 いくつかのケースでは、ディープニューラルネットワーク駆動モデルが、ベンチマーク自律タスクにおける人間レベルのパフォーマンスを上回っている。 しかし、これらのエージェントの基本的なポリシーは容易に解釈できない。 実際、基礎となる深層モデルを考えると、観測から行動へのマッピングを合理的に複雑なエージェントに対して直接理解することは不可能である。 これらのAIシステムの「ブラックボックスを開く」技術を開発したが、性能を犠牲にせず、DARPA XAIプログラムの基本的な目標であった。 1) 説明はシナリオに合わせて高度に調整する必要がある; 2) 一見ハイパフォーマンスなRLエージェントの多くは極めて脆弱で、説明ができない; 3) 因果的モデルは豊かな説明を許すが、どのように提示するかは必ずしも簡単ではない; 4) 人間の被験者がAIの驚くほど間違った精神モデルを持っている; そして、これらのモデルはしばしば破ることが難しい。 本稿では,これらの情報の起源,増幅情報,今後の課題の提案について述べる。

関連論文リスト

• Visual-O1: Understanding Ambiguous Instructions via Multi-modal Multi-turn Chain-of-thoughts Reasoning [53.45295657891099]
  本稿では,マルチモーダルなマルチターン・チェーン・オブ・シークレット・推論・フレームワークであるVisual-O1を提案する。 人間のマルチモーダルなマルチターン推論をシミュレートし、高度にインテリジェントなモデルに即時体験を提供する。 私たちの研究は、不確実性と曖昧さのある現実のシナリオにおいて、人工知能が人間のように機能する可能性を強調します。
  論文  参考訳（メタデータ） (2024-10-04T11:18:41Z)
• Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning [50.47568731994238]
  人工知能(AI)エージェント作成の鍵となる方法は強化学習(RL)である 本稿では,構造化推論をAIエージェントのポリシーに統合し,学習するための一般的なフレームワークモデルを提案する。
  論文  参考訳（メタデータ） (2023-12-22T17:57:57Z)
• Exploration with Principles for Diverse AI Supervision [88.61687950039662]
  次世代の予測を用いた大規模トランスフォーマーのトレーニングは、AIの画期的な進歩を生み出した。 この生成AIアプローチは印象的な結果をもたらしたが、人間の監督に大きく依存している。 この人間の監視への強い依存は、AIイノベーションの進歩に重大なハードルをもたらす。 本稿では,高品質なトレーニングデータを自律的に生成することを目的とした,探索型AI(EAI)という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-13T07:03:39Z)
• Towards Reconciling Usability and Usefulness of Explainable AI Methodologies [2.715884199292287]
  ブラックボックスAIシステムは、誤った判断を下すと、責任と説明責任の問題を引き起こす可能性がある。 説明可能なAI(XAI)は、開発者とエンドユーザの間の知識ギャップを埋めようとしている。
  論文  参考訳（メタデータ） (2023-01-13T01:08:49Z)
• Explainability Via Causal Self-Talk [9.149689942389923]
  AIシステムの振る舞いを説明することは、実際には一般的に避けられる重要な問題である。 私たちは、すべてのデシダータを満たす効果的な方法を説明します。AIシステムをトレーニングして、それ自体の因果モデルを構築します。 この手法をシミュレーションした3次元環境に実装し、エージェントが忠実で意味論的に意味のある説明を生成する方法を示す。
  論文  参考訳（メタデータ） (2022-11-17T23:17:01Z)
• Seamful XAI: Operationalizing Seamful Design in Explainable AI [59.89011292395202]
  AIシステムのミスは必然的であり、技術的制限と社会技術的ギャップの両方から生じる。 本稿では, 社会工学的・インフラ的ミスマッチを明らかにすることにより, シームレスな設計がAIの説明可能性を高めることを提案する。 43人のAI実践者と実際のエンドユーザでこのプロセスを探求します。
  論文  参考訳（メタデータ） (2022-11-12T21:54:05Z)
• Explainable Artificial Intelligence (XAI) for Internet of Things: A Survey [1.7205106391379026]
  人工知能(AI)モデルのブラックボックスの性質は、ユーザーがそのようなモデルによって生成された出力を理解し、時には信頼することを許さない。 結果だけでなく、結果への決定パスも重要なAIアプリケーションでは、このようなブラックボックスAIモデルは不十分である。 説明可能な人工知能(XAI)は、この問題に対処し、ユーザによって解釈される一連のAIモデルを定義する。
  論文  参考訳（メタデータ） (2022-06-07T08:22:30Z)
• XAI for Cybersecurity: State of the Art, Challenges, Open Issues and Future Directions [16.633632244131775]
  AIモデルは、開発者が特定の決定の背後にある理由の説明や追跡ができないブラックボックスとして現れることが多い。 説明可能なAI(XAI)は、情報を抽出し、結果を視覚化するのに役立つ、急速に成長する研究分野である。 本報告では,サイバーセキュリティと攻撃形態について概説する。 次に、従来のAI技術の使用とその関連する課題について議論し、様々なアプリケーションでXAIを使用するための扉を開く。
  論文  参考訳（メタデータ） (2022-06-03T02:15:30Z)
• Thinking Fast and Slow in AI: the Role of Metacognition [35.114607887343105]
  最先端のAIには、(人間)インテリジェンスの概念に自然に含まれる多くの能力がない。 私たちは、人間がこれらの能力を持つことができるメカニズムをよりよく研究することで、これらの能力でAIシステムを構築する方法を理解するのに役立ちます。
  論文  参考訳（メタデータ） (2021-10-05T06:05:38Z)
• A User-Centred Framework for Explainable Artificial Intelligence in Human-Robot Interaction [70.11080854486953]
  本稿では,XAIのソーシャル・インタラクティブな側面に着目したユーザ中心型フレームワークを提案する。 このフレームワークは、エキスパートでないユーザのために考えられた対話型XAIソリューションのための構造を提供することを目的としている。
  論文  参考訳（メタデータ） (2021-09-27T09:56:23Z)
• Explainability in Deep Reinforcement Learning [68.8204255655161]
  説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。 エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
  論文  参考訳（メタデータ） (2020-08-15T10:11:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。