論文の概要: Learning User-Interpretable Descriptions of Black-Box AI System Capabilities

• arxiv url: http://arxiv.org/abs/2107.13668v1
• Date: Wed, 28 Jul 2021 23:33:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-30 13:21:01.256790
• Title: Learning User-Interpretable Descriptions of Black-Box AI System Capabilities
• Title（参考訳）: ブラックボックスAIシステムのユーザ解釈可能な記述の学習
• Authors: Pulkit Verma, Shashank Rao Marpally, Siddharth Srivastava
• Abstract要約: 本稿では,ブラックボックスAIシステムの限界と能力について,ユーザ解釈可能な記号記述を学習するためのアプローチを提案する。 階層的なアクティブクエリパラダイムを使用して質問を生成し、その応答に基づいてAIシステムのユーザ解釈可能なモデルを学ぶ。
• 参考スコア（独自算出の注目度）: 9.608555640607731
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Several approaches have been developed to answer specific questions that a user may have about an AI system that can plan and act. However, the problems of identifying which questions to ask and that of computing a user-interpretable symbolic description of the overall capabilities of the system have remained largely unaddressed. This paper presents an approach for addressing these problems by learning user-interpretable symbolic descriptions of the limits and capabilities of a black-box AI system using low-level simulators. It uses a hierarchical active querying paradigm to generate questions and to learn a user-interpretable model of the AI system based on its responses. In contrast to prior work, we consider settings where imprecision of the user's conceptual vocabulary precludes a direct expression of the agent's capabilities. Furthermore, our approach does not require assumptions about the internal design of the target AI system or about the methods that it may use to compute or learn task solutions. Empirical evaluation on several game-based simulator domains shows that this approach can efficiently learn symbolic models of AI systems that use a deterministic black-box policy in fully observable scenarios.
• Abstract（参考訳）: ユーザーが計画し、行動できるaiシステムについて持っているかもしれない特定の質問に答えるために、いくつかのアプローチが開発されている。 しかし,問うべき質問を特定することや,システム全体の能力に関するユーザ解釈可能な記号記述を計算することの問題は,ほとんど解決されていない。 本稿では,低レベルシミュレータを用いたブラックボックスaiシステムの限界と能力に関するユーザ解釈可能な記号記述を学習することで,この問題に対処する手法を提案する。 階層的なアクティブクエリパラダイムを使用して質問を生成し、その応答に基づいてAIシステムのユーザ解釈可能なモデルを学ぶ。 従来の作業とは対照的に,ユーザの概念語彙の精度がエージェントの能力を直接的に表現しないような設定を考える。 さらに,本手法では,対象とするAIシステムの内部設計や,タスクソリューションの計算や学習に使用する手法に関する仮定を必要としない。 いくつかのゲームベースシミュレーター領域での実証的な評価は、完全に観測可能なシナリオで決定論的ブラックボックスポリシーを使用するAIシステムのシンボルモデルを効率的に学習できることを示している。

関連論文リスト

• Knowledge Tagging System on Math Questions via LLMs with Flexible Demonstration Retriever [48.5585921817745]
  大きな言語モデル(LLM)は知識タグ付けタスクを自動化するために使われる。 算数問題における知識タグ付けタスクに対するゼロショットと少数ショットの結果の強い性能を示す。 強化学習に基づくデモレトリバーの提案により,異なるサイズのLLMの潜在能力を活用できた。
  論文  参考訳（メタデータ） (2024-06-19T23:30:01Z)
• Automated Process Planning Based on a Semantic Capability Model and SMT [50.76251195257306]
  製造システムと自律ロボットの研究において、機械で解釈可能なシステム機能の仕様に「能力」という用語が用いられる。 セマンティック能力モデルから始めて、AI計画問題を自動的に生成するアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-14T10:37:34Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Autonomous Capability Assessment of Sequential Decision-Making Systems in Stochastic Settings (Extended Version) [27.825419721676766]
  ユーザは自分のAIシステムに何ができるかを理解し、安全に使用するためには不可能である。 本稿では,ブラックボックス型AIシステムにおいて,計画と動作が可能な能力をモデル化するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-07T22:05:48Z)
• Towards Human Cognition Level-based Experiment Design for Counterfactual Explanations (XAI) [68.8204255655161]
  XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。 認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。 本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T19:20:22Z)
• Learning Causal Models of Autonomous Agents using Interventions [11.351235628684252]
  我々は、AIシステムがシミュレータで高レベルの命令シーケンスを実行することができるエージェントアセスメントモジュールの分析を拡張した。 このような原始的なクエリ応答能力は、システムのユーザ解釈可能な因果関係モデルを効率的に導出するのに十分であることを示す。
  論文  参考訳（メタデータ） (2021-08-21T21:33:26Z)
• Explaining Black-Box Algorithms Using Probabilistic Contrastive Counterfactuals [7.727206277914709]
  ブラックボックス決定システムを説明するための因果性に基づく原則的アプローチを提案する。 本稿では,変数の直接的および間接的影響が,アルゴリズムによる決定に与える影響を定量的に示す。 このような反事実は,アルゴリズムの決定に負の影響を受ける個人に対して,どのように行動可能なリコースを提供できるかを示す。
  論文  参考訳（メタデータ） (2021-03-22T16:20:21Z)
• Explanation Ontology: A Model of Explanations for User-Centered AI [3.1783442097247345]
  説明はしばしば、原則的でないポストホックな方法でAIシステムに追加されている。 これらのシステムの採用が拡大し、ユーザ中心の説明可能性に重点を置いているため、説明可能性について第一の考慮事項として扱う構造的表現が必要である。 我々は,説明の役割,システムとユーザ属性の双方をモデル化するための説明オントロジーを設計し,異なる文献に基づく説明型の範囲を設計する。
  論文  参考訳（メタデータ） (2020-10-04T03:53:35Z)
• Towards an Interface Description Template for AI-enabled Systems [77.34726150561087]
  再利用(Reuse)は、システムアーキテクチャを既存のコンポーネントでインスタンス化しようとする、一般的なシステムアーキテクチャのアプローチである。 現在、コンポーネントが当初目的としていたものと異なるシステムで運用する可搬性を評価するために必要な情報の選択をガイドするフレームワークは存在しない。 我々は、AI対応コンポーネントの主情報をキャプチャするインターフェイス記述テンプレートの確立に向けて、現在進行中の作業について述べる。
  論文  参考訳（メタデータ） (2020-07-13T20:30:26Z)
• A general framework for scientifically inspired explanations in AI [76.48625630211943]
  我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。 このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
  論文  参考訳（メタデータ） (2020-03-02T10:32:21Z)
• Bridging the Gap: Providing Post-Hoc Symbolic Explanations for Sequential Decision-Making Problems with Inscrutable Representations [44.016120003139264]
  本稿では、逐次的意思決定設定のためのユーザ特定概念の観点から、コントラスト的な説明を提供する手法を提案する。 ユーザクエリに応答するために利用可能なタスクの局所近似の部分的記号モデルを構築することで、これを実現する。
  論文  参考訳（メタデータ） (2020-02-04T01:37:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。