論文の概要: Identifying Reasoning Flaws in Planning-Based RL Using Tree Explanations
- arxiv url: http://arxiv.org/abs/2109.13978v1
- Date: Tue, 28 Sep 2021 18:39:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-01 06:41:11.684663
- Title: Identifying Reasoning Flaws in Planning-Based RL Using Tree Explanations
- Title（参考訳）: 木説明を用いた計画ベースRLにおける推論欠陥の同定
- Authors: Kin-Ho Lam, Zhengxian Lin, Jed Irvine, Jonathan Dodge, Zeyad T
Shureih, Roli Khanna, Minsuk Kahng, Alan Fern
- Abstract要約: 我々は,リアルタイム戦略ゲームにおいて,計画に基づく深層強化学習エージェントの欠陥を特定することを検討する。
これにより、人間が木の推論ステップのレベルで欠陥を特定することができる。
木の大きさや複雑さから、人間がこのような欠陥を識別できるかどうかは不明だ。
- 参考スコア（独自算出の注目度）: 16.610062357578283
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Enabling humans to identify potential flaws in an agent's decision making is
an important Explainable AI application. We consider identifying such flaws in
a planning-based deep reinforcement learning (RL) agent for a complex real-time
strategy game. In particular, the agent makes decisions via tree search using a
learned model and evaluation function over interpretable states and actions.
This gives the potential for humans to identify flaws at the level of reasoning
steps in the tree, even if the entire reasoning process is too complex to
understand. However, it is unclear whether humans will be able to identify such
flaws due to the size and complexity of trees. We describe a user interface and
case study, where a small group of AI experts and developers attempt to
identify reasoning flaws due to inaccurate agent learning. Overall, the
interface allowed the group to identify a number of significant flaws of
varying types, demonstrating the promise of this approach.
- Abstract（参考訳）: エージェントの意思決定における潜在的な欠陥を特定するための人間の導入は、重要な説明可能なAIアプリケーションである。
複雑なリアルタイム戦略ゲームのための計画ベースの深層強化学習(rl)エージェントにおいて,このような欠陥を特定することを検討する。
特に、学習したモデルを用いた木探索による決定と、解釈可能な状態や行動に対する評価関数を行う。
これにより、たとえすべての推論プロセスが複雑すぎて理解できないとしても、人間が木の推論ステップのレベルで欠陥を特定することができる。
しかし、木の大きさや複雑さから人間がこのような欠陥を特定できるかどうかは不明である。
本稿では,aiの専門家と開発者が,エージェント学習の不正確さによる推論欠陥を識別しようとするユーザインターフェースとケーススタディについて述べる。
全体として、このインターフェースにより、グループは様々なタイプの重大な欠陥を識別することができ、このアプローチの可能性を実証した。
関連論文リスト
- GPTree: Towards Explainable Decision-Making via LLM-powered Decision Trees [0.0]
GPTreeは、決定木の説明可能性とLLMの高度な推論能力を組み合わせた、新しいフレームワークである。
我々の決定木は、スタートアップの開始段階で「ユニコーン」スタートアップを特定するための精度が7.8%に達した。
論文 参考訳（メタデータ） (2024-11-13T00:14:09Z) - Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning [50.47568731994238]
人工知能(AI)エージェント作成の鍵となる方法は強化学習(RL)である
本稿では,構造化推論をAIエージェントのポリシーに統合し,学習するための一般的なフレームワークモデルを提案する。
論文 参考訳（メタデータ） (2023-12-22T17:57:57Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2023-12-10T23:13:23Z) - Probabilistic Tree-of-thought Reasoning for Answering
Knowledge-intensive Complex Questions [93.40614719648386]
大規模言語モデル(LLM)は、知識集約的な複雑な質問にチェーン・オブ・シント(CoT)推論で答えることができる。
最近の研究は、CoT推論を強化するための外部知識の回収に向けられている。
確率的ツリー・オブ・シント推論(ProbTree)という新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-11-23T12:52:37Z) - A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。
本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
論文 参考訳（メタデータ） (2023-11-14T07:13:10Z) - Explaining Tree Model Decisions in Natural Language for Network
Intrusion Detection [18.5400518912912]
機械学習を利用したネットワーク侵入検知(NID)システムは、悪意のあるネットワークトラフィックを検出するために使用される場合、実際に高い性能を示すことが示されている。
特に決定木は、パフォーマンスと単純さのバランスが強いが、NIDシステムのユーザは、機械学習の背景知識を解釈しなければならない。
本研究では,大規模言語モデル(LLM)を用いて,意思決定木NIDシステムに対する説明と背景知識を提供する。
論文 参考訳（メタデータ） (2023-10-30T15:40:34Z) - Limits of Actor-Critic Algorithms for Decision Tree Policies Learning in
IBMDPs [9.587070290189507]
AIモデルの解釈可能性により、ユーザーの安全チェックがそのようなAIの信頼を構築することができる。
決定木(DT)は、学習したモデルをグローバルに見て、どの入力の特徴が決定に重要なのかを透過的に明らかにします。
近年の強化学習フレームワークは,深いRLを用いてDTの空間を探索するために提案されている。
論文 参考訳（メタデータ） (2023-09-23T13:06:20Z) - Interpretability at Scale: Identifying Causal Mechanisms in Alpaca [62.65877150123775]
本研究では、Boundless DASを用いて、命令に従う間、大規模言語モデルにおける解釈可能な因果構造を効率的に探索する。
私たちの発見は、成長し、最も広くデプロイされている言語モデルの内部構造を忠実に理解するための第一歩です。
論文 参考訳（メタデータ） (2023-05-15T17:15:40Z) - On Explainability in AI-Solutions: A Cross-Domain Survey [4.394025678691688]
システムモデルを自動的に導出する際、AIアルゴリズムは人間には検出できないデータで関係を学習する。
モデルが複雑になればなるほど、人間が意思決定の理由を理解するのが難しくなる。
この研究は、この話題に関する広範な文献調査を提供し、その大部分は、他の調査から成っている。
論文 参考訳（メタデータ） (2022-10-11T06:21:47Z) - Neural Causal Models for Counterfactual Identification and Estimation [62.30444687707919]
本稿では,ニューラルモデルによる反事実文の評価について検討する。
まず、神経因果モデル(NCM)が十分に表現可能であることを示す。
第2に,反事実分布の同時同定と推定を行うアルゴリズムを開発する。
論文 参考訳（メタデータ） (2022-09-30T18:29:09Z) - An Objective Metric for Explainable AI: How and Why to Estimate the
Degree of Explainability [3.04585143845864]
本稿では, 客観的手法を用いて, 正しい情報のeX説明可能性の度合いを測定するための, モデルに依存しない新しい指標を提案する。
私たちは、医療とファイナンスのための2つの現実的なAIベースのシステムについて、いくつかの実験とユーザースタディを設計しました。
論文 参考訳（メタデータ） (2021-09-11T17:44:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。