論文の概要: Explaining Agent Behavior with Large Language Models

• arxiv url: http://arxiv.org/abs/2309.10346v1
• Date: Tue, 19 Sep 2023 06:13:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 16:06:16.047615
• Title: Explaining Agent Behavior with Large Language Models
• Title（参考訳）: 大規模言語モデルによるエージェントの振る舞い説明
• Authors: Xijia Zhang, Yue Guo, Simon Stepputtis, Katia Sycara, and Joseph Campbell
• Abstract要約: 本研究では,状態や行動の観察のみに基づいて,エージェントの行動に関する自然言語説明を生成する手法を提案する。 エージェントの振る舞いのコンパクトな表現がいかに学習され、妥当な説明を生み出すかを示す。
• 参考スコア（独自算出の注目度）: 7.128139268426959
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Intelligent agents such as robots are increasingly deployed in real-world, safety-critical settings. It is vital that these agents are able to explain the reasoning behind their decisions to human counterparts, however, their behavior is often produced by uninterpretable models such as deep neural networks. We propose an approach to generate natural language explanations for an agent's behavior based only on observations of states and actions, agnostic to the underlying model representation. We show how a compact representation of the agent's behavior can be learned and used to produce plausible explanations with minimal hallucination while affording user interaction with a pre-trained large language model. Through user studies and empirical experiments, we show that our approach generates explanations as helpful as those generated by a human domain expert while enabling beneficial interactions such as clarification and counterfactual queries.
• Abstract（参考訳）: ロボットのようなインテリジェントエージェントは、現実の安全を重要視する環境でますます展開される。 これらのエージェントは、決定の背後にある理由を人間に説明できることは不可欠であるが、その振る舞いはディープニューラルネットワークのような解釈不能なモデルによってしばしば生じる。 本稿では,エージェントの行動に対する自然言語説明を,基礎となるモデル表現とは無関係に,状態と行動の観察のみに基づいて生成する手法を提案する。 エージェントの動作のコンパクトな表現を学習し,事前学習した大規模言語モデルとのユーザインタラクションを可能にしながら,最小限の幻覚で説明可能な説明を作成できることを示す。 ユーザスタディと実証実験を通じて,提案手法は,人間のドメインエキスパートが生成する説明を,明確化や反事実クエリといった有用なインタラクションを可能にしながら生成することを示す。

関連論文リスト

• Implementation and Application of an Intelligibility Protocol for Interaction with an LLM [0.9187505256430948]
  我々の関心は、機械学習エンジンと対話する人間-専門家を含む対話型システムの構築である。 これは、科学、環境、医学などにおける複雑な問題に対処する場合に関係している。 本稿では,汎用実装のアルゴリズム記述と,その利用に関する予備実験を2つの異なる領域で実施する。
  論文  参考訳（メタデータ） (2024-10-27T21:20:18Z)
• Visual-O1: Understanding Ambiguous Instructions via Multi-modal Multi-turn Chain-of-thoughts Reasoning [53.45295657891099]
  本稿では,マルチモーダルなマルチターン・チェーン・オブ・シークレット・推論・フレームワークであるVisual-O1を提案する。 人間のマルチモーダルなマルチターン推論をシミュレートし、高度にインテリジェントなモデルに即時体験を提供する。 私たちの研究は、不確実性と曖昧さのある現実のシナリオにおいて、人工知能が人間のように機能する可能性を強調します。
  論文  参考訳（メタデータ） (2024-10-04T11:18:41Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Sim-to-Real Causal Transfer: A Metric Learning Approach to Causally-Aware Interaction Representations [62.48505112245388]
  エージェント相互作用の現代的表現の因果認識を詳細に検討する。 近年の表現は、非因果剤の摂動に対して部分的に耐性があることが示されている。 因果アノテーションを用いた潜在表現を正規化するための計量学習手法を提案する。
  論文  参考訳（メタデータ） (2023-12-07T18:57:03Z)
• Understanding Your Agent: Leveraging Large Language Models for Behavior Explanation [7.647395374489533]
  本研究では,状態や行動の観察のみに基づいて,エージェントの行動に関する自然言語説明を生成する手法を提案する。 提案手法は,人間ドメインの専門家が作成したものと同じくらい役立つ説明を生成する。
  論文  参考訳（メタデータ） (2023-11-29T20:16:23Z)
• Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small [68.879023473838]
  間接オブジェクト識別 (IOI) と呼ばれる自然言語タスクにおいて, GPT-2 の小型化が果たす役割について解説する。 我々の知る限り、この調査は言語モデルにおいて「野生」の自然な振る舞いをリバースエンジニアリングする最大のエンドツーエンドの試みである。
  論文  参考訳（メタデータ） (2022-11-01T17:08:44Z)
• Inherently Explainable Reinforcement Learning in Natural Language [14.117921448623342]
  本稿では,本質的に説明可能な強化学習エージェントの開発に焦点をあてる。 この階層的説明可能な強化学習エージェントは、インタラクティブフィクション、テキストベースのゲーム環境で動作する。 私たちのエージェントは、説明責任を第一級市民として扱うように設計されています。
  論文  参考訳（メタデータ） (2021-12-16T14:24:35Z)
• Multi-Agent Imitation Learning with Copulas [102.27052968901894]
  マルチエージェント模倣学習は、観察と行動のマッピングを学習することで、デモからタスクを実行するために複数のエージェントを訓練することを目的としている。 本稿では,確率変数間の依存を捉える強力な統計ツールである copula を用いて,マルチエージェントシステムにおける相関関係と協調関係を明示的にモデル化する。 提案モデルでは,各エージェントの局所的行動パターンと,エージェント間の依存構造のみをフルにキャプチャするコプラ関数を別々に学習することができる。
  論文  参考訳（メタデータ） (2021-07-10T03:49:41Z)
• Deep Interpretable Models of Theory of Mind For Human-Agent Teaming [0.7734726150561086]
  我々は、他の観測対象の意図をモデル化するための解釈可能なモジュラー・ニューラル・フレームワークを開発する。 Minecraftの検索および救助タスクで、人間の参加者のデータに関する実験を行い、アプローチの有効性を実証します。
  論文  参考訳（メタデータ） (2021-04-07T06:18:58Z)
• Imitating Interactive Intelligence [24.95842455898523]
  仮想環境の簡略化を用いて、人間と自然に相互作用できる人工エージェントの設計方法を検討する。 人間とロバストに相互作用できるエージェントを構築するには、人間と対話しながらトレーニングするのが理想的です。 我々は,人間とエージェントエージェントの対話行動の相違を低減するために,逆強化学習の考え方を用いる。
  論文  参考訳（メタデータ） (2020-12-10T13:55:47Z)
• A general framework for scientifically inspired explanations in AI [76.48625630211943]
  我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。 このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
  論文  参考訳（メタデータ） (2020-03-02T10:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。