論文の概要: Intention-aware policy graphs: answering what, how, and why in opaque agents

• arxiv url: http://arxiv.org/abs/2409.19038v1
• Date: Fri, 27 Sep 2024 09:31:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 04:40:55.523239
• Title: Intention-aware policy graphs: answering what, how, and why in opaque agents
• Title（参考訳）: 意図認識型ポリシーグラフ:不透明なエージェントで何、どのように、なぜ答えるか
• Authors: Victor Gimenez-Abalos, Sergio Alvarez-Napagao, Adrian Tormos, Ulises Cortés, Javier Vázquez-Salceda,
• Abstract要約: エージェントは、複雑な環境で相互作用し、創発的行動の可能性を高める、AIベースの特殊なソフトウェアである。 本稿では,確率的グラフィカルモデルと,そのようなモデル設計のためのパイプラインを提案する。 提案する説明の解釈可能性および信頼性を評価するために,提案手法を貢献する。 このモデルは、エージェントの行動と世界状態の一部を観察することで構築することができる。
• 参考スコア（独自算出の注目度）: 0.1398098625978622
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Agents are a special kind of AI-based software in that they interact in complex environments and have increased potential for emergent behaviour. Explaining such emergent behaviour is key to deploying trustworthy AI, but the increasing complexity and opaque nature of many agent implementations makes this hard. In this work, we propose a Probabilistic Graphical Model along with a pipeline for designing such model -- by which the behaviour of an agent can be deliberated about -- and for computing a robust numerical value for the intentions the agent has at any moment. We contribute measurements that evaluate the interpretability and reliability of explanations provided, and enables explainability questions such as `what do you want to do now?' (e.g. deliver soup) `how do you plan to do it?' (e.g. returning a plan that considers its skills and the world), and `why would you take this action at this state?' (e.g. explaining how that furthers or hinders its own goals). This model can be constructed by taking partial observations of the agent's actions and world states, and we provide an iterative workflow for increasing the proposed measurements through better design and/or pointing out irrational agent behaviour.
• Abstract（参考訳）: エージェントは、複雑な環境で相互作用し、創発的行動の可能性を高める、AIベースの特殊なソフトウェアである。 このような創発的な振る舞いを説明することは、信頼できるAIをデプロイする上で重要だが、多くのエージェント実装の複雑さと不透明さが、これを難しくしている。 本研究では,エージェントの振舞いを考慮し,任意の時点でエージェントが持つ意図に対して頑健な数値を計算するパイプラインとともに確率的グラフィカルモデルを提案する。 我々は、提供された説明の解釈可能性と信頼性を評価し、説明可能性に関する質問「今何をしたいのか」(e.g deliver soup)「どうするつもりなのか」(e.g.そのスキルと世界を考慮した計画の返却)、「なぜこの状態でこの行動を取るのか」(e.g.、それが自身の目標をどう進めるか、妨げるのか)などを可能にします。 このモデルは,エージェントの行動や世界状態の部分的な観察を行うことで構築可能であり,提案手法を設計や不合理なエージェントの振る舞いを指摘することによって,提案手法を拡大するための反復的ワークフローを提供する。

関連論文リスト

• Aligning Agents like Large Language Models [8.873319874424167]
  高次元感覚情報から複雑な3D環境下での行動訓練は困難である。 我々は、模倣学習エージェントの望ましくない振る舞いと、不整合大言語モデル(LLM)の不整合応答の類似性を描く。 トレーニングエージェントにこのアプローチをうまく適用するための洞察とアドバイスを提供しながら、希望するモードを一貫して実行できるようにエージェントを調整できることを実証する。
  論文  参考訳（メタデータ） (2024-06-06T16:05:45Z)
• Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning [50.47568731994238]
  人工知能(AI)エージェント作成の鍵となる方法は強化学習(RL)である 本稿では,構造化推論をAIエージェントのポリシーに統合し,学習するための一般的なフレームワークモデルを提案する。
  論文  参考訳（メタデータ） (2023-12-22T17:57:57Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Differential Assessment of Black-Box AI Agents [29.98710357871698]
  従来知られていたモデルから逸脱したブラックボックスAIエージェントを差分評価する手法を提案する。 我々は,漂流エージェントの現在の挙動と初期モデルの知識の疎度な観察を利用して,アクティブなクエリポリシーを生成する。 経験的評価は、エージェントモデルをスクラッチから再学習するよりも、我々のアプローチの方がはるかに効率的であることを示している。
  論文  参考訳（メタデータ） (2022-03-24T17:48:58Z)
• CausalCity: Complex Simulations with Agency for Causal Discovery and Reasoning [68.74447489372037]
  本稿では,因果探索と反事実推論のためのアルゴリズムの開発を目的とした,高忠実度シミュレーション環境を提案する。 私たちの作業の中核となるコンポーネントは、複雑なシナリオを定義して作成することが簡単になるような、テキストの緊急性を導入することです。 我々は3つの最先端の手法による実験を行い、ベースラインを作成し、この環境の可利用性を強調する。
  論文  参考訳（メタデータ） (2021-06-25T00:21:41Z)
• Learning What To Do by Simulating the Past [76.86449554580291]
  学習した特徴エンコーダと学習した逆モデルを組み合わせることで、エージェントが人間の行動を後方にシミュレートして、彼らがすべきことを推測できることを示す。 得られたアルゴリズムは、そのスキルに最適なポリシーから抽出された単一の状態を与えられたMuJoCo環境で特定のスキルを再現することができる。
  論文  参考訳（メタデータ） (2021-04-08T17:43:29Z)
• AGI Agent Safety by Iteratively Improving the Utility Function [0.0]
  本稿では,AGIエージェントのユーティリティ機能の反復的改善を支援するために,専用の入力端末を作成するAGIセーフティ層を提案する。 因果影響図(CID)にマッピングする作業が進行中であることを示す。 次に、既知の機械学習システムや将来のAGIレベルの学習システムに、安全層をラップする学習エージェントの設計を示す。
  論文  参考訳（メタデータ） (2020-07-10T14:30:56Z)
• What can I do here? A Theory of Affordances in Reinforcement Learning [65.70524105802156]
  我々はマルコフ決定過程の学習と計画を行うエージェントのための余裕の理論を開発する。 このケースでは、任意の状況で利用可能なアクションの数を減らすことで、アフォーダンスが二重の役割を担います。 本稿では,よりシンプルで一般化された遷移モデルを推定するために,余裕を学習し,それを利用するアプローチを提案する。
  論文  参考訳（メタデータ） (2020-06-26T16:34:53Z)
• Probing Emergent Semantics in Predictive Agents via Question Answering [29.123837711842995]
  近年の研究では、予測モデリングがエージェントに周囲の知識を豊富に与え、複雑な環境での行動能力を向上させる方法が示されている。 本稿では,そのようなエージェントがモデルを開発する表現をデコードし,理解するための一般的なパラダイムとして,質問応答を提案する。 質問応答デコーダからエージェントへの勾配をバックプロパゲートすることなく、それらの内部状態表現を合成的(英語)質問で探索する。
  論文  参考訳（メタデータ） (2020-06-01T15:27:36Z)
• Maximizing Information Gain in Partially Observable Environments via Prediction Reward [64.24528565312463]
  本稿では,深いRLエージェントに対する信念に基づく報酬の活用という課題に取り組む。 負のエントロピーと予測される予測報酬の正確な誤差を導出する。 この洞察は、予測報酬を用いたいくつかの分野の理論的動機を与える。
  論文  参考訳（メタデータ） (2020-05-11T08:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。