論文の概要: Interpretability in Action: Exploratory Analysis of VPT, a Minecraft Agent

• arxiv url: http://arxiv.org/abs/2407.12161v1
• Date: Tue, 16 Jul 2024 20:38:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 19:08:36.830045
• Title: Interpretability in Action: Exploratory Analysis of VPT, a Minecraft Agent
• Title（参考訳）: 行動の解釈可能性:マインクラフトエージェントVPTの探索分析
• Authors: Karolis Jucys, George Adamopoulos, Mehrab Hamidi, Stephanie Milani, Mohammad Reza Samsami, Artem Zholus, Sonia Joseph, Blake Richards, Irina Rish, Özgür Şimşek,
• Abstract要約: Video PreTraining (VPT) マインクラフトプレイングエージェントは、オープンソースのビジョンベースのエージェントの1つだ。 エージェントがトレーニングタスクを完了している間の注意機構を解析し,ダイヤモンドピックアックスを製作する。 私たちは様々な介入を行い、ゴールの誤一般化の懸念事例を明らかにするのに役立ちます。
• 参考スコア（独自算出の注目度）: 9.320308114326494
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the mechanisms behind decisions taken by large foundation models in sequential decision making tasks is critical to ensuring that such systems operate transparently and safely. In this work, we perform exploratory analysis on the Video PreTraining (VPT) Minecraft playing agent, one of the largest open-source vision-based agents. We aim to illuminate its reasoning mechanisms by applying various interpretability techniques. First, we analyze the attention mechanism while the agent solves its training task - crafting a diamond pickaxe. The agent pays attention to the last four frames and several key-frames further back in its six-second memory. This is a possible mechanism for maintaining coherence in a task that takes 3-10 minutes, despite the short memory span. Secondly, we perform various interventions, which help us uncover a worrying case of goal misgeneralization: VPT mistakenly identifies a villager wearing brown clothes as a tree trunk when the villager is positioned stationary under green tree leaves, and punches it to death.
• Abstract（参考訳）: 意思決定タスクにおける大規模基盤モデルによる意思決定の背後にあるメカニズムを理解することは、そのようなシステムが透過的かつ安全に動作することを保証するために重要である。 本研究では,最大規模のオープンソースビジョンベースエージェントである Video PreTraining (VPT) Minecraft プレイエージェントについて探索分析を行った。 我々は,様々な解釈可能性技術を適用して,その推論機構を照らし出すことを目的とする。 まず、エージェントがトレーニングタスクを完了している間の注意機構を分析し、ダイヤモンドピックアックスを製作する。 エージェントは6秒のメモリで最後の4フレームといくつかのキーフレームに注意を払っている。 これは、メモリが短いにもかかわらず、3～10分かかるタスクでコヒーレンスを維持するためのメカニズムである。 第2に,我々は様々な介入を行い,目標誤一般化の懸念事例を明らかにするのに役立つ。VPTは,緑葉の葉の下に静止しているときに,茶色の服を着ている村人を誤って木の幹として特定し,それを打倒する。

関連論文リスト

• Why the Agent Made that Decision: Explaining Deep Reinforcement Learning with Vision Masks [11.068220265247385]
  VisionMaskは、エージェントの視覚入力における最も重要な領域を特定するために、エンドツーエンドで訓練されたスタンドアロンの説明モデルである。 挿入精度は14.9%、F1スコアは30.08%向上し、選択された視覚的説明から元のアクションを再現する。
  論文  参考訳（メタデータ） (2024-11-25T06:11:46Z)
• Exploration and Persuasion [58.87314871998078]
  我々は、自己関心のあるエージェントが利用したいときの探索にインセンティブを与える方法を示す。 不確実性の下で決定を下す利己的なエージェントの集団を考える。 彼らは新しい情報を取得し、良い決定を下すためにこの情報を「発見」する。 これは、探査が費用がかかるためであるが、将来多くのエージェントにその利点が広がるためである。
  論文  参考訳（メタデータ） (2024-10-22T15:13:13Z)
• DeTra: A Unified Model for Object Detection and Trajectory Forecasting [68.85128937305697]
  提案手法は,2つのタスクの結合を軌道修正問題として定式化する。 この統合タスクに対処するために、オブジェクトの存在, ポーズ, マルチモーダルな将来の振る舞いを推測する精細化変換器を設計する。 実験では、我々のモデルはArgoverse 2 Sensor and Openデータセットの最先端性よりも優れています。
  論文  参考訳（メタデータ） (2024-06-06T18:12:04Z)
• Monte-Carlo Tree Search for Multi-Agent Pathfinding: Preliminary Results [60.4817465598352]
  マルチエージェントパスフィンディングに適したモンテカルロ木探索(MCTS)のオリジナル版を紹介する。 具体的には,エージェントの目標達成行動を支援するために,個別の経路を用いる。 また,木探索手順の分岐係数を低減するために,専用の分解手法を用いる。
  論文  参考訳（メタデータ） (2023-07-25T12:33:53Z)
• H-SAUR: Hypothesize, Simulate, Act, Update, and Repeat for Understanding Object Articulations from Interactions [62.510951695174604]
  The Hypothesize, Simulate, Act, Update, and Repeat (H-SAUR) is a probabilistic generative framework that generated hypotheses about objects articulate given input observed。 提案手法は,現在最先端のオブジェクト操作フレームワークよりも優れていることを示す。 我々は、学習に基づく視覚モデルから学習前の学習を統合することにより、H-SAURのテスト時間効率をさらに向上する。
  論文  参考訳（メタデータ） (2022-10-22T18:39:33Z)
• EgoTaskQA: Understanding Human Tasks in Egocentric Videos [89.9573084127155]
  EgoTaskQAベンチマークは、現実世界のエゴセントリックなビデオに対する質問回答を通じて、タスク理解の重要な次元を提供する。 我々は,(1)行動依存と効果,(2)意図と目標,(3)エージェントの他者に対する信念の理解を念頭に設計する。 我々は、我々のベンチマークで最先端のビデオ推論モデルを評価し、複雑なゴール指向のエゴセントリックなビデオを理解する上で、人間の間に大きなギャップがあることを示します。
  論文  参考訳（メタデータ） (2022-10-08T05:49:05Z)
• Active Inference for Robotic Manipulation [30.692885688744507]
  アクティブ推論(英: Active Inference)は、部分的に可観測性を扱う理論である。 本研究では,ロボット操作作業のシミュレーションにActive Inferenceを適用した。 アクティブ推論によって引き起こされる情報探索行動により,エージェントはこれらの難易度の高い環境を体系的に探索できることを示す。
  論文  参考訳（メタデータ） (2022-06-01T12:19:38Z)
• Pessimism meets VCG: Learning Dynamic Mechanism Design via Offline Reinforcement Learning [114.36124979578896]
  オフライン強化学習アルゴリズムを用いて動的メカニズムを設計する。 我々のアルゴリズムは悲観主義の原理に基づいており、オフラインデータセットのカバレッジについて軽度な仮定しか必要としない。
  論文  参考訳（メタデータ） (2022-05-05T05:44:26Z)
• Visual Explanation using Attention Mechanism in Actor-Critic-based Deep Reinforcement Learning [9.49864824780503]
  A3C (Asynchronous Advantage Actor-Critic) に注意機構を導入するMask-Attention A3C (Mask A3C) を提案する。 A3Cは、画像から特徴を抽出する特徴抽出器と、ポリシーを出力するポリシーブランチと、状態値を出力する値ブランチとから構成される。 Atari 2600のゲーム用のマスクアテンションマップを視覚化し、エージェントの意思決定の背後にある理由を簡単に分析できることを発見しました。
  論文  参考訳（メタデータ） (2021-03-06T08:38:12Z)
• Causal Analysis of Agent Behavior for AI Safety [16.764915383473326]
  人工エージェントの行動を促す因果メカニズムを解明するための方法論を提案する。 6つのユースケースをカバーし、アナリストがエージェントについて尋ねる典型的な質問にそれぞれ対処します。
  論文  参考訳（メタデータ） (2021-03-05T20:51:12Z)
• Learning and Strongly Truthful Multi-Task Peer Prediction: A Variational Approach [8.932080210400535]
  我々は、レポートのペアをスコアにマッピングするスコア関数を持つメカニズムのファミリーを設計する。 異なる種類の先行作業に必要なタスク数に対して、適切な境界を導出する方法を示す。 これはマルチタスク設定用に設計された連続信号に対する最初のピア予測機構である。
  論文  参考訳（メタデータ） (2020-09-30T15:09:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。