論文の概要: Temporal-Spatial Causal Interpretations for Vision-Based Reinforcement
Learning
- arxiv url: http://arxiv.org/abs/2112.03020v1
- Date: Mon, 6 Dec 2021 13:24:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-07 17:12:49.767115
- Title: Temporal-Spatial Causal Interpretations for Vision-Based Reinforcement
Learning
- Title（参考訳）: 視覚に基づく強化学習のための時間空間因果解釈
- Authors: Wenjie Shi, Gao Huang, Shiji Song, Cheng Wu
- Abstract要約: 本稿では,エージェントの長期的行動を理解するために,時間空間因果解釈(TSCI)モデルを提案する。
TSCIモデルは,タスク関連時間空間情報を強調するために,高分解能かつ鋭い注意マスクを生成することができることを示す。
- 参考スコア（独自算出の注目度）: 45.77486829658102
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep reinforcement learning (RL) agents are becoming increasingly proficient
in a range of complex control tasks. However, the agent's behavior is usually
difficult to interpret due to the introduction of black-box function, making it
difficult to acquire the trust of users. Although there have been some
interesting interpretation methods for vision-based RL, most of them cannot
uncover temporal causal information, raising questions about their reliability.
To address this problem, we present a temporal-spatial causal interpretation
(TSCI) model to understand the agent's long-term behavior, which is essential
for sequential decision-making. TSCI model builds on the formulation of
temporal causality, which reflects the temporal causal relations between
sequential observations and decisions of RL agent. Then a separate causal
discovery network is employed to identify temporal-spatial causal features,
which are constrained to satisfy the temporal causality. TSCI model is
applicable to recurrent agents and can be used to discover causal features with
high efficiency once trained. The empirical results show that TSCI model can
produce high-resolution and sharp attention masks to highlight task-relevant
temporal-spatial information that constitutes most evidence about how
vision-based RL agents make sequential decisions. In addition, we further
demonstrate that our method is able to provide valuable causal interpretations
for vision-based RL agents from the temporal perspective.
- Abstract（参考訳）: 深層強化学習(RL)エージェントは、様々な複雑な制御タスクにおいて、ますます熟練している。
しかし,ブラックボックス機能の導入によりエージェントの動作を解釈することは困難であり,ユーザの信頼を得ることは困難である。
視覚に基づくRLには興味深い解釈方法がいくつかあるが、その多くは時間的因果情報を明らかにすることができず、信頼性に関する疑問が提起されている。
そこで本研究では,エージェントの長期行動を理解するための時間空間因果解釈(tsci)モデルを提案する。
TSCIモデルは、シーケンシャルな観察とRLエージェントの決定の間の時間的因果関係を反映した時間的因果関係の定式化に基づいている。
次に、時間的因果性を満たすために制約される時間的空間的因果特徴を特定するために、別の因果発見ネットワークが使用される。
TSCIモデルはリカレントエージェントに適用可能であり、訓練後、高い効率で因果的特徴を発見できる。
実験結果から,TSCIモデルは高分解能かつ鋭い注意マスクを生成でき,視覚に基づくRLエージェントのシーケンシャルな決定方法に関するほとんどの証拠を構成するタスク関連時間空間情報を強調することができることがわかった。
さらに,本手法は時間的視点から,視覚ベースのrlエージェントに対して有用な因果解釈を提供できることを示す。
関連論文リスト
- Large Language Models for Constrained-Based Causal Discovery [4.858756226945995]
因果関係は経済、脳、気候といった複雑なシステムを理解するのに不可欠である。
この研究は、因果グラフ生成のためのドメインエキスパートの代替として、LLM(Large Language Models)の能力を探求する。
論文 参考訳（メタデータ） (2024-06-11T15:45:24Z) - On the Identification of Temporally Causal Representation with Instantaneous Dependence [50.14432597910128]
時間的因果表現学習は時系列観測から潜在因果過程を特定することを目的としている。
ほとんどの方法は、潜在因果過程が即時関係を持たないという仮定を必要とする。
我々は,インスタントtextbfOus textbfLatent dynamics のための textbfIDentification フレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-24T08:08:05Z) - Sim-to-Real Causal Transfer: A Metric Learning Approach to
Causally-Aware Interaction Representations [62.48505112245388]
エージェント相互作用の現代的表現の因果認識を詳細に検討する。
近年の表現は、非因果剤の摂動に対して部分的に耐性があることが示されている。
因果アノテーションを用いた潜在表現を正規化するための計量学習手法を提案する。
論文 参考訳（メタデータ） (2023-12-07T18:57:03Z) - Causal Representation Learning Made Identifiable by Grouping of Observational Variables [8.157856010838382]
因果表現学習(Causal Representation Learning)は、データ駆動型で隠れた機能の因果モデルを学ぶことを目的としている。
ここでは、新規で弱い制約に基づく識別可能性を示す。
また,モデルに整合した新たな自己教師付き推定フレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-24T10:38:02Z) - TC-LIF: A Two-Compartment Spiking Neuron Model for Long-Term Sequential
Modelling [54.97005925277638]
潜在的な可能性や危険に関連する感覚的手がかりの同定は、長期間の遅延によって有用な手がかりを分離する無関係な事象によってしばしば複雑になる。
SNN(State-of-the-art spiking Neural Network)は、遠方のキュー間の長期的な時間的依存関係を確立する上で、依然として困難な課題である。
そこで本研究では,T-LIFとよばれる,生物学的にインスパイアされたTwo-compartment Leaky Integrate- and-Fireのスパイキングニューロンモデルを提案する。
論文 参考訳（メタデータ） (2023-08-25T08:54:41Z) - TC-GAT: Graph Attention Network for Temporal Causality Discovery [6.974417592057705]
因果関係はしばしば時間的要素と絡み合っており、原因から効果への進行は瞬間的ではなく、時間的次元において収束している。
本稿では,時間的・因果関係を統合したテキストから因果関係を抽出する手法を提案する。
本稿では,時間的関係に重みを割り当てるグラフアテンション機構を採用し,因果知識グラフを利用して隣接行列を決定する新しいモデルTC-GATを提案する。
論文 参考訳（メタデータ） (2023-04-21T02:26:42Z) - DOMINO: Visual Causal Reasoning with Time-Dependent Phenomena [59.291745595756346]
本研究では,時間遅延のウィンドウに関連する因果関係の発見に人間が参加できる視覚分析手法を提案する。
具体的には、論理に基づく因果関係の確立した手法を活用し、分析者が潜在的な原因の重要性を検証できるようにする。
効果は他の効果の原因となりうるので,本手法で検出した時間的要因と効果の関係を視覚フロー図にまとめることができる。
論文 参考訳（メタデータ） (2023-03-12T03:40:21Z) - ACRE: Abstract Causal REasoning Beyond Covariation [90.99059920286484]
因果誘導における現在の視覚システムの系統的評価のための抽象因果分析データセットについて紹介する。
Blicket実験における因果発見の研究の流れに触発され、独立シナリオと介入シナリオのいずれにおいても、以下の4種類の質問で視覚的推論システムに問い合わせる。
純粋なニューラルモデルは確率レベルのパフォーマンスの下で連想戦略に向かう傾向があるのに対し、ニューロシンボリックな組み合わせは後方ブロッキングの推論に苦しむ。
論文 参考訳（メタデータ） (2021-03-26T02:42:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。