論文の概要: Fine-Grained Causal Dynamics Learning with Quantization for Improving Robustness in Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2406.03234v1
- Date: Wed, 5 Jun 2024 13:13:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 18:20:44.066843
- Title: Fine-Grained Causal Dynamics Learning with Quantization for Improving Robustness in Reinforcement Learning
- Title（参考訳）: 強化学習におけるロバスト性向上のための量子化による微粒因果ダイナミクス学習
- Authors: Inwoo Hwang, Yunhyeok Kwak, Suhyung Choi, Byoung-Tak Zhang, Sanghack Lee,
- Abstract要約: 因果ダイナミクス学習は、強化学習における堅牢性を高めるための有望なアプローチである。
本稿では,微粒な因果構造を推定し,それらを予測に利用する新しいモデルを提案する。
- 参考スコア（独自算出の注目度）: 26.34622544479565
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Causal dynamics learning has recently emerged as a promising approach to enhancing robustness in reinforcement learning (RL). Typically, the goal is to build a dynamics model that makes predictions based on the causal relationships among the entities. Despite the fact that causal connections often manifest only under certain contexts, existing approaches overlook such fine-grained relationships and lack a detailed understanding of the dynamics. In this work, we propose a novel dynamics model that infers fine-grained causal structures and employs them for prediction, leading to improved robustness in RL. The key idea is to jointly learn the dynamics model with a discrete latent variable that quantizes the state-action space into subgroups. This leads to recognizing meaningful context that displays sparse dependencies, where causal structures are learned for each subgroup throughout the training. Experimental results demonstrate the robustness of our method to unseen states and locally spurious correlations in downstream tasks where fine-grained causal reasoning is crucial. We further illustrate the effectiveness of our subgroup-based approach with quantization in discovering fine-grained causal relationships compared to prior methods.
- Abstract（参考訳）: 近年,強化学習(RL)における強靭性向上に期待できるアプローチとして,因果ダイナミクス学習が登場している。
通常、ゴールは、エンティティ間の因果関係に基づいて予測を行う動的モデルを構築することである。
因果関係は特定の文脈下でのみ現れることが多いという事実にもかかわらず、既存のアプローチはそのようなきめ細かい関係を見落とし、ダイナミクスの詳細な理解を欠いている。
本研究では, 微粒な因果構造を推算し, 予測に用いる新しい力学モデルを提案する。
鍵となる考え方は、状態-作用空間を部分群に量子化する離散潜在変数でダイナミクスモデルを共同で学習することである。
これにより、トレーニングを通して各サブグループについて因果構造が学習されるスパース依存関係を表示する意味のあるコンテキストが認識される。
実験結果から, 微粒な因果推論が重要となる下流タスクにおいて, 本手法の未確認状態に対するロバスト性, 局所的な急激な相関性を示す。
さらに,従来の手法と比較して微粒な因果関係の発見における量子化による部分群ベースアプローチの有効性について述べる。
関連論文リスト
- Revisiting Spurious Correlation in Domain Generalization [12.745076668687748]
データ生成プロセスにおける因果関係を記述するために,構造因果モデル(SCM)を構築した。
さらに、スプリアス相関に基づくメカニズムを徹底的に分析する。
そこで本研究では,OOD一般化における共起バイアスの制御について,相対性スコア重み付き推定器を導入して提案する。
論文 参考訳（メタデータ） (2024-06-17T13:22:00Z) - Learning by Doing: An Online Causal Reinforcement Learning Framework
with Causal-Aware Policy [40.33036146207819]
我々は、図形因果モデルを用いて、状態の生成過程を明示的にモデル化することを検討する。
我々は、環境のアクティブな介入学習とRL相互作用プロセスに更新する因果構造を定式化する。
論文 参考訳（メタデータ） (2024-02-07T14:09:34Z) - Multi-modal Causal Structure Learning and Root Cause Analysis [67.67578590390907]
根本原因局所化のためのマルチモーダル因果構造学習手法であるMulanを提案する。
ログ選択言語モデルを利用してログ表現学習を行い、ログシーケンスを時系列データに変換する。
また、モダリティの信頼性を評価し、最終因果グラフを共同学習するための新しいキーパフォーマンスインジケータ対応アテンション機構も導入する。
論文 参考訳（メタデータ） (2024-02-04T05:50:38Z) - Rationale-Enhanced Language Models are Better Continual Relation
Learners [29.311298089285753]
連続的関係抽出(CRE)は,新たに出現する関係の系列を学習する際に,破滅的な忘れを解くことを目的としている。
最近のCRE研究では、将来の類似関係に対する堅牢性の欠如から破滅的な忘れが生じることが示されている。
論文 参考訳（メタデータ） (2023-10-10T11:50:27Z) - Towards Causal Foundation Model: on Duality between Causal Inference and Attention [18.046388712804042]
治療効果推定のための因果認識基盤モデルの構築に向けて第一歩を踏み出す。
我々はCInA(Causal Inference with Attention)と呼ばれる新しい理論的に正当化された手法を提案する。
論文 参考訳（メタデータ） (2023-10-01T22:28:34Z) - Interpretable Imitation Learning with Dynamic Causal Relations [65.18456572421702]
得られた知識を有向非巡回因果グラフの形で公開することを提案する。
また、この因果発見プロセスを状態依存的に設計し、潜在因果グラフのダイナミクスをモデル化する。
提案するフレームワークは,動的因果探索モジュール,因果符号化モジュール,予測モジュールの3つの部分から構成され,エンドツーエンドで訓練される。
論文 参考訳（メタデータ） (2023-09-30T20:59:42Z) - Causal reasoning in typical computer vision tasks [11.95181390654463]
因果理論は、データバイアスの影響を受けない本質的な因果構造をモデル化し、突発的な相関を避けるのに有効である。
本稿では,一般的な視覚・視覚言語タスクにおける既存の因果的手法(セグメンテーション,オブジェクト検出,画像キャプションなど)を包括的にレビューすることを目的とする。
今後のロードマップも提案され、因果論の開発と他の複雑なシーンやシステムへの応用が促進される。
論文 参考訳（メタデータ） (2023-07-26T07:01:57Z) - Causal Dynamics Learning for Task-Independent State Abstraction [61.707048209272884]
タスク独立状態抽象化(CDL)のための因果ダイナミクス学習を導入する。
CDLは、状態変数とアクションの間の不要な依存関係を取り除く理論的に証明された因果ダイナミクスモデルを学ぶ。
状態抽象化は、学習されたダイナミクスから導き出すことができる。
論文 参考訳（メタデータ） (2022-06-27T17:02:53Z) - Learning Neural Causal Models with Active Interventions [83.44636110899742]
本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。
本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。
シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
論文 参考訳（メタデータ） (2021-09-06T13:10:37Z) - High-order Semantic Role Labeling [86.29371274587146]
本稿では,ニューラルセマンティックロールラベリングモデルのための高階グラフ構造を提案する。
これにより、モデルは孤立述語-引数対だけでなく、述語-引数対間の相互作用も明示的に考慮することができる。
CoNLL-2009ベンチマークの7つの言語に対する実験結果から、高次構造学習技術は強力なSRLモデルに有益であることが示された。
論文 参考訳（メタデータ） (2020-10-09T15:33:54Z) - Developing Constrained Neural Units Over Time [81.19349325749037]
本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。
ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。
提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
論文 参考訳（メタデータ） (2020-09-01T09:07:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。