論文の概要: Transferable Delay-Aware Reinforcement Learning via Implicit Causal Graph Modeling

• arxiv url: http://arxiv.org/abs/2605.12312v1
• Date: Tue, 12 May 2026 15:58:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.991354
• Title: Transferable Delay-Aware Reinforcement Learning via Implicit Causal Graph Modeling
• Title（参考訳）: 帰納的因果グラフモデリングによる伝達型遅延認識強化学習
• Authors: Chenran Zhao, Dianxi Shi, Yaowen Zhang, Chunping Qiu, Shaowu Yang,
• Abstract要約: クロスタスクのシナリオでは、タスクの目的や報酬の定式化の変更により、以前に獲得したタスク知識の再利用性が低下する。 本稿では,暗黙の因果グラフモデリングに基づく転送可能な遅延認識強化学習手法を提案する。
• 参考スコア（独自算出の注目度）: 11.943568201005931
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Random delays weaken the temporal correspondence between actions and subsequent state feedback, making it difficult for agents to identify the true propagation process of action effects. In cross-task scenarios, changes in task objectives and reward formulations further reduce the reusability of previously acquired task knowledge. To address this problem, this paper proposes a transferable delay-aware reinforcement learning method based on implicit causal graph modeling. The proposed method uses a field-node encoder to represent high-dimensional observations as latent states with node-level semantics, and employs a message-passing mechanism to characterize dynamic causal dependencies among nodes, thereby learning transferable structured representations and environment dynamics knowledge. On this basis, imagination-driven behavior learning and planning are incorporated to optimize policies in the latent space, enabling cross-task knowledge transfer and rapid adaptation. Experimental results show that the proposed method outperforms baseline methods on DMC continuous control tasks with random delays. Cross-task transfer experiments further demonstrate that the learned structured representations and dynamics knowledge can be effectively transferred to new tasks and significantly accelerate policy adaptation.
• Abstract（参考訳）: ランダム遅延は、アクションとその後の状態フィードバックの間の時間的対応を弱め、エージェントがアクション効果の真の伝播過程を特定するのが困難になる。 クロスタスクのシナリオでは、タスクの目的や報酬の定式化の変更により、以前獲得したタスク知識の再利用性はさらに低下する。 この問題に対処するために,暗黙の因果グラフモデリングに基づく転送可能な遅延認識強化学習法を提案する。 提案手法では,高次元観測をノードレベルの意味を持つ潜在状態として表現するためにフィールドノードエンコーダを用い,ノード間の動的因果関係を特徴付けるメッセージパス機構を用いて,伝達可能な構造化表現と環境力学知識を学習する。 この基盤から、想像力による行動学習と計画が組み込まれ、潜在空間におけるポリシーを最適化し、クロスタスクな知識伝達と迅速な適応を可能にした。 実験結果から,提案手法はDMC連続制御タスクにおいて,ランダムな遅延を伴うベースライン法よりも優れていた。 さらに、クロスタスク転送実験により、学習された構造化された表現と動的知識が、新しいタスクに効果的に移行し、政策適応を著しく加速できることが示される。

関連論文リスト

• Learning from Imperfect Demonstrations via Temporal Behavior Tree-Guided Trajectory Repair [5.4872967954342675]
  デモからロボット制御ポリシーを学ぶことは強力なパラダイムだが、現実のデータはしばしば最適でない、うるさい、あるいは不完全である。 本稿では,下流政策学習に使用される前に,時間的行動木(TBT)を用いて最適下方軌道を修復する形式的枠組みを提案する。 本稿では,このフレームワークが分散グリッドワールドナビゲーションおよび連続的単一・複数エージェントリーチ回避タスクに有効であることを示す。
  論文  参考訳（メタデータ） (2026-04-05T18:49:45Z)
• F2F-AP: Flow-to-Future Asynchronous Policy for Real-time Dynamic Manipulation [62.06267255986041]
  非同期推論はロボット操作における主要なパラダイムとして現れている。 本稿では,予測対象の流れを利用して将来の観測を合成する新しい枠組みを提案する。 本手法は複雑な動的操作タスクにおける応答性と成功率を大幅に向上させる。
  論文  参考訳（メタデータ） (2026-04-02T17:57:15Z)
• Dynamic Prompt Fusion for Multi-Task and Cross-Domain Adaptation in LLMs [2.852258765983155]
  本研究では,動的プロンプトスケジューリング機構を備えたマルチタスク学習フレームワークを提案する。 これにより、タスク間のセマンティックな違いをキャプチャするモデルの能力が向上する。 重みをスケジューリングするための自動学習戦略が組み込まれており、タスクの干渉や負の転送を効果的に軽減する。
  論文  参考訳（メタデータ） (2025-09-09T23:42:16Z)
• FAST: Similarity-based Knowledge Transfer for Efficient Policy Learning [57.4737157531239]
  Transfer Learningは、タスク間で知識を伝達することで学習を加速する能力を提供する。 これは、負の転送、ドメイン適応、ソリッドソースポリシーの選択における非効率といった重要な課題に直面します。 本研究では,知識伝達の改善,タスク間のパフォーマンスの促進,計算コストの削減など,TLの課題に挑戦する。
  論文  参考訳（メタデータ） (2025-07-27T22:21:53Z)
• Enhancing Cross-task Transfer of Large Language Models via Activation Steering [75.41750053623298]
  クロスタスク・イン・コンテキスト学習はタスク間で知識を伝達する直接的なソリューションを提供する。 パラメータ更新や入力拡張を伴わずに、潜時空間ステアリングによりクロスタスク転送を実現することができるかを検討する。 本稿では,モデルの内部アクティベーション状態を操作することで,効率的な転送を可能にするクロスタスク・アクティベーション・ステアリング・トランスファー・フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-17T15:47:22Z)
• Amortized Network Intervention to Steer the Excitatory Point Processes [8.15558505134853]
  動的グラフ上に発生する励起点過程(すなわちイベントフロー)は、時間と空間を通じて離散事象がどのように広がるかを把握するためのきめ細かいモデルを提供する。 動的グラフ構造を変更してイベントフローを効果的に操縦する方法は、感染症の拡散を抑制する動機となる興味深い問題である。 我々はAmortized Network Interventionsフレームワークを設計し、履歴やその他のコンテキストから最適なポリシーをプールできるようにする。
  論文  参考訳（メタデータ） (2023-10-06T11:17:28Z)
• Interpretable Imitation Learning with Dynamic Causal Relations [65.18456572421702]
  得られた知識を有向非巡回因果グラフの形で公開することを提案する。 また、この因果発見プロセスを状態依存的に設計し、潜在因果グラフのダイナミクスをモデル化する。 提案するフレームワークは,動的因果探索モジュール,因果符号化モジュール,予測モジュールの3つの部分から構成され,エンドツーエンドで訓練される。
  論文  参考訳（メタデータ） (2023-09-30T20:59:42Z)
• Generalization in Visual Reinforcement Learning with the Reward Sequence Distribution [98.67737684075587]
  部分的に観察されたマルコフ決定過程(POMDP)の一般化は視覚強化学習(VRL)の成功に不可欠である 開始観測に基づく報酬系列分布と事前定義された後続行動系列(RSD-OA)を提案する。 実験により, RSD-OAに基づく表現学習手法は, 目に見えない環境における一般化性能を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-02-19T15:47:24Z)
• Delayed Reinforcement Learning by Imitation [31.932677462399468]
  遅延しない実演から遅延環境での動作方法を学ぶ新しいアルゴリズムを提案する。 各種タスクにおいて,DIDAは顕著なサンプル効率で高い性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-05-11T15:27:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。