論文の概要: Action-Adaptive Continual Learning: Enabling Policy Generalization under Dynamic Action Spaces

• arxiv url: http://arxiv.org/abs/2506.05702v1
• Date: Fri, 06 Jun 2025 03:07:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.303734
• Title: Action-Adaptive Continual Learning: Enabling Policy Generalization under Dynamic Action Spaces
• Title（参考訳）: 行動適応型連続学習:動的行動空間下での政策一般化の実現
• Authors: Chaofan Pan, Jiafen Liu, Yanhua Li, Linbo Xiong, Fan Min, Wei Wei, Xin Yang,
• Abstract要約: 連続学習(CL)は、エージェントが一連のタスクを学習できる強力なツールである。 既存のCLメソッドは、エージェントの能力が動的環境の中で静的であると仮定することが多い。 本稿では,この課題に対処する行動適応型連続学習フレームワーク(AACL)を提案する。
• 参考スコア（独自算出の注目度）: 16.07372335607339
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual Learning (CL) is a powerful tool that enables agents to learn a sequence of tasks, accumulating knowledge learned in the past and using it for problem-solving or future task learning. However, existing CL methods often assume that the agent's capabilities remain static within dynamic environments, which doesn't reflect real-world scenarios where capabilities dynamically change. This paper introduces a new and realistic problem: Continual Learning with Dynamic Capabilities (CL-DC), posing a significant challenge for CL agents: How can policy generalization across different action spaces be achieved? Inspired by the cortical functions, we propose an Action-Adaptive Continual Learning framework (AACL) to address this challenge. Our framework decouples the agent's policy from the specific action space by building an action representation space. For a new action space, the encoder-decoder of action representations is adaptively fine-tuned to maintain a balance between stability and plasticity. Furthermore, we release a benchmark based on three environments to validate the effectiveness of methods for CL-DC. Experimental results demonstrate that our framework outperforms popular methods by generalizing the policy across action spaces.
• Abstract（参考訳）: 連続学習(CL)は、エージェントがタスクのシーケンスを学習し、過去に学んだ知識を蓄積し、問題解決や将来のタスク学習にそれを使うことのできる強力なツールである。 しかし、既存のCLメソッドは、エージェントの機能は動的環境内で静的であり、動的に機能を変更する現実世界のシナリオを反映していないと仮定することが多い。 本稿では、新しい現実的な問題として、CLエージェントにとって重要な課題である、CL-DC(Continuous Learning with Dynamic Capabilities)を紹介します。 本研究では,この課題に対処するための行動適応型連続学習フレームワーク(AACL)を提案する。 我々のフレームワークは、アクション表現空間を構築することによって、エージェントのポリシーを特定のアクション空間から切り離す。 新しいアクション空間において、動作表現のエンコーダ・デコーダは、安定性と可塑性のバランスを維持するために適応的に微調整される。 さらに,CL-DCの手法の有効性を検証するために,3つの環境に基づくベンチマークを作成した。 実験結果から,本フレームワークはアクション空間にまたがるポリシーを一般化することにより,一般的な手法よりも優れた性能を示すことが示された。

関連論文リスト

• Dynamic Manipulation of Deformable Objects in 3D: Simulation, Benchmark and Learning Strategy [88.8665000676562]
  従来の手法は、しばしば問題を低速または2D設定に単純化し、現実の3Dタスクに適用性を制限する。 データ不足を軽減するため、新しいシミュレーションフレームワークと、低次ダイナミクスに基づくベンチマークを導入する。 本研究では,シミュレーション前トレーニングと物理インフォームドテスト時間適応を統合するフレームワークであるDynamics Informed Diffusion Policy (DIDP)を提案する。
  論文  参考訳（メタデータ） (2025-05-23T03:28:25Z)
• COMBO-Grasp: Learning Constraint-Based Manipulation for Bimanual Occluded Grasping [56.907940167333656]
  集積ロボットグルーピングは、表面衝突などの環境制約により、所望のグルーピングポーズが運動的に不可能な場所である。 従来のロボット操作アプローチは、人間が一般的に使用する非包括的または双対的戦略の複雑さに苦しむ。 本稿では,2つの協調ポリシーを活用する学習ベースアプローチであるCOMBO-Grasp(Constraint-based Manipulation for Bimanual Occluded Grasping)を紹介する。
  論文  参考訳（メタデータ） (2025-02-12T01:31:01Z)
• Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
  CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。 実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
  論文  参考訳（メタデータ） (2024-11-18T08:20:21Z)
• DynaSaur: Large Language Agents Beyond Predefined Actions [108.75187263724838]
  既存のLLMエージェントシステムは、通常、各ステップで固定セットと事前定義されたセットからアクションを選択する。 動作を動的に生成・構成できるLLMエージェントフレームワークを提案する。 このフレームワークでは、汎用プログラミング言語で書かれたプログラムを生成し実行することで、エージェントが環境と対話する。
  論文  参考訳（メタデータ） (2024-11-04T02:08:59Z)
• HAZARD Challenge: Embodied Decision Making in Dynamically Changing Environments [93.94020724735199]
  HAZARDは、火災、洪水、風などの3つの予期せぬ災害シナリオで構成されている。 このベンチマークにより、さまざまなパイプラインで自律エージェントの意思決定能力を評価することができる。
  論文  参考訳（メタデータ） (2024-01-23T18:59:43Z)
• Action Pick-up in Dynamic Action Space Reinforcement Learning [6.15205100319133]
  我々は,新しいアクションセットからパフォーマンスを高める可能性が最も高い価値あるアクションを自律的に選択するための,インテリジェントなアクションピックアップ(AP)アルゴリズムを提案する。 本稿では,まず,事前の最適政策が有用な知識と経験を提供することで,行動ピックアップにおいて重要な役割を担っていることを理論的に分析し,発見する。 次に、周波数に基づくグローバルメソッドと、事前の最適ポリシーに基づく状態クラスタリングに基づくローカルメソッドの2つの異なるAPメソッドを設計する。
  論文  参考訳（メタデータ） (2023-04-03T10:55:16Z)
• Learning Routines for Effective Off-Policy Reinforcement Learning [0.0]
  このような制約を効果的に緩和する強化学習のための新しい枠組みを提案する。 我々のフレームワーク内では、エージェントは日常的な空間上で効果的な行動を学ぶ。 その結果,各エピソードごとの環境との相互作用を少なくしながら,関連するパフォーマンス改善が得られることがわかった。
  論文  参考訳（メタデータ） (2021-06-05T18:41:57Z)
• PLAS: Latent Action Space for Offline Reinforcement Learning [18.63424441772675]
  オフライン強化学習の目標は、環境とのさらなる相互作用なしに、固定データセットからポリシーを学ぶことである。 既存のオフプライシアルゴリズムでは、アウト・オブ・ディストリビューションアクションによる外挿エラーによる静的データセットのパフォーマンスが制限されている。 提案手法は,各種の連続制御タスクと異なる種類のデータセットに対して,一貫して競合性能を提供することを示す。
  論文  参考訳（メタデータ） (2020-11-14T03:38:38Z)
• ADAIL: Adaptive Adversarial Imitation Learning [11.270858993502705]
  本稿では,動的に変化する環境間で伝達可能な適応型ポリシーを学習するための適応型適応型適応模倣学習(ADAIL)アルゴリズムを提案する。 これはロボット学習において重要な問題であり,1)報酬関数の取得が困難であること,2)ドメイン統計を対象とするさまざまなソースによる学習方針の展開が困難であること,3)動的に知られ制御される複数の環境における専門家によるデモンストレーションの収集が不可能であること,などが挙げられる。
  論文  参考訳（メタデータ） (2020-08-23T06:11:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。