論文の概要: Agent Priors-guided Policy Learning

• arxiv url: http://arxiv.org/abs/2609.35690v1
• Date: Mon, 28 Sep 2026 17:37:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 19:37:51.733143
• Title: Agent Priors-guided Policy Learning
• Title（参考訳）: エージェント優先型政策学習
• Abstract要約: エージェント優先型政策学習(APPL) APPLはアウト・オブ・ディストリビューションスキルの一般化を改善し、これまで見つからなかったスキルの合成を可能にする。 結果は、スキル学習とスキル構成の橋渡しとして、トレーニング時間構造仮定の使用を支援する。
• 参考スコア（独自算出の注目度）: 9.903333008865369
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robots that learn from a few demonstrations often require two forms of generalization. Compositional generalization recombines skills to solve new tasks, and skill generalization lets the learned policy behind each skill work in new situations. The two depend on each other, yet information is lost between composition and the skills it calls. Where a skill works is determined by the structure its policy is trained with, while composition sees the skill only through a separate description, such as a name, an instruction, or a symbolic operator, that omits this structure. Our key idea is to use each policy's structural prior as part of the interface between composition and the skill. A structural prior states what a behavior depends on, for example that a grasp depends only on the gripper's pose relative to the object. Built into training, it shapes where the policy generalizes; stated in language, it tells composition where the policy applies. We instantiate this idea in Agent Priors-guided Policy Learning (APPL). A construction agent segments complete demonstrations into reusable skills, proposes several structural priors for each skill, and trains and verifies one policy per prior. A runtime agent then selects among these prior-specific policies and composes them toward new task goals using their interfaces. Across MetaWorld and long-horizon ManiSkill tasks, APPL improves out-of-distribution skill generalization and enables previously unseen skill compositions; ablating the interface information substantially reduces performance. These results support the use of training-time structural assumptions as a bridge between skill learning and skill composition.
• Abstract（参考訳）: いくつかのデモから学ぶロボットは、しばしば2種類の一般化を必要とする。 構成的一般化は、新しいタスクを解決するためにスキルを再結合し、スキル一般化は、学習した各スキルの背後にあるポリシーを新しい状況で働かせるようにする。 両者は互いに依存するが、構成とそれが呼ぶスキルの間には情報が失われる。 スキルの動作が、そのポリシーがトレーニングされる構造によって決定される一方で、構成は、この構造を省略する名前、命令、記号演算子といった別の記述によってのみ、スキルが認識される。 私たちのキーとなる考え方は、構成とスキルのインターフェースの一部として、それぞれのポリシの構造的事前を使用することです。 例えば、グリップは、オブジェクトに対するグリップのポーズにのみ依存する。 訓練のために構築され、政策が一般化する場所を形作り、言語で述べられたように、政策が適用される場所の組成を示す。 我々は,エージェント優先型政策学習(APPL)において,このアイデアをインスタンス化する。 建設業者は、完全なデモンストレーションを再利用可能なスキルに分割し、各スキルに対していくつかの構造的な事前提案を行い、事前に1つのポリシーを立証する。 ランタイムエージェントは、これらのプリミティブポリシーの中から選択し、インターフェースを使用して新しいタスク目標に向けて構成する。 MetaWorld と long-horizon ManiSkill タスク全体で、APPL はアウト・オブ・ディストリビューションスキルの一般化を改善し、以前は目に見えないスキル構成を可能にする。 これらの結果は、スキル学習とスキル構成の橋渡しとして、トレーニング時間構造仮定の使用を支援する。

関連論文リスト

• Generative Skill Composition for LLM Agents [58.47191648555256]
  LLMエージェントは複雑なタスクを解決するためのスキルの恩恵を受ける。 スキルライブラリが成長するにつれて、適切なスキル構成を選択することが中心的なボトルネックとして現れている。 本稿では,タスク条件付きスキルシーケンス予測として構造化されたスキルコンポジションをインスタンス化するSkillComposerを提案する。
  論文  参考訳（メタデータ） (2026-06-30T17:53:09Z)
• SkillComposer: Learning to Evolve Agent Skills for Specification and Generalization [99.18305770138677]
  エージェントスキルは、エージェントの推論とアクションをガイドする再利用可能な戦略である。 現在の技術構築手法は、問題を一発抽出として扱う。 本稿では,スキル構築を3つの学習可能な操作に分解するフレームワークであるSkillComposerを紹介する。
  論文  参考訳（メタデータ） (2026-06-04T12:16:08Z)
• SkillGraph: Skill-Augmented Reinforcement Learning for Agents via Evolving Skill Graphs [70.1970574147839]
  有向グラフのノードとして再利用可能なスキルを表現するフレームワークであるSKILLGRAPHを提案する。 SKILLGRAPHは個々のスキルだけでなく、多段階意思決定をガイドできる順序付きスキルサブグラフも取得する。 実験により,SKILLGRAPHはメモリ拡張RL法に対して最先端の性能を実現することが示された。
  論文  参考訳（メタデータ） (2026-05-12T12:21:49Z)
• From Skill Text to Skill Structure: The Scheduling-Structural-Logical Representation for Agent Skills [5.327990835740087]
  スケジューリング-構造論理(SSL)表現は、スキルレベルのスケジューリング信号、シーンレベルの実行構造、ロジックレベルのアクション/リソース使用エビデンスを歪めます。 SSL を LLM ベースの正規化器でインスタンス化し,SSL 由来の表現をスキル発見とリスク評価という2つのタスクで評価する。
  論文  参考訳（メタデータ） (2026-04-27T04:25:15Z)
• SpawnNet: Learning Generalizable Visuomotor Skills from Pre-trained Networks [52.766795949716986]
  本稿では,事前学習した視覚表現のカテゴリレベルでの一般化能力について検討する。 本研究では,事前学習した多層表現を独立したネットワークに融合させて,ロバストなポリシーを学習する,新しい2ストリームアーキテクチャSpawnNetを提案する。
  論文  参考訳（メタデータ） (2023-07-07T13:01:29Z)
• Creating Multi-Level Skill Hierarchies in Reinforcement Learning [0.0]
  エージェントと環境との相互作用がどのように展開されるかのグラフィカルな表現に基づく回答を提案する。 提案手法では,多段階の抽象化で相互作用グラフの構造を明らかにするための中心的な組織原理として,モジュラリティ最大化を用いる。
  論文  参考訳（メタデータ） (2023-06-16T17:23:49Z)
• Policy Architectures for Compositional Generalization in Control [71.61675703776628]
  本稿では,タスクにおけるエンティティベースの構成構造をモデル化するためのフレームワークを提案する。 私たちのポリシーは柔軟で、アクションプリミティブを必要とせずにエンドツーエンドでトレーニングできます。
  論文  参考訳（メタデータ） (2022-03-10T06:44:24Z)
• Constructing a Good Behavior Basis for Transfer using Generalized Policy Updates [63.58053355357644]
  そこで我々は,優れた政策集合を学習する問題を考察し,組み合わせることで,目に見えない多種多様な強化学習タスクを解くことができることを示した。 理論的には、独立したポリシーのセットと呼ぶ、特定の多様なポリシーのセットにアクセスできることによって、ハイレベルなパフォーマンスを即時に達成できることが示される。
  論文  参考訳（メタデータ） (2021-12-30T12:20:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。