論文の概要: Learning Generalizable Skill Policy with Data-Efficient Unsupervised RL

• arxiv url: http://arxiv.org/abs/2607.00392v1
• Date: Wed, 01 Jul 2026 03:34:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-02 19:56:07.705821
• Title: Learning Generalizable Skill Policy with Data-Efficient Unsupervised RL
• Title（参考訳）: データ効率のよい教師なしRLによる汎用スキルポリシーの学習
• Abstract要約: 我々は、堅牢な教師なし強化学習のための統一的なフレームワークGenDaを提案する。 まず,非定常性を緩和するスキルレバーベリング機構を導入する。 第二に、学習スキルポリシーがエゴ中心の機能に重点を置くことを奨励する補完的情報ボトルネック(CIB)を提案する。
• 参考スコア（独自算出の注目度）: 7.80766284546658
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unsupervised Reinforcement Learning (URL) aims to pre-train scalable, skill-conditioned policies without extrinsic rewards, serving as a foundation for downstream control tasks. Despite recent progress, we argue that current off-policy URL methods are limited by two critical, overlooked bottlenecks: (1) non-stationary skill semantics and (2) brittle generalization. To address these challenges, we propose GenDa (Generalizable Data-efficient Agent), a unified framework for robust unsupervised reinforcement learning. First, we introduce a skill relabeling mechanism to mitigate non-stationarity and significantly improve data efficiency for pre-training. Second, we propose a Complementary Information Bottleneck (CIB), encouraging the learned skill policy to focus on ego-centric features and become robust to distribution shifts for downstream tasks. Through various experiments, we demonstrate that GenDa significantly enhances the scalability of URL with superior generalizability and data efficiency. Our code and videos are available at https://ihatebroccoli.github.io/official-GenDa.
• Abstract（参考訳）: Unsupervised Reinforcement Learning (URL) は、ダウンストリーム制御タスクの基盤として機能し、不本意な報酬を伴わずに、スケーラブルで熟練したポリシーを事前訓練することを目的としている。 近年の進展にもかかわらず、現在の非政治的なURLメソッドは、(1)非定常的なスキルセマンティクスと(2)脆弱な一般化の2つの重要なボトルネックによって制限されていると論じている。 これらの課題に対処するため、堅牢な教師なし強化学習のための統合フレームワークであるGenDa(Generalizable Data- efficient Agent)を提案する。 まず,非定常性を緩和し,事前学習におけるデータ効率を大幅に向上させるスキルレバーベリング機構を提案する。 第2に、学習スキルポリシーがエゴ中心の機能に集中し、下流タスクの分散シフトに頑健になるよう奨励する補完的情報ボトルネック(CIB)を提案する。 様々な実験を通して、GenDaはURLのスケーラビリティを大幅に向上させ、より優れた一般化性とデータの効率性を示す。 私たちのコードとビデオはhttps://ihatebroccoli.github.io/official-GenDaで公開されています。

関連論文リスト

• OPID: On-Policy Skill Distillation for Agentic Reinforcement Learning [38.54413500261524]
  オンデマンドの自己蒸留は、密集したトークンレベルの監督を提供する。 textbfOPID (textbfOn-textbfPolicy Sktextbfill textbfDistillation) は、軌道上で完了したスキル管理を直接抽出するフレームワークである。
  論文  参考訳（メタデータ） (2026-06-25T09:24:09Z)
• Using Non-Expert Data to Robustify Imitation Learning via Offline Reinforcement Learning [21.705096559151286]
  オフライン強化学習は、非専門的なデータを利用して模倣学習ポリシーの性能を向上させることができることを示す。 提案手法は, オフラインRLにより拡張された模倣アルゴリズムにより, タスクを頑健に解決できることを示す。
  論文  参考訳（メタデータ） (2025-10-22T11:43:39Z)
• Diffusion Guidance Is a Controllable Policy Improvement Operator [98.11511661904618]
  CFGRLは教師付き学習の単純さで訓練されているが、データ内のポリシーをさらに改善することができる。 オフラインのRLタスクでは、信頼性の高いトレンドが観察されます -- ガイダンスの重み付けの増加によって、パフォーマンスが向上します。
  論文  参考訳（メタデータ） (2025-05-29T14:06:50Z)
• RLDG: Robotic Generalist Policy Distillation via Reinforcement Learning [53.8293458872774]
  本稿では,RLDG(Reinforcement Learning Distilled Generalists)を提案する。 我々は、RL生成データで訓練されたジェネラリストポリシーが、人間の実演で訓練された者より一貫して優れていたことを実証する。 以上の結果から,タスク固有RLと一般政策蒸留を組み合わせることで,より有能で効率的なロボット操作システムの開発が期待できる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-12-13T04:57:55Z)
• Leveraging Skills from Unlabeled Prior Data for Efficient Online Exploration [54.8229698058649]
  ラベルなしのオフライン軌道データは、効率的な探索戦略を学ぶために利用することができる。 提案手法は,42の長軸,スパース・リワードタスクからなるスイートにおいて,従来戦略よりも一貫して優れていた。
  論文  参考訳（メタデータ） (2024-10-23T17:58:45Z)
• Foundation Policies with Hilbert Representations [54.44869979017766]
  ラベルなしオフラインデータから一般ポリシーを事前学習するための教師なしフレームワークを提案する。 我々の重要な洞察は、基盤となる環境の時間的構造を保存する構造的表現を学習することである。 実験の結果、教師なしのポリシーは、ゴール条件付きおよび一般のRLタスクをゼロショットで解決できることがわかった。
  論文  参考訳（メタデータ） (2024-02-23T19:09:10Z)
• Adversarial Auto-Augment with Label Preservation: A Representation Learning Principle Guided Approach [95.74102207187545]
  本研究では,事前自由な自律的データ拡張の目的が表現学習の原則から導出可能であることを示す。 そこで我々は,既存の手法にシームレスに最適化し,シームレスに統合できる目的に対して,実用的なサロゲートを提案する。
  論文  参考訳（メタデータ） (2022-11-02T02:02:51Z)
• Simplifying Deep Reinforcement Learning via Self-Supervision [51.2400839966489]
  自己改善強化学習(Self-Supervised Reinforcement Learning, SSRL)は、純粋に監督された損失を伴うポリシーを最適化する単純なアルゴリズムである。 SSRLは、より安定した性能と実行時間の少ない現代アルゴリズムと驚くほど競合することを示す。
  論文  参考訳（メタデータ） (2021-06-10T06:29:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。