論文の概要: Efficient Training of Generalizable Visuomotor Policies via Control-Aware Augmentation

• arxiv url: http://arxiv.org/abs/2401.09258v2
• Date: Fri, 21 Mar 2025 08:19:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 15:40:09.605729
• Title: Efficient Training of Generalizable Visuomotor Policies via Control-Aware Augmentation
• Title（参考訳）: コントロール・アウェア・アジュメンテーションによる総合的ビジュモータ政策の効果的訓練
• Authors: Yinuo Zhao, Kun Wu, Tianjiao Yi, Zhiyuan Xu, Xiaozhu Ju, Zhengping Che, Chi Harold Liu, Jian Tang,
• Abstract要約: 既存のデータ拡張手法は、画像内のタスク関連情報を妨害し、性能を低下させる可能性がある。 本稿では,既存の手法を改良した汎用型ビズモータポリシーのための効率的なトレーニングフレームワークを提案する。 我々は,DMControl Generalization Benchmark,強化されたロボットマニピュレーション・ディトラクション・ベンチマーク,長期ドローダ・オープンタスクの3つの領域で実験を行った。
• 参考スコア（独自算出の注目度）: 45.62430292728745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Improving generalization is one key challenge in embodied AI, where obtaining large-scale datasets across diverse scenarios is costly. Traditional weak augmentations, such as cropping and flipping, are insufficient for improving a model's performance in new environments. Existing data augmentation methods often disrupt task-relevant information in images, potentially degrading performance. To overcome these challenges, we introduce EAGLE, an efficient training framework for generalizable visuomotor policies that improves upon existing methods by (1) enhancing generalization by applying augmentation only to control-related regions identified through a self-supervised control-aware mask and (2) improving training stability and efficiency by distilling knowledge from an expert to a visuomotor student policy, which is then deployed to unseen environments without further fine-tuning. Comprehensive experiments on three domains, including the DMControl Generalization Benchmark, the enhanced Robot Manipulation Distraction Benchmark, and a long-sequential drawer-opening task, validate the effectiveness of our method.
• Abstract（参考訳）: 一般化の改善は、さまざまなシナリオにわたる大規模なデータセットを取得するという、AIの具体化における重要な課題のひとつだ。 トリミングやフリップのような従来の弱い強化は、新しい環境でのモデルの性能を改善するには不十分である。 既存のデータ拡張手法は、しばしば画像内のタスク関連情報を妨害し、性能を低下させる可能性がある。 これらの課題を克服するために,本研究では,(1)自己管理型コントロール・アウェアマスクを通じて特定された制御関連領域のみに拡張を施すことによって,既存の手法を改良する,汎用可能なビジュモータ政策のための効率的なトレーニングフレームワークであるEAGLEを紹介し,(2)専門家から知識を抽出してトレーニングの安定性と効率を向上させるとともに,さらに微調整をすることなく,見知らぬ環境に展開する。 DMControl Generalization Benchmark, 強化されたロボットマニピュレーション・ディトラクション・ベンチマーク, 長期ドローダ・オープニングタスクを含む3つの領域の総合的な実験を行い, 本手法の有効性を検証した。

関連論文リスト

• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• RoboKoop: Efficient Control Conditioned Representations from Visual Input in Robotics using Koopman Operator [14.77553682217217]
  本研究では,高次元潜在空間におけるエージェントの視覚データから効率的な線形化視覚表現を学習するコントラストスペクトル・クープマン埋め込みネットワークを提案する。 本手法は、時間とともに勾配力学の安定性と制御を向上し、既存の手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2024-09-04T22:14:59Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• DEAR: Disentangled Environment and Agent Representations for Reinforcement Learning without Reconstruction [4.813546138483559]
  強化学習(RL)アルゴリズムは視覚的な観察からロボット制御タスクを学習することができるが、大量のデータを必要とすることが多い。 本稿では,その形状に関するエージェントの知識が,視覚的RL法のサンプル効率を向上させる方法について検討する。 本稿では,エージェントのセグメンテーションマスクを監督対象とする,分散環境とエージェント表現という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-30T09:15:21Z)
• Foundation Policies with Hilbert Representations [54.44869979017766]
  ラベルなしオフラインデータから一般ポリシーを事前学習するための教師なしフレームワークを提案する。 我々の重要な洞察は、基盤となる環境の時間的構造を保存する構造的表現を学習することである。 実験の結果、教師なしのポリシーは、ゴール条件付きおよび一般のRLタスクをゼロショットで解決できることがわかった。
  論文  参考訳（メタデータ） (2024-02-23T19:09:10Z)
• Hierarchical Transformers are Efficient Meta-Reinforcement Learners [19.79721574250755]
  本稿では,メタ強化学習のための階層型トランスフォーマー(HTrMRL)について紹介する。 過去のエピソードが豊富な情報源としてどのように機能するかを実証し、我々のモデルは効果的に蒸留し、新しい文脈に適用する。
  論文  参考訳（メタデータ） (2024-02-09T13:40:11Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Normalization Enhances Generalization in Visual Reinforcement Learning [20.04754884180226]
  正規化技術は 教師なしと教師なしの学習で 大きな成功を収めています 一般化能力を高めるためには,適切な正規化手法を組み込むことが十分であることがわかった。 本手法は, 試料効率にわずかに影響を及ぼすことなく, 一般化能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-06-01T13:24:56Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Don't Touch What Matters: Task-Aware Lipschitz Data Augmentation for Visual Reinforcement Learning [27.205521177841568]
  視覚強化学習(RL)のためのタスク対応リプシッツデータ拡張(TLDA)を提案する。 TLDAは、大きなリプシッツ定数を持つタスク関連画素を明確に識別し、タスク関連画素のみを拡大する。 3つの異なるビジュアルコントロールベンチマークにおいて、従来の最先端メソッドよりも優れています。
  論文  参考訳（メタデータ） (2022-02-21T04:22:07Z)
• Stabilizing Deep Q-Learning with ConvNets and Vision Transformers under Data Augmentation [25.493902939111265]
  オフ・ポリティクス強化学習アルゴリズムにおけるデータ強化における不安定性の原因について検討する。 本稿では,このアルゴリズムを拡張の下で安定化するための,シンプルで効果的な手法を提案する。 本手法は,画像ベースRLの最先端手法と競合し,ConvNetの安定性とサンプル効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-07-01T17:58:05Z)
• Generalization of Reinforcement Learning with Policy-Aware Adversarial Data Augmentation [32.70482982044965]
  本稿では,自動生成軌道データによる標準方針学習手法の強化を目的とした,新たなポリシー対応逆データ拡張手法を提案する。 提案手法の一般化性能を検討するために, 多数のRLタスクについて実験を行った。 その結果,本手法は訓練の多様性に限界があり,最先端の一般化テスト性能を実現することができることがわかった。
  論文  参考訳（メタデータ） (2021-06-29T17:21:59Z)
• SECANT: Self-Expert Cloning for Zero-Shot Generalization of Visual Policies [87.78260740602674]
  総合化は強化学習(RL)の長年にわたる課題である。 本研究では,ゼロショットの一般化を目標としたロバストなポリシー学習を,大規模な分布シフトを伴う視覚環境に対して検討する。 本稿では,2段階のイメージ拡張を利用して,ロバスト表現学習をポリシー最適化から切り離す,新たな自己経験的クローニング手法であるSECANTを提案する。
  論文  参考訳（メタデータ） (2021-06-17T17:28:18Z)
• Residual Reinforcement Learning from Demonstrations [51.56457466788513]
  報酬信号の最大化のために,従来のフィードバックコントローラからの制御動作を適用することで,ロボット作業の課題を解決する手段として,残留強化学習(Residual reinforcement learning, RL)が提案されている。 視覚的インプットから学習するための残差定式化を拡張し,実演を用いて報酬をスパースする。 6-DoFのUR5アームと28-DoFのデキスタラスハンドのシミュレーション操作に関する実験的評価は、デモからの残留RLが、行動クローニングやRL微調整よりも柔軟に、見えない環境条件に一般化できることを実証している。
  論文  参考訳（メタデータ） (2021-06-15T11:16:49Z)
• Robust Deep Reinforcement Learning via Multi-View Information Bottleneck [7.188571996124112]
  マルチビュー情報ボトルネック(MIB)の原理に基づく補助目標を提案する。 これにより、未来を予測的かつタスク非関連な気遣いに敏感な学習表現が促進される。 背景が自然な映像に置き換えられた場合でも、視覚制御の課題に対してSOTAの性能を発揮できることを実証します。
  論文  参考訳（メタデータ） (2021-02-26T02:24:36Z)
• Generalization in Reinforcement Learning by Soft Data Augmentation [11.752595047069505]
  SODA(Soft Data Augmentation)は、政策学習からAugmentationを分離する手法である。 我々は、最先端のビジョンベースRL法によるトレーニングにおいて、サンプル効率、一般化、安定性を著しく向上するSODAを見出した。
  論文  参考訳（メタデータ） (2020-11-26T17:00:34Z)
• Dynamics Generalization via Information Bottleneck in Deep Reinforcement Learning [90.93035276307239]
  本稿では,RLエージェントのより優れた一般化を実現するために,情報理論正則化目標とアニーリングに基づく最適化手法を提案する。 迷路ナビゲーションからロボットタスクまで、さまざまな領域において、我々のアプローチの極端な一般化の利点を実証する。 この研究は、タスク解決のために冗長な情報を徐々に取り除き、RLの一般化を改善するための原則化された方法を提供する。
  論文  参考訳（メタデータ） (2020-08-03T02:24:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。