論文の概要: Reverse to Advance: Teleoperation-Cost Effective Hard Policy Learning from Reversed Easy Tasks
- arxiv url: http://arxiv.org/abs/2607.13455v1
- Date: Wed, 15 Jul 2026 05:29:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.660425
- Title: Reverse to Advance: Teleoperation-Cost Effective Hard Policy Learning from Reversed Easy Tasks
- Title（参考訳）: Reverse to Advance: 遠隔操作-逆簡単タスクからの効果的なハードポリシー学習
- Abstract要約: 簡単なタスクの時間的逆転によるハードポリシー学習のための遠隔操作による効果的なフレームワークを提案する。
本手法は,複雑かつ高精度な操作タスクのスケーラブルで信頼性の高いトレーニングを可能にする。
- 参考スコア（独自算出の注目度）: 9.447619022791288
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High-quality teleoperation datasets are costly to collect, particularly for hard tasks. We observe that many tasks exhibit directional asymmetry: completing the forward hard task is difficult, whereas reversing it by relaxing or disrupting the environment is comparatively easy. This suggests that reversed easy-task trajectories can serve as a scalable supervision signal for the hard task, reducing the cost of manual demonstration collection. However, reversed data can be noisy, and directly training on it may yield suboptimal policies. To enable largely automated acquisition and effective use of reversed data, we propose a teleoperation-cost effective framework for hard policy learning via temporal reversal of easy tasks, consisting of three key components: a closed-loop data collection pipeline that alternates between hard-task and easy-task policies to autonomously reset the environment and generate diverse trajectories; a hierarchical data refinement pipeline that temporally inverts easy-task rollouts and filters low-quality motion using kinematic priors and a critic-guided advantage filter; and an iterative policy learning method that trains the hard-task policy using both initial reversed easy-task demonstrations and the filtered reversed data in a continuous online learning loop. By combining automated collection, hierarchical refinement, and iterative learning, our method enables scalable, reliable training of complex, high-precision manipulation tasks. Across two simulated benchmarks and real-robot experiments, we demonstrate that our method improves hard-task success rates with higher data efficiency and more stable training compared to reversal-based and reinforcement-learning baselines, without requiring extensive hard-task teleoperation.
- Abstract（参考訳）: 高品質な遠隔操作データセットは、特に難しいタスクのために収集するのにコストがかかる。
我々は、多くのタスクが方向性の非対称性を示すことを観察し、前向きのハードタスクの完了は困難である一方、環境の緩和や破壊による逆転は比較的容易である。
このことは、逆タスクの軌跡がハードタスクのスケーラブルな監視信号として機能し、手動によるデモ収集のコストを削減できることを示している。
しかし、逆のデータはノイズになりうるし、直接トレーニングすることで準最適ポリシーが得られるかもしれない。
3つの重要な要素から成り、ハードタスクと簡単なタスクを交互に交換し、環境を自律的にリセットし、多様なトラジェクトリを生成するクローズドループデータ収集パイプライン、キネマティックな事前処理と批評家による有利なフィルタを用いて、低品質な動作を時間的に逆転しフィルタする階層型データ改善パイプライン、およびオンライン学習ループにおいて、ハードタスクポリシーをトレーニングする反復型ポリシー学習手法を提案する。
自動収集,階層的洗練,反復学習を組み合わせることで,複雑で高精度な操作タスクのスケーラブルで信頼性の高いトレーニングを可能にする。
2つの模擬ベンチマークと実ロボット実験で、我々の手法は、広範囲なハードタスク遠隔操作を必要とせず、逆ベースおよび強化学習ベースラインよりも高いデータ効率とより安定したトレーニングにより、ハードタスクの成功率を向上させることを実証した。
関連論文リスト
- Task Parameter Extrapolation via Learning Inverse Tasks from Forward Demonstrations [8.01638683277787]
新規な条件にスキルポリシーを一般化することは、ロボット学習における重要な課題である。
データ効率は高いが、模倣学習方法はトレーニング領域に限られており、外部の入力データに一貫して失敗する。
本稿では,正確かつ効率的な知識伝達を実現するための新しい共同学習手法を提案する。
論文 参考訳（メタデータ） (2026-03-05T17:14:10Z) - Synthesizing Agentic Data for Web Agents with Progressive Difficulty Enhancement Mechanisms [81.90219895125178]
Webベースの「ディープリサーチ」エージェントは、オンラインツールとの長時間のインタラクションを通じてタスクに答える、複雑な問題の解決を目指している。
基礎となる言語モデルは、長い水平推論に最適化されないことが多いため、これらのタスクは依然として困難なままである。
複雑化を徐々に進めることで、疑問-答えのペアを生成する2段階のデータ合成パイプラインを導入する。
論文 参考訳（メタデータ） (2025-10-15T06:34:46Z) - STRAP: Robot Sub-Trajectory Retrieval for Augmented Policy Learning [8.860366821983211]
STRAPは、トレーニング済みの視覚基盤モデルと動的時間ワープを利用して、大規模なトレーニングコーパスからトラジェクトリのサブシーケンスを堅牢に検索する技術である。
本研究では、事前学習された視覚基盤モデルと動的時間ワープを活用して、大規模学習コーパスからのトラジェクトリのサブシーケンスをロバストに検索するSTRAPを提案する。
論文 参考訳（メタデータ） (2024-12-19T18:54:06Z) - Affordance-based Robot Manipulation with Flow Matching [7.51335919610328]
本稿では,ロボット操作支援のためのフレームワークを提案する。
第1に,大規模モデルを下流シーンの空き時間理解タスクに効果的に適用し,第2に,視覚的空き時間モデルに基づいて,効果的にロボット行動軌跡を学習する。
我々は,教師付きフローマッチング手法を用いて,ロボットの行動軌跡を空き時間で案内する。
論文 参考訳（メタデータ） (2024-09-02T09:11:28Z) - Offline Reinforcement Learning from Datasets with Structured Non-Stationarity [50.35634234137108]
現在の強化学習(RL)は、成功するポリシーを学ぶのに必要な大量のデータによって制限されることが多い。
本稿では,データセットを収集しながら,各エピソードの遷移と報酬関数が徐々に変化するが,各エピソード内で一定に保たれるような新しいオフラインRL問題に対処する。
本稿では、オフラインデータセットにおけるこの非定常性を識別し、ポリシーのトレーニング時にそれを説明し、評価中に予測するContrastive Predictive Codingに基づく手法を提案する。
論文 参考訳（メタデータ） (2024-05-23T02:41:36Z) - Reverse Forward Curriculum Learning for Extreme Sample and Demonstration Efficiency in Reinforcement Learning [17.092640837991883]
強化学習(Reinforcement Learning, RL)は、環境相互作用を通じてポリシーを学ぶための有望な枠組みである。
ひとつの方向性として、オフラインデータによるRLの拡張による望ましいタスクの実証があるが、過去の作業では、多くの高品質なデモデータが必要になることが多い。
提案手法における逆カリキュラムと前方カリキュラムの組み合わせ(RFCL)は,実演とサンプル効率を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2024-05-06T11:33:12Z) - Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳（メタデータ） (2024-01-07T18:12:20Z) - TempoRL: Temporal Priors for Exploration in Off-Policy Reinforcement
Learning [33.512849582347734]
より多様なタスクで共有されるオフラインデータから機能を学ぶことを提案する。
実演軌跡における時間的一貫性を直接モデル化する状態非依存の時間的先行性を導入する。
また、非政治強化学習における行動優先の新たな統合手法についても紹介する。
論文 参考訳（メタデータ） (2022-05-26T17:49:12Z) - Human-in-the-Loop Imitation Learning using Remote Teleoperation [72.2847988686463]
6-DoF操作設定に合わせたデータ収集システムを構築します。
システムによって収集された新しいデータに基づいて,ポリシーを反復的にトレーニングするアルゴリズムを開発した。
介入型システムで収集したデータに基づいて訓練されたエージェントと、非介入型デモ参加者が収集した同等数のサンプルで訓練されたアルゴリズムを上回るエージェントを実証する。
論文 参考訳（メタデータ） (2020-12-12T05:30:35Z) - Continuous Transition: Improving Sample Efficiency for Continuous
Control Problems via MixUp [119.69304125647785]
本稿では,連続的遷移を構築するための簡潔かつ強力な手法を提案する。
具体的には、連続的な遷移を線形に補間することにより、トレーニングのための新しい遷移を合成することを提案する。
また, 建設過程を自動案内する判別器を開発した。
論文 参考訳（メタデータ） (2020-11-30T01:20:23Z) - Meta-Reinforcement Learning Robust to Distributional Shift via Model
Identification and Experience Relabeling [126.69933134648541]
本稿では,テスト時にアウト・オブ・ディストリビューション・タスクに直面した場合に,効率よく外挿できるメタ強化学習アルゴリズムを提案する。
我々の手法は単純な洞察に基づいており、動的モデルが非政治データに効率的かつ一貫して適応可能であることを認識している。
論文 参考訳（メタデータ） (2020-06-12T13:34:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。