論文の概要: GORDON: Graph-based Object-centric Rewards for Decomposition of Long-Horizon Manipulation

• arxiv url: http://arxiv.org/abs/2608.03753v1
• Date: Tue, 04 Aug 2026 14:43:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-06 07:04:20.730124
• Title: GORDON: Graph-based Object-centric Rewards for Decomposition of Long-Horizon Manipulation
• Title（参考訳）: GORDON:長軸マニピュレーションの分解のためのグラフベースオブジェクト中心リワード
• Abstract要約: GORDONはグラフベースのオブジェクト中心報酬学習フレームワークである。 アクションフリーのビデオデモから、深い報酬を学べる。 長期のタスクで平均74.4%の成功率を達成した。
• 参考スコア（独自算出の注目度）: 15.203442273197455
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning long-horizon manipulation skills with reinforcement learning remains challenging due to the complexity of reward design, the limited guidance of sparse rewards, and the high cost of manual subtask annotation. Visual demonstrations can provide supervision for reward learning, but rewards learned from raw pixels can be brittle and sensitive to visual variation, background appearance, and robot motion. In this work, we propose GORDON, a graph-based object-centric reward learning framework that learns dense rewards from action-free video demonstrations. Each visual scene is represented as a graph of detected objects and spatial relations, and a graph neural network is trained in a self-supervised manner to embed these graphs into a task-aligned latent space. To align the representation with semantic task progress, we introduce an activity-aware weighted pooling mechanism that emphasizes task-relevant objects while masking robot-dominated motion. The dense reward is then computed as distances in the learned latent space of the current state to demonstrated goal configurations, providing a measure of task progress. In long-horizon tasks, the temporal profile of this reward reveals stage-wise object-state transitions, enabling automatic subtask discovery without manual segmentation. The discovered segments are then used to train subtask-specific rewards and specialized policies that are composed sequentially. Experiments on seven manipulation tasks on MAGICAL and ManiSkill3 benchmarks show that our object-centric reward improves reinforcement learning in short-horizon settings and enables successful policy learning in complex long-horizon tasks through automatic decomposition, achieving an average success rate of 74.4% across the long-horizon tasks (on average approximately +35 p.p. vs. best learned baseline and approximately +25 p.p. vs. oracle).
• Abstract（参考訳）: 報酬設計の複雑化,報酬の不足,手動サブタスクアノテーションの高コスト化などにより,強化学習による長期的操作スキルの習得は依然として困難である。 視覚的なデモンストレーションは報酬学習のための監督を提供することができるが、生のピクセルから学んだ報酬は脆く、視覚の変化、背景の外観、ロボットの動きに敏感である。 本研究では,アクションフリーなビデオデモから高い報酬を学習するグラフベースのオブジェクト中心報酬学習フレームワークGORDONを提案する。 各視覚シーンは検出対象と空間関係のグラフとして表現され、グラフニューラルネットワークは自己教師付き方法でトレーニングされ、これらのグラフをタスク整列潜在空間に埋め込む。 そこで本研究では,ロボットが支配する動作をマスキングしながら,タスク関連オブジェクトを強調するアクティビティ対応重み付けプール機構を導入する。 より密集した報酬は、現在の状態の学習潜在空間内の距離として計算され、目標設定を実証し、タスクの進捗を測る。 長期のタスクでは、この報酬の時間プロファイルは段階的なオブジェクト状態遷移を示し、手動のセグメンテーションなしで自動サブタスク発見を可能にする。 発見されたセグメントは、サブタスク固有の報酬と、シーケンシャルに構成される特別なポリシーのトレーニングに使用される。 MAGICAL と ManiSkill3 ベンチマークによる7つの操作タスクの実験により、我々のオブジェクト中心の報酬は、短期水平環境での強化学習を改善し、自動分解による複雑な長軸タスクにおけるポリシー学習を成功させ、長軸タスクの平均成功率は74.4%(平均約35 p.p.、最良学習ベースラインでは約25 p.p.、オラクルでは約25 p.p.)を達成した。

関連論文リスト

• Learning Semantic-Geometric Task Graph-Representations from Human Demonstrations [16.68801520494275]
  対象の同一性や対象間の関係を符号化する意味幾何学的タスクグラフ表現と,その時間的幾何学的進化を人間の実演から導入する。 意味幾何学的タスクグラフ表現は、高い動作とオブジェクトの可変性を持つタスクに特に有益であることを示す。
  論文  参考訳（メタデータ） (2026-01-16T17:35:00Z)
• TimeRewarder: Learning Dense Reward from Passive Videos via Frame-wise Temporal Distance [36.22149703563646]
  TimeRewarderは、受動的ビデオから進捗推定信号を導出する、シンプルで効果的な報酬学習手法である。 TimeRewarderはスパース・リワードタスクのRLを大幅に改善し、タスク1タスク当たり20,000のインタラクションしか持たない9/10タスクでほぼ完璧に成功することを示す。
  論文  参考訳（メタデータ） (2025-09-30T17:58:20Z)
• Subtask-Aware Visual Reward Learning from Segmented Demonstrations [97.80917991633248]
  本稿では,新しい報酬学習フレームワークであるReward Learning from Demonstration with Demonstrationsを紹介する。 我々は,映像セグメントとそれに対応するサブタスクに条件付けされた高密度報酬関数を訓練し,地道報酬信号との整合性を確保する。 実験の結果,REDSはメタワールドにおける複雑なロボット操作タスクのベースライン手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-02-28T01:25:37Z)
• Universal Visual Decomposer: Long-Horizon Manipulation Made Easy [54.93745986073738]
  現実世界のロボットタスクは、幅広い地平線を越えて、複数のステージを包含する。 従来のタスク分解手法では、タスク固有の知識が必要であり、計算集約的であり、新しいタスクに容易に適用できない。 視覚的長時間水平方向操作のためのオフザシェルフタスク分解法であるUniversal Visual Decomposer (UVD)を提案する。 シミュレーションと実世界のタスクの両方でUVDを広範囲に評価し、すべての場合において、UVDは模倣と強化学習設定でベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-10-12T17:59:41Z)
• Learning Sensorimotor Primitives of Sequential Manipulation Tasks from Visual Demonstrations [13.864448233719598]
  本稿では,低レベルポリシーと高レベルポリシーを同時に学習するニューラルネットワークベースの新しいフレームワークについて述べる。 提案手法の重要な特徴は、これらのポリシーがタスクデモの生のビデオから直接学習されることである。 ロボットアームを用いた物体操作タスクの実証実験の結果,提案するネットワークは実際の視覚的な実演から効率よく学習し,タスクを実行することができることがわかった。
  論文  参考訳（メタデータ） (2022-03-08T01:36:48Z)
• Bottom-Up Skill Discovery from Unsegmented Demonstrations for Long-Horizon Robot Manipulation [55.31301153979621]
  我々は,実世界の長距離ロボット操作作業に,スキル発見による取り組みを行う。 未解決のデモンストレーションから再利用可能なスキルのライブラリを学ぶためのボトムアップアプローチを提案する。 提案手法は,多段階操作タスクにおける最先端の模倣学習手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-09-28T16:18:54Z)
• A Study on Dense and Sparse (Visual) Rewards in Robot Policy Learning [19.67628391301068]
  我々は,様々な種類の報酬の下で,複数の最先端の深層強化学習アルゴリズムの性能について検討した。 以上の結果から,視覚的疎度報酬は視覚的疎度報酬よりも優れており,全てのタスクに最適なアルゴリズムが存在しないことが示唆された。
  論文  参考訳（メタデータ） (2021-08-06T17:47:48Z)
• Model-Based Reinforcement Learning via Latent-Space Collocation [110.04005442935828]
  我々は、行動だけでなく、状態の順序を計画することで、長期的タスクの解決がより容易であると主張する。 我々は、学習された潜在状態空間モデルを利用して、画像に基づく設定に最適な制御文献における長い水平タスクに対する良い結果を示すコロケーションの概念を適応させる。
  論文  参考訳（メタデータ） (2021-06-24T17:59:18Z)
• Learning Long-term Visual Dynamics with Region Proposal Interaction Networks [75.06423516419862]
  オブジェクト間およびオブジェクト環境間の相互作用を長距離にわたってキャプチャするオブジェクト表現を構築します。 単純だが効果的なオブジェクト表現のおかげで、我々の手法は先行手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-08-05T17:48:00Z)
• Modeling Long-horizon Tasks as Sequential Interaction Landscapes [75.5824586200507]
  本稿では,一連のデモビデオからのみ,サブタスク間の依存関係と遷移を学習するディープラーニングネットワークを提案する。 これらのシンボルは、画像観察から直接学習し、予測できることが示される。 我々は,(1)人間によって実行されるパズル片のブロック積み重ね,(2)物体のピック・アンド・プレイスとキャビネットドアを7-DoFロボットアームで滑らせるロボット操作という,2つの長期水平作業において,我々の枠組みを評価する。
  論文  参考訳（メタデータ） (2020-06-08T18:07:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。