論文の概要: Hierarchical and Modular Network on Non-prehensile Manipulation in General Environments
- arxiv url: http://arxiv.org/abs/2502.20843v1
- Date: Fri, 28 Feb 2025 08:42:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-03 13:42:58.631544
- Title: Hierarchical and Modular Network on Non-prehensile Manipulation in General Environments
- Title(参考訳): 一般環境における非包括的マニピュレーションの階層的・モジュール的ネットワーク
- Authors: Yoonyoung Cho, Junhyek Han, Jisu Han, Beomjoon Kim,
- Abstract要約: 非包括的操作は、ロボットが家庭などの一般的な環境で操作する上で重要である。
しかしながら、非包括的操作に関する先行研究は、多様な測地を持つ環境全体にわたって、まだ一般化できない。
本稿では,タスク要求に基づいて適応的にネットワークモジュールを再構成するモジュール構造を提案する。
さらに、353個のオブジェクトを持つ現実世界のシーンの9つのデジタルツインを特徴とするシミュレーションベースのベンチマークもリリースした。
- 参考スコア(独自算出の注目度): 1.3299507495084417
- License:
- Abstract: For robots to operate in general environments like households, they must be able to perform non-prehensile manipulation actions such as toppling and rolling to manipulate ungraspable objects. However, prior works on non-prehensile manipulation cannot yet generalize across environments with diverse geometries. The main challenge lies in adapting to varying environmental constraints: within a cabinet, the robot must avoid walls and ceilings; to lift objects to the top of a step, the robot must account for the step's pose and extent. While deep reinforcement learning (RL) has demonstrated impressive success in non-prehensile manipulation, accounting for such variability presents a challenge for the generalist policy, as it must learn diverse strategies for each new combination of constraints. To address this, we propose a modular and reconfigurable architecture that adaptively reconfigures network modules based on task requirements. To capture the geometric variability in environments, we extend the contact-based object representation (CORN) to environment geometries, and propose a procedural algorithm for generating diverse environments to train our agent. Taken together, the resulting policy can zero-shot transfer to novel real-world environments and objects despite training entirely within a simulator. We additionally release a simulation-based benchmark featuring nine digital twins of real-world scenes with 353 objects to facilitate non-prehensile manipulation research in realistic domains.
- Abstract(参考訳): ロボットが家庭などの一般的な環境で動作するためには、トッピングや転がりなどの非包括的操作を行なわなければならない。
しかしながら、非包括的操作に関する先行研究は、多様な測地を持つ環境全体にわたって、まだ一般化できない。
主な課題は、様々な環境制約に適応することである:キャビネット内では、ロボットは壁や天井を避けなければならない; ステップの上部に物体を持ち上げるためには、ロボットはステップのポーズと範囲を考慮しなければならない。
深層強化学習(RL)は、非包括的操作において顕著な成功を収めてきたが、そのような変動性を考慮することは、新しい制約の組み合わせごとに多様な戦略を学ばなければならないため、ジェネラリスト政策の課題である。
そこで本研究では,タスク要求に基づいてネットワークモジュールを適応的に再構成するモジュール構造を提案する。
環境の幾何学的変動を捉えるため,接触型オブジェクト表現(CORN)を環境ジオメトリに拡張し,エージェントを訓練するための多様な環境を生成するための手続き的アルゴリズムを提案する。
結果として得られたポリシーは、シミュレーター内で完全にトレーニングされているにもかかわらず、新しい現実世界環境やオブジェクトへのゼロショット転送を可能にする。
さらに、現実的な領域における非包括的操作の研究を容易にするために、353のオブジェクトを持つ現実世界のシーンの9つのデジタルツインを特徴とするシミュレーションベースのベンチマークをリリースする。
関連論文リスト
- ManipGPT: Is Affordance Segmentation by Large Vision Models Enough for Articulated Object Manipulation? [17.356760351203715]
本稿では,調音対象の最適相互作用領域を予測するためのフレームワークであるManipGPTを紹介する。
我々は、シミュレートされた9.9kの画像と実際の画像のデータセットを作成し、シミュレートとリアルのギャップを埋めた。
我々は,ロボット操作のシナリオに対して,モデルのコンテキスト内セグメンテーション機能を適用することにより,部分レベルの割当セグメンテーションを大幅に改善した。
論文 参考訳(メタデータ) (2024-12-13T11:22:01Z) - HACMan++: Spatially-Grounded Motion Primitives for Manipulation [28.411361363637006]
本稿では,HACMan++における空間的パラメータ化動作プリミティブについて紹介する。
環境中の空間的位置にプリミティブを接地することで、オブジェクトの形状を効果的に一般化し、バリエーションを表現できる。
提案手法は既存の手法,特に高レベルシーケンシャル推論とオブジェクト一般化の両方を必要とする複雑なシナリオにおいて,優れた性能を発揮する。
論文 参考訳(メタデータ) (2024-07-11T15:10:14Z) - Evaluating Real-World Robot Manipulation Policies in Simulation [91.55267186958892]
実環境と模擬環境の制御と視覚的格差は、信頼性のある模擬評価の鍵となる課題である。
実環境に完全忠実なデジタル双生児を作らなくても、これらのギャップを軽減できる手法を提案する。
シミュレーション環境の集合体であるSIMPLERを作成した。
論文 参考訳(メタデータ) (2024-05-09T17:30:16Z) - Task and Domain Adaptive Reinforcement Learning for Robot Control [0.34137115855910755]
課題や環境条件に応じて動的にポリシーを適応する新しい適応エージェントを提案する。
このエージェントはIsaacGym上に作られたカスタムで高度に並列化されたシミュレータを使って訓練されている。
実世界において、さまざまな課題を解くために、飛行飛行のためにゼロショット転送を行う。
論文 参考訳(メタデータ) (2024-04-29T14:02:02Z) - Learning Extrinsic Dexterity with Parameterized Manipulation Primitives [8.7221770019454]
我々は、オブジェクトのポーズを変えるために環境を利用する一連のアクションを学習する。
我々のアプローチは、オブジェクトとグリップと環境の間の相互作用を利用してオブジェクトの状態を制御することができる。
拘束されたテーブルトップワークスペースから様々な重量,形状,摩擦特性の箱状物体を選別する手法の評価を行った。
論文 参考訳(メタデータ) (2023-10-26T21:28:23Z) - AI planning in the imagination: High-level planning on learned abstract
search spaces [68.75684174531962]
我々は,エージェントが訓練中に学習する抽象的な検索空間において,エージェントが計画することを可能にする,PiZeroと呼ばれる新しい手法を提案する。
本研究では,旅行セールスマン問題,ソコバン問題,2048年,施設立地問題,パックマン問題など,複数の分野で評価を行った。
論文 参考訳(メタデータ) (2023-08-16T22:47:16Z) - Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。
提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。
デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
論文 参考訳(メタデータ) (2023-06-09T07:22:12Z) - Policy Architectures for Compositional Generalization in Control [71.61675703776628]
本稿では,タスクにおけるエンティティベースの構成構造をモデル化するためのフレームワークを提案する。
私たちのポリシーは柔軟で、アクションプリミティブを必要とせずにエンドツーエンドでトレーニングできます。
論文 参考訳(メタデータ) (2022-03-10T06:44:24Z) - Learning to Regrasp by Learning to Place [19.13976401970985]
ロボットの現在の握りポーズが望ましい操作タスクの実行に失敗する場合、レギュラピングが必要である。
本研究では,ロボットが物体と支援環境の部分点雲を入力として取り出し,一連のピック・アンド・プレイス操作を出力するシステムを提案する。
我々は,多様な物体を再現することで,73.3%の成功率を達成できることを示す。
論文 参考訳(メタデータ) (2021-09-18T03:07:06Z) - CausalWorld: A Robotic Manipulation Benchmark for Causal Structure and
Transfer Learning [138.40338621974954]
CausalWorldは、ロボット操作環境における因果構造と伝達学習のベンチマークである。
タスクは、ブロックのセットから3D形状を構築することで構成される。
論文 参考訳(メタデータ) (2020-10-08T23:01:13Z) - PackIt: A Virtual Environment for Geometric Planning [68.79816936618454]
PackItは、幾何学的計画を行う能力を評価し、潜在的に学習する仮想環境である。
進化的アルゴリズムを用いて,一組の難解なパッケージングタスクを構築した。
論文 参考訳(メタデータ) (2020-07-21T22:51:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。