論文の概要: Enabling a Unified Cross-Domain Representation for Two-Finger Gripper Manipulation via Interaction-Centric Modeling
- arxiv url: http://arxiv.org/abs/2609.31207v1
- Date: Fri, 25 Sep 2026 12:45:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.398185
- Title: Enabling a Unified Cross-Domain Representation for Two-Finger Gripper Manipulation via Interaction-Centric Modeling
- Title(参考訳): 相互作用中心モデリングによる2フィンガーグリパー操作のための統一型クロスドメイン表現の提案
- Abstract要約: 本稿では,2本指グリップの共有構造を利用したインタラクション中心のフレームワークを提案する。
VLMはサブタスクを推測し、相互作用三重項をグラウンドし、SAM2.1はマスクを追跡してVLMクエリを減らす。
シミュレーションと実世界の課題における実験により、競争力のあるベンチマークスコアを同時に達成する最初の模倣学習アプローチであることが示された。
- 参考スコア(独自算出の注目度): 32.35737964611431
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Achieving robust cross-embodiment generalization in imitation learning demands overcoming a critical representation flaw that inextricably entangles task semantics with hardware-specific visual geometry. We propose an interaction-centric framework that leverages the shared structure of two-finger grippers via a parameterized universal gripper abstraction, yielding a canonical gripper-frame representation. Given language and RGB-D observations, a VLM infers the subtask and grounds an interaction triplet (gripper, held, target), while SAM~2.1 tracks masks to reduce VLM queries. We design concise hybrid features that combine target/collision artificial potential fields for global guidance with segmented gripper-frame point clouds for local geometry, and use a Flow-Matching Transformer to predict smooth 7-DoF action chunks. Experiments in simulation and real-world tasks demonstrate that ours is the first imitation learning approach to simultaneously achieve competitive benchmark scores and extreme cross-embodiment/cross-viewpoint zero-shot sim-to-real transfer to completely distinct, heterogeneous robot platforms.
- Abstract(参考訳): 模倣学習における堅牢なクロス・エボディメントの一般化を実現するには、ハードウェア固有の視覚幾何学と密接なタスクセマンティクスを絡める重要な表現欠陥を克服する必要がある。
本稿では,2本指グリップの共有構造をパラメータ化された普遍的なグリップパ抽象化により活用し,標準グリップパフレーム表現を生成する相互作用中心のフレームワークを提案する。
言語とRGB-Dの観測により、VLMはサブタスクを推測し、相互作用三重項(グリッパー、ホールド、ターゲット)を接地し、SAM~2.1はマスクを追跡してVLMクエリを減らす。
本研究では,大域的誘導のためのターゲット/衝突人工電位場と局所幾何学のためのセグメント化されたグリップフレーム点雲を組み合わせた簡潔なハイブリッド機能を設計し,フローマッチング変換を用いて滑らかな7-DoF作用チャンクを予測する。
シミュレーションと実世界のタスクの実験により、我々は、競争力のあるベンチマークスコアと極端なクロス・エボディメント/クロス・ビューポイント・ゼロショット・シム・トゥ・リアル・トランスファーを、完全に異質なロボットプラットフォームに同時に達成する最初の模倣学習アプローチであることを実証した。
関連論文リスト
- CosmoH2G: A Hand-to-Gripper Transfer Dataset and Baseline Method for Object Manipulation with Complex Spatial Movements [63.40365657068892]
ロボットグリップに人手によるデモンストレーションを移すことは、最近、ロボット学習の費用対効果の高いソリューションとして浮上した。
このギャップに触発された我々は、きめ細かい手の動きによって導かれる暗黙的なデータ駆動アプローチを採用した。
シミュレーションと実ロボット実験の両方において、我々のフレームワークは複雑な空間操作の安定かつ高精度なハンド・トゥ・グルーパー転送を可能にする。
論文 参考訳(メタデータ) (2026-09-07T13:47:22Z) - SpatialClaw: Rethinking Action Interface for Agentic Spatial Reasoning [99.49739831030388]
このインタフェースの設計は,オープンエンド空間推論のためのエージェントのキャパシティをいかに形作るかを検討する。
本研究では,アクションインタフェースとしてコードを採用する空間推論のためのトレーニングフリーフレームワークであるSpatialClawを提案する。
論文 参考訳(メタデータ) (2026-06-11T17:59:36Z) - HeteroGenManip: Generalizable Manipulation For Heterogeneous Object Interactions [23.788389187142446]
クロスタイプオブジェクトインタラクションを含む一般化可能な操作は、ロボティクスにおいて決定的だが難しい能力である。
既存の基盤モデルに基づくアプローチは、しばしば、これらのステージの区別を曖昧にするエンドツーエンドの学習を採用する。
We propose HeteroGenManip, a task-conditioned, two-stage framework designed to deouple initial grasp from complex interaction execution。
論文 参考訳(メタデータ) (2026-05-11T08:48:02Z) - Semantic-Aligned Learning with Collaborative Refinement for Unsupervised VI-ReID [82.12123628480371]
教師なしの人物再識別(USL-VI-ReID)は、モデル学習のための人間のアノテーションを使わずに、同じ人物の歩行者像を異なるモードでマッチングすることを目指している。
従来の手法では、ラベルアソシエーションアルゴリズムを用いて異質な画像の擬似ラベルを統一し、グローバルな特徴学習のためのコントラスト学習フレームワークを設計していた。
本稿では,各モダリティによって強調される特定のきめ細かいパターンを対象とするSALCR(Semantic-Aligned Learning with Collaborative Refinement)フレームワークを提案する。
論文 参考訳(メタデータ) (2025-04-27T13:58:12Z) - Cross Paradigm Representation and Alignment Transformer for Image Deraining [40.66823807648992]
クロスパラダイム表現・アライメント変換器(CPRAformer)を提案する。
その中心となる考え方は階層的な表現とアライメントであり、両方のパラダイムの強みを活用して画像再構成を支援する。
トランスフォーマーブロックでは,スパースプロンプトチャネル自己アテンション(SPC-SA)と空間画素改善自己アテンション(SPR-SA)の2種類の自己アテンションを使用する。
論文 参考訳(メタデータ) (2025-04-23T06:44:46Z) - ManipGPT: Is Affordance Segmentation by Large Vision Models Enough for Articulated Object Manipulation? [23.73409728939164]
本稿では,調音対象の最適相互作用領域を予測するためのフレームワークであるManipGPTを紹介する。
9.9kのシミュレーションと実際の画像のデータセットを作成し、視覚的シミュレートとリアルのギャップを埋める。
我々は,ロボット操作のシナリオに対して,モデルのコンテキスト内セグメンテーション機能を適用することにより,部分レベルの割当セグメンテーションを大幅に改善する。
論文 参考訳(メタデータ) (2024-12-13T11:22:01Z) - Joint Spatial-Temporal and Appearance Modeling with Transformer for
Multiple Object Tracking [59.79252390626194]
本稿ではTransSTAMという新しい手法を提案する。Transformerを利用して各オブジェクトの外観特徴とオブジェクト間の空間的時間的関係の両方をモデル化する。
提案手法はMOT16, MOT17, MOT20を含む複数の公開ベンチマークで評価され, IDF1とHOTAの両方で明確な性能向上を実現している。
論文 参考訳(メタデータ) (2022-05-31T01:19:18Z) - Masked Transformer for Neighhourhood-aware Click-Through Rate Prediction [74.52904110197004]
本稿では,近隣相互作用に基づくCTR予測を提案し,そのタスクを異種情報ネットワーク(HIN)設定に組み込む。
周辺地域の表現を高めるために,ノード間のトポロジカルな相互作用を4種類検討する。
本研究では,2つの実世界のデータセットに関する総合的な実験を行い,提案手法が最先端のCTRモデルを大幅に上回ることを示す。
論文 参考訳(メタデータ) (2022-01-25T12:44:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。