論文の概要: Joint Discovery of Object and Action Symbols through Effect Prediction for Robotic Manipulation Planning

• arxiv url: http://arxiv.org/abs/2607.00031v1
• Date: Mon, 22 Jun 2026 11:58:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-02 19:56:07.584113
• Title: Joint Discovery of Object and Action Symbols through Effect Prediction for Robotic Manipulation Planning
• Title（参考訳）: ロボットマニピュレーション計画における効果予測による物体と行動記号の同時発見
• Abstract要約: 本稿では,ハイレベルな操作プリミティブとオブジェクトカテゴリを共同で発見するモデルを提案する。 我々は、予測効果軌道の中間ステップを用いて、部分的な動作実行を可能にする離散的な計画手法を利用する。 我々はテーブルトップ再配置および積み重ね作業の実験を行い、我々の効果駆動型計画手法が最先端の手法と視覚に基づく代替案の両方より優れていることを確認した。
• 参考スコア（独自算出の注目度）: 1.4701783773624093
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To perform complex manipulation planning, autonomous robots are required to abstract continuous, high-dimensional sensorimotor interactions into discrete object and action representations. Earlier work either categorized objects based on visual appearances, which fails to distinguish objects that appear similar but behave differently, or based on effects under interaction, but was limited to predefined actions. To address these limitations, we propose a model that jointly discovers high-level manipulation primitives and object categories through a binary bottleneck layer, trained to predict multi-modal outcomes, including object motion, contact, and force feedback, from random interaction data. Building on these discovered binary representations, we leverage a discrete planning method that uses intermediate steps in the predicted effect trajectory to enable partial action executions for precise low-level control. Additionally, we evaluate our framework's generalization capabilities on novel objects by assigning object categories through comparing a small number of interaction effects with the predicted effects of learned object symbols, enabling few-shot generalization based on behavior rather than visual similarity. We conduct experiments on tabletop repositioning and stacking tasks, and confirm that our effect-driven planning approach outperforms both a state-of-the-art method and a visual-based alternative in planning precision across seen and novel objects.
• Abstract（参考訳）: 複雑な操作計画を行うには、自律型ロボットは、連続した高次元の感覚運動子相互作用を個別の物体や行動表現に抽象化する必要がある。 初期の研究では、視覚的な外観に基づいてオブジェクトを分類したが、類似しているように見えるものの、異なる振る舞いをするオブジェクトを区別できなかった。 これらの制約に対処するため、ランダムな相互作用データからオブジェクトの動き、接触、力のフィードバックを含むマルチモーダルな結果を予測するために訓練されたバイナリボトルネック層を通じて、ハイレベルな操作プリミティブとオブジェクトカテゴリを共同で発見するモデルを提案する。 これらの2値表現に基づいて、予測された効果軌道の中間ステップを用いて、正確な低レベル制御のための部分的な動作実行を可能にする離散的な計画手法を利用する。 さらに、学習対象のシンボルの予測効果と少数の相互作用効果を比較して、オブジェクトカテゴリを割り当てることにより、新しいオブジェクトに対するフレームワークの一般化能力を評価し、視覚的類似性よりも行動に基づく数ショットの一般化を可能にする。 テーブルトップ再配置および積み重ね作業の実験を行い、その効果駆動型プランニング手法が、最新手法と視覚的代替手法の両方に優れており、目視や新鮮オブジェクトの計画精度が優れていることを確認した。

関連論文リスト

• Learning Video Generation for Robotic Manipulation with Collaborative Trajectory Control [72.00655365269]
  本稿では,協調的軌跡定式化を通じてオブジェクト間ダイナミクスをモデル化する新しいフレームワークであるRoboMasterを紹介する。 オブジェクトを分解する従来の方法とは異なり、我々のコアは、相互作用プロセスを3つのサブステージ(相互作用前、相互作用後、相互作用後)に分解することである。 提案手法は既存の手法よりも優れており,ロボット操作のための軌道制御ビデオ生成における最先端性能を確立している。
  論文  参考訳（メタデータ） (2025-06-02T17:57:06Z)
• IAAO: Interactive Affordance Learning for Articulated Objects in 3D Environments [56.85804719947]
  IAAOは知的エージェントのための明示的な3Dモデルを構築するフレームワークで,対話を通して環境内の明瞭な物体の理解を得る。 マスク特徴とビュー一貫性ラベルを多視点画像から抽出し,まず3次元ガウススティング(3DGS)を用いて各オブジェクト状態の階層的特徴とラベルフィールドを構築する。 次に、3Dガウスプリミティブ上でオブジェクトと部分レベルのクエリを実行し、静的および明瞭な要素を識別し、大域的な変換と局所的な調音パラメータをアベイランスとともに推定する。
  論文  参考訳（メタデータ） (2025-04-09T12:36:48Z)
• SIGHT: Synthesizing Image-Text Conditioned and Geometry-Guided 3D Hand-Object Trajectories [124.24041272390954]
  手動物体の相互作用をモデル化することは、ロボットと具体化されたAIシステムを前進させる大きな可能性を秘めている。 SIGHTは、1つの画像から現実的で物理的に妥当な3Dハンドオブジェクトインタラクショントラジェクトリを生成することに焦点を当てた,新しいタスクである。 SIGHT-Fusionは,データベースから最もよく似た3Dオブジェクトメッシュを抽出し,この課題に対処する,新しい拡散型画像文条件付き生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-28T20:53:20Z)
• Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
  本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。 本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
  論文  参考訳（メタデータ） (2024-10-15T07:35:51Z)
• Articulated Object Manipulation using Online Axis Estimation with SAM2-Based Tracking [57.942404069484134]
  アーティキュレートされたオブジェクト操作は、オブジェクトの軸を慎重に考慮する必要がある、正確なオブジェクトインタラクションを必要とする。 従来の研究では、対話的な知覚を用いて関節のある物体を操作するが、通常、オープンループのアプローチは相互作用のダイナミクスを見渡すことに悩まされる。 本稿では,対話的知覚と3次元点雲からのオンライン軸推定を統合したクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-09-24T17:59:56Z)
• Cross-Embodied Affordance Transfer through Learning Affordance Equivalences [6.828097734917722]
  我々は,物体,行動,効果を,私たちが「空き空間」と呼ぶ共通潜在空間内の1つの潜在ベクトルに統一するディープニューラルネットワークモデルを提案する。 我々のモデルは、一つのエージェントによって実行される個々のオブジェクトの振舞いを学習しない。 Affordance Equivalenceは、オブジェクトに対するアクションの一般化だけでなく、異なるロボットのアクションをリンクするクロス・エボディメント・トランスファーも促進する。
  論文  参考訳（メタデータ） (2024-04-24T05:07:36Z)
• Simultaneous Detection and Interaction Reasoning for Object-Centric Action Recognition [21.655278000690686]
  エンドツーエンドのオブジェクト中心のアクション認識フレームワークを提案する。 同時に1つのステージで検出と相互作用の推論を行う。 我々はSomes-ElseとIkea-Assemblyという2つのデータセットで実験を行う。
  論文  参考訳（メタデータ） (2024-04-18T05:06:12Z)
• Fine-grained Affordance Annotation for Egocentric Hand-Object Interaction Videos [27.90643693526274]
  物価は、人間の運動能力と物体の物理的性質に基づく行動可能性に関する情報を提供する。 本稿では,これらの課題に対処するための効果的なアノテーション手法を提案する。 我々はEPIC-KITCHENSデータセットにこのスキームを適用して新しいアノテーションを提供し、アベイランス認識、ハンドオブジェクト相互作用ホットスポット予測、アベイランスのクロスドメイン評価などのタスクでアノテーションをテストする。
  論文  参考訳（メタデータ） (2023-02-07T07:05:00Z)
• H-SAUR: Hypothesize, Simulate, Act, Update, and Repeat for Understanding Object Articulations from Interactions [62.510951695174604]
  The Hypothesize, Simulate, Act, Update, and Repeat (H-SAUR) is a probabilistic generative framework that generated hypotheses about objects articulate given input observed。 提案手法は,現在最先端のオブジェクト操作フレームワークよりも優れていることを示す。 我々は、学習に基づく視覚モデルから学習前の学習を統合することにより、H-SAURのテスト時間効率をさらに向上する。
  論文  参考訳（メタデータ） (2022-10-22T18:39:33Z)
• Skeleton-Based Mutually Assisted Interacted Object Localization and Human Action Recognition [111.87412719773889]
  本研究では,骨格データに基づく「相互作用対象の局所化」と「人間の行動認識」のための共同学習フレームワークを提案する。 本手法は,人間の行動認識のための最先端の手法を用いて,最高の,あるいは競争的な性能を実現する。
  論文  参考訳（メタデータ） (2021-10-28T10:09:34Z)
• Object and Relation Centric Representations for Push Effect Prediction [18.990827725752496]
  プッシュは、プレグレープ操作からシーンアレンジメントまでのタスクに使用される、非包括的操作スキルである。 本稿では,プッシュ動作の効果予測とパラメータ推定のためのグラフニューラルネットワークに基づくフレームワークを提案する。 本フレームワークは,異なる種類の接合体と異なる質量を有する物体を介して接続された異なる形状の多部オブジェクトを含む実環境と模擬環境の両方で検証される。
  論文  参考訳（メタデータ） (2021-02-03T15:09:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。