論文の概要: FORGE: Towards Functional Tool-Use Generalization via Keypoint Trajectory Reasoning
- arxiv url: http://arxiv.org/abs/2607.05780v1
- Date: Tue, 07 Jul 2026 03:10:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 21:24:51.37727
- Title: FORGE: Towards Functional Tool-Use Generalization via Keypoint Trajectory Reasoning
- Title(参考訳): FORGE:Keypoint Trajectory Reasoningによる機能ツールの汎用化を目指して
- Abstract要約: 特定のツールで訓練されたロボットは、同じ機能を新しいツールに転送できないことを示す。
本稿では,FORGE(FunctiOnal Reasoning and Grounded Execution)を提案する。
FORGEは、シミュレーションと現実世界の両方において、目に見えないツールの最先端の手法を一貫して上回っている。
- 参考スコア(独自算出の注目度): 36.557151261284595
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While humans readily repurpose a book, a stone, or a shoe to drive a nail, robots trained on specific tools fail to transfer the same function to novel ones -- a gap we formalize as functional generalization. Such tools share a common functional intent that is visually recognizable, yet this perceptual similarity does not carry over to action space, where each tool demands an entirely different motor pattern. To bridge this gap, we explore intermediate representations including affordance images, human video prompts, and 2D keypoint trajectories, finding that keypoint trajectories best balance functional expressiveness and action groundability. Building on this, we propose FunctiOnal Reasoning and Grounded Execution (FORGE), a two-stage policy that decouples functional reasoning from action execution: predicting generalizable keypoint trajectories from action-free data, then grounding them into robot actions with limited demonstrations. On a seven-tool hitting-function benchmark, FORGE consistently outperforms state-of-the-art methods on unseen tools in both simulation and the real world, achieving over 2X improvement in average success rate.
- Abstract(参考訳): 人間は簡単に本や石、靴を使って爪を動かすが、特定の道具で訓練されたロボットは同じ機能を新しいものに移すことができない。
このようなツールは、視覚的に認識可能な共通の機能的意図を共有するが、この知覚的類似性は、それぞれのツールが全く異なる運動パターンを要求するアクション空間に受け継がれない。
このギャップを埋めるために、我々は、空き画像、人間の映像プロンプト、および2Dキーポイント軌跡を含む中間表現を探索し、キーポイント軌跡が機能的表現性と行動的接地性に最も相応しいことを発見した。
そこで我々は,FORGE(FunctiOnal Reasoning and Grounded Execution)を提案する。FORGE(FunctiOnal Reasoning and Grounded Execution)は,動作実行から機能的推論を分離する2段階のポリシーである。
7toolのヒット機能ベンチマークでは、ForGEはシミュレーションと現実世界の両方で、最先端のツールを一貫して上回り、平均的な成功率で2倍以上の改善を実現している。
関連論文リスト
- CORE: Common Outcome Regularities from Action-Free Visual Demonstrations for Robot Manipulation [26.48033419994886]
COREは、視覚的なデモンストレーションから共通アウトカム規則を抽出するポリシー学習フレームワークである。
同じタスクで成功した軌道は多種多様であるが、その終端状態はしばしば安定したオブジェクト構成を共有する。
論文 参考訳(メタデータ) (2026-06-28T17:27:23Z) - Guava: An Effective and Universal Harness for Embodied Manipulation [74.34187069605844]
実装された操作能力を4Bオープンソースモデルに蒸留するエンドツーエンドのトレーニングパイプラインを開発した。
結果は、よく設計されたハーネスが、エンボディド操作のためのスケーラブルでモデルに依存しないインターフェースとして機能することを示唆している。
論文 参考訳(メタデータ) (2026-06-16T18:09:26Z) - AFUN: Towards an Affordance Foundation Model for Functionality Understanding [12.890216832485647]
我々は,機能理解のための手頃な基礎モデルに向けたステップとして,我々のモデルを提示する。
我々は、異種ロボット、人間、シミュレーション、現実世界のスキャンデータを共有価格スキーマに変換する大規模な標準化データパイプラインを構築します。
私たちのモデルは、4つのベンチマークから8つのテストセットにまたがる大きなマージンで、すべてのベースラインを上回ります。
論文 参考訳(メタデータ) (2026-06-01T17:50:16Z) - ArtiSG: Functional 3D Scene Graph Construction via Human-demonstrated Articulated Objects Manipulation [51.54082859171464]
ArtiSGは、人間のデモを構造化されたロボットメモリにエンコードすることで、機能的な3Dシーングラフを構築するフレームワークである。
本研究では,ArtiSGが機能的要素リコールおよび調音推定精度において,ベースラインを著しく上回ることを示す。
論文 参考訳(メタデータ) (2025-12-31T13:10:40Z) - Adaptive Inverse Kinematics Framework for Learning Variable-Length Tool Manipulation in Robotics [0.0]
従来のロボットはキネマティクスの知識が限られており、事前にプログラムされたタスクに限られている。
本稿では,ロボットの逆運動学解法の性能向上のための先駆的なフレームワークを提案する。
我々のモデルは、異なる長さの2つの異なるツールを使用する場合、ほぼ区別不可能な性能を達成する。
論文 参考訳(メタデータ) (2025-10-30T14:44:24Z) - FUNCanon: Learning Pose-Aware Action Primitives via Functional Object Canonicalization for Generalizable Robotic Manipulation [25.631729484747087]
我々は、長い水平操作タスクをアクションチャンクのシーケンスに変換するフレームワークであるFunCanonを紹介した。
これらのチャンクは、独立したタスクではなく、アクション自体にポリシー学習を重点を置いています。
シミュレーションおよび実世界のベンチマークの実験では、カテゴリレベルの一般化、クロスタスクの振る舞いの再利用、堅牢なsim2realデプロイメントが示されている。
論文 参考訳(メタデータ) (2025-09-23T14:49:05Z) - SIGHT: Synthesizing Image-Text Conditioned and Geometry-Guided 3D Hand-Object Trajectories [124.24041272390954]
手動物体の相互作用をモデル化することは、ロボットと具体化されたAIシステムを前進させる大きな可能性を秘めている。
SIGHTは、1つの画像から現実的で物理的に妥当な3Dハンドオブジェクトインタラクショントラジェクトリを生成することに焦点を当てた,新しいタスクである。
SIGHT-Fusionは,データベースから最もよく似た3Dオブジェクトメッシュを抽出し,この課題に対処する,新しい拡散型画像文条件付き生成モデルを提案する。
論文 参考訳(メタデータ) (2025-03-28T20:53:20Z) - Learning Granularity-Aware Affordances from Human-Object Interaction for Tool-Based Functional Dexterous Grasping [27.124273762587848]
オブジェクトの付加的な特徴は、エージェントとオブジェクト間の機能的な相互作用のブリッジとして機能する。
機能的空き地を特定するための粒度対応型空き地特徴抽出法を提案する。
握り動作の予測には手動物体間相互作用領域で高活性な粗粒度機能を用いる。
GAAF-Dexは、人間と物体の相互作用からグラニュラリティ・アウェア・アフォーダンスを学習する完全なフレームワークである。
論文 参考訳(メタデータ) (2024-06-30T07:42:57Z) - Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。
私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。
学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
論文 参考訳(メタデータ) (2024-05-02T17:56:55Z) - Ag2Manip: Learning Novel Manipulation Skills with Agent-Agnostic Visual and Action Representations [77.31328397965653]
Ag2Manip(Agent-Agnostic representations for Manipulation)は,2つの重要なイノベーションを通じて課題を克服するフレームワークである。
人間の操作ビデオから派生した新しいエージェント非依存の視覚表現であり、その具体的特徴は一般化性を高めるために隠蔽された。
ロボットのキネマティクスを普遍的なエージェントプロキシに抽象化し、エンドエフェクタとオブジェクト間の重要な相互作用を強調するエージェント非依存のアクション表現。
論文 参考訳(メタデータ) (2024-04-26T16:40:17Z) - Model-Based Visual Planning with Self-Supervised Functional Distances [104.83979811803466]
モデルに基づく視覚的目標達成のための自己監視手法を提案する。
私たちのアプローチは、オフラインでラベルなしのデータを使って完全に学習します。
このアプローチは,モデルフリーとモデルベース先行手法の両方で大幅に性能が向上することがわかった。
論文 参考訳(メタデータ) (2020-12-30T23:59:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。