論文の概要: What Objects Enable, Not What They Are: Functional Latent Spaces for Affordance Reasoning
- arxiv url: http://arxiv.org/abs/2606.05533v1
- Date: Thu, 04 Jun 2026 00:26:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-05 22:39:44.448944
- Title: What Objects Enable, Not What They Are: Functional Latent Spaces for Affordance Reasoning
- Title(参考訳): オブジェクトは何が可能で、それが何であるかではない - 時間的推論のための機能的遅延空間
- Authors: Rohan Siva, Neel P. Bhatt, Yunhao Yang, Seoyoung Lee, Nishant Gadde, Christian Ellis, Alvaro Velasquez, Zhangyang Wang, Ufuk Topcu,
- Abstract要約: 可視光を可視光空間(可視光空間)にマッピングする「A4D」を導入する。
A4Dは、既存の価格で94%の推測精度を達成し、最先端のアプローチを15%以上上回っている。
- 参考スコア(独自算出の注目度): 54.28588463236958
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing robot planning systems rely on appearance-based reasoning, where visual observations are encoded into latent spaces organized around object appearances (e.g., recognizing a "cart" based on how it looks). However, planning requires reasoning about task-relevant functionalities of objects (e.g., whether an object is "movable"), which appearance-based latent spaces do not capture. As a result, existing approaches struggle to generalize to novel robot-object interactions. We address this limited generalizability through affordance reasoning, enabling planning based on task-relevant object functionalities instead of appearance alone. We introduce A4D, which maps visual observations into a shared latent space structured around affordances (e.g., "movable"). By projecting visual observations into this functional latent space and measuring their proximity to affordances, A4D infers functionalities relevant to the observed object. Furthermore, we introduce an affordance discovery mechanism that expands the latent space to handle unseen scenarios where existing affordances are insufficient. A4D uses proximity in the functional latent space to quantify uncertainty in affordance inference and selectively triggers affordance discovery. We evaluate A4D across several planning tasks involving diverse and unseen affordances. A4D achieves 94% inference accuracy on existing affordances outperforming state-of-the-art approaches by over 15% points, improves new-affordance inference accuracy from 70% to over 90% with fewer than 10% of the original training data, and enables 100x faster inference. Code, videos, and data available at: https://A4Dance-reasoning.github.io.
- Abstract(参考訳): 既存のロボット計画システムは外見に基づく推論に依存しており、視覚的な観察は物体の外観を囲む潜在空間に符号化される(例えば、その見た目に基づいて「カート」を認識する)。
しかし、計画には、オブジェクトのタスク関連機能(例えば、オブジェクトが「移動可能」かどうか)を推論する必要がある。
その結果、既存のアプローチは、新しいロボットとオブジェクトの相互作用を一般化するのに苦労している。
本稿では,この限定的な一般化性を,外見のみではなく,タスク関連オブジェクト機能に基づく計画を可能にすることで解決する。
可視光を可視光空間(可視光空間)にマッピングする「A4D」を導入する。
この機能的潜伏空間に視覚的観察を投影し、その近接距離を測ることで、A4Dは観測対象物に関連する機能を推測する。
さらに,既存の空き地が不十分な未確認シナリオを扱うために,潜伏空間を拡張した空き地探索機構を導入する。
A4Dは機能的な潜伏空間に近接して、余剰推論の不確実性を定量化し、余剰発見を選択的に引き起こす。
我々はA4Dを多様で見当たらない価格を含む複数の計画課題で評価した。
A4Dは、最先端のアプローチを15%以上のポイントで上回る既存の価格で94%の推論精度を実現し、元のトレーニングデータの10%未満で、新しい予測精度を70%から90%以上改善し、100倍高速な推論を可能にする。
コード、ビデオ、データは、https://A4Dance-reasoning.github.io.comで公開されている。
関連論文リスト
- Spatial4D-Bench: A Versatile 4D Spatial Intelligence Benchmark [68.52969403388082]
人間は自然に4D空間知能を持ち、推論能力の幅広い範囲を支えている。
MLLM(Multimodal Large Language Models)は,人間レベル4次元空間知能をどの程度達成できるのか?
本研究では,MLLMの4次元空間推論能力を評価するために,多目的な4次元空間インテリジェンスベンチマークであるSpatial4D-Benchを提案する。
論文 参考訳(メタデータ) (2025-12-31T19:56:51Z) - SURPRISE3D: A Dataset for Spatial Understanding and Reasoning in Complex 3D Scenes [105.8644620467576]
Stextscurprise3Dは複雑な3次元シーンにおける言語誘導空間推論のセグメンテーションを評価するために設計された新しいデータセットである。
Stextscurprise3Dは、ScanNet++ v2から900以上の詳細な屋内シーンにわたる200k以上の視覚言語ペアで構成されている。
データセットには、オブジェクト名なしで意図的に作成される89k以上の人間アノテーション付き空間クエリが含まれている。
論文 参考訳(メタデータ) (2025-07-10T14:01:24Z) - Grounding 3D Object Affordance with Language Instructions, Visual Observations and Interactions [43.784500616459304]
本稿では,言語指導,視覚的観察,インタラクションに基づく3次元オブジェクトの可利用性に基づく新しいタスクを提案する。
LMAffordance3Dは,最初のマルチモーダルな言語誘導型3Dアベイランスグラウンドティングネットワークである。
論文 参考訳(メタデータ) (2025-04-07T05:38:23Z) - Structured Spatial Reasoning with Open Vocabulary Object Detectors [2.089191490381739]
オブジェクト間の空間的関係に関する推論は多くの実世界のロボット作業において不可欠である。
我々は、リッチな3次元幾何学的特徴と最先端のオープンボキャブラリオブジェクト検出器を統合する構造的確率的アプローチを導入する。
この手法は、空間推論タスクにおける最先端ビジョン・言語モデル(VLM)のゼロショット性能を評価・比較する。
論文 参考訳(メタデータ) (2024-10-09T19:37:01Z) - Grounding 3D Object Affordance from 2D Interactions in Images [128.6316708679246]
接地した3Dオブジェクトは、3D空間内のオブジェクトの'アクション可能性'領域を見つけようとする。
人間は、実演画像やビデオを通じて、物理的世界の物体の余裕を知覚する能力を持っている。
我々は、異なるソースからのオブジェクトの領域的特徴を整合させる、インタラクション駆動の3D Affordance Grounding Network (IAG) を考案する。
論文 参考訳(メタデータ) (2023-03-18T15:37:35Z) - 4D Unsupervised Object Discovery [53.561750858325915]
本研究では,3次元点雲と2次元RGB画像の時間的情報を用いた4次元データからオブジェクトを共同で検出する4次元非教師対象探索を提案する。
本稿では,2次元ローカライゼーションネットワークで協調的に最適化された3次元点雲上にClusterNetを提案することで,この課題に対する最初の実践的アプローチを提案する。
論文 参考訳(メタデータ) (2022-10-10T16:05:53Z) - Revealing Occlusions with 4D Neural Fields [19.71277637485384]
コンピュータビジョンシステムが動的に動作するためには、オブジェクトの永続性を表現し、推論できる必要がある。
本研究では,モノクロ時間から4次元視覚表現を推定する学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-04-22T20:14:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。