論文の概要: ThinkAfford: Affordance-Centric Reasoning for Fine-Grained 3D Grounding in Cluttered Scenes
- arxiv url: http://arxiv.org/abs/2608.10981v1
- Date: Tue, 11 Aug 2026 14:36:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:46.076679
- Title: ThinkAfford: Affordance-Centric Reasoning for Fine-Grained 3D Grounding in Cluttered Scenes
- Title(参考訳): ThinkAfford: きめ細かい3Dグラウンドのためのアクダクタンス中心推論
- Abstract要約: タスク駆動型3Dアベイランスグラウンドは,自然言語命令で指定された動作を可能にする散在する3Dシーンにおいて,機能領域をローカライズすることを目的としている。
本稿では,ThinkAffordについて紹介する。
- 参考スコア(独自算出の注目度): 32.732813539170635
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Task-driven 3D affordance grounding aims to localize the functional region in a cluttered 3D scene that enables an action specified by a natural-language instruction. Existing methods either predict 3D masks directly or construct them by selecting and fusing intermediate 2D/3D regions. However, they remain vulnerable to two intertwined failure modes: the predicted or selected regions may miss the target interaction area or have unsuitable granularity, while language grounding may confuse visually similar alternatives under relational instructions. To this end, we introduce ThinkAfford, which decouples high-recall affordance proposal generation from instruction-grounded reasoning. Specifically, the Affordance Proposal Generation module first uses learnable affordance prompts and multi-level visual features to predict interaction-conditioned heatmaps, extracting a variable number of fine-grained proposals without parsed object or part names as segmentation prompts. Visual-Prompted Affordance Reasoning then reasons over labeled proposal overlays using the full instruction, returning identifiers in a structured "think-then-answer" response. Moreover, Group Relative Policy Optimization uses proposal-level rewards from lifted 3D overlap to align VPAR selection with final 3D grounding. On the SceneFun3D validation split, ThinkAfford achieves 10.69% AP50 and 25.46% AP25 under the official evaluator, outperforming comparable 3D open-vocabulary and vision-language-model-based 2D-to-3D baselines. Module-level diagnostics further show that APG attains 77.5% recall at 25% intersection-over-union, while GRPO-trained VPAR achieves 72.1% selection accuracy on APG-covered queries, compared with 63.4% under supervised fine-tuning.
- Abstract(参考訳): タスク駆動型3Dアベイランスグラウンドは,自然言語命令で指定された動作を可能にする散在する3Dシーンにおいて,機能領域をローカライズすることを目的としている。
既存の方法は3Dマスクを直接予測するか、中間の2D/3D領域を選択して融合させて構成する。
予測された領域または選択された領域は、ターゲットの相互作用領域を見逃したり、不適切な粒度を持つ可能性があるが、言語基底は、リレーショナル命令の下で視覚的に類似した代替手段を混乱させる可能性がある。
この目的のためにThinkAffordを導入し、命令基底推論から高利払い提案を分離する。
具体的には、Affordance Proposal Generationモジュールは、まず学習可能な可読性プロンプトとマルチレベル視覚特徴を使用して、相互作用条件付きヒートマップを予測し、パースされたオブジェクトや部分名をセグメンテーションプロンプトとして使用せずに、多数のきめ細かい提案を抽出する。
Visual-Prompted Affordance Reasoningは、フルインストラクションを使用してラベル付き提案オーバーレイを無効にし、構造化された"inthink-then-answer"応答で識別子を返す。
さらに、グループ相対ポリシー最適化では、昇降した3Dオーバーラップからの提案レベル報酬を使用して、VPAR選択を最終3Dグラウンドと整合させる。
SceneFun3Dの検証分割では、ThinkAffordは公式評価で10.69%のAP50と25.46%のAP25を達成した。
モジュールレベルの診断により、APGは25%の交点で77.5%のリコールを達成し、GRPOで訓練されたVPARは72.1%の精度でAPGがカバーしたクエリを選択した。
関連論文リスト
- Back to the Feature: Zero-Shot 6DoF Pose Estimation via Dense Local Features [0.0]
RGB画像から見えない物体の6DoFポーズ推定のための訓練不要ゼロショット法であるB2oseを提案する。
B2oseは、タスク固有の微調整なしで、合成と現実のドメインギャップをまたいで一般化する、密集したパッチレベルの特徴を抽出する。
BOPベンチマークの7つのコアデータセットでは、B2oseは改善のない40.7の平均ARと56.4の洗練を実現している。
論文 参考訳(メタデータ) (2026-09-06T16:57:27Z) - Embodied Multimodal Grounding for Open-Vocabulary Mobile Manipulation via Semantic 3D Gaussian Splatting [4.473350810262674]
身体的移動操作には、言語、視覚的観察、3次元のシーン構造、実行前にアライメントされる動作の実現性が必要である。
本研究では,局所的な作業空間における少数ショット操作によるオープンボキャブラリターゲットグラウンドディングについて検討し,具体化されたマルチモーダルグラウンドディングフレームワークを提案する。
タスク駆動のローカルセマンティック3DGSは、アクティブセンシング、言語条件の3Dローカライゼーション、障害物認識シーン推論、ベース準備、アクションモデルのセマンティックコンディショニングをまたいだ共有インターフェースとして機能する。
論文 参考訳(メタデータ) (2026-08-11T10:16:30Z) - Open-Vocabulary and Referring Segmentation for 3D Gaussians Using 2D Detectors [4.720025219010595]
GaussDetは、個別のオープンな2Dオブジェクト検出器と参照表現機能を活用することで、密度の高いCLIP機能の必要性を回避する方法である。
我々のアプローチは、単純な言語クエリから複雑な参照グラウンドまで、単純でゼロショットの拡張を可能にします。
論文 参考訳(メタデータ) (2026-06-29T17:58:41Z) - SSR3D-LLM: Structured Spatial Reasoning via Latent Steps for Fine-Grained Grounding in Unified 3D-LLMs [20.639795141272394]
3Dオブジェクトグラウンドは、自然言語から参照オブジェクトを3Dシーンにローカライズする。
統一インスタンス中心の3D-LLMは、ダイアログ、QA、キャプションと共にグラウンド化を解決することを目的としている。
統一3D-LLMのための構造的接地インタフェースである構造的空間共振3D-LLMを提案する。
論文 参考訳(メタデータ) (2026-05-27T13:45:34Z) - MAPRPose: Mask-Aware Proposal and Amodal Refinement for Multi-Object 6D Pose Estimation [21.294005937994882]
MAPRPoseは2段階のフレームワークであり、プロポーズの提案や頑健な改善のためのアモーダル駆動型Regional-of-Interest(ROI)予測にマスク対応対応の対応を利用している。
BOPベンチマークで評価すると、MAPRPoseは最先端の平均リコール(AR)を76.5%達成し、FoundationPoseよりも3.1%向上し、マルチオブジェクト推論では43倍のスピードアップを実現している。
論文 参考訳(メタデータ) (2026-04-22T15:00:46Z) - 3DAffordSplat: Efficient Affordance Reasoning with 3D Gaussians [82.67236400004826]
人間の指示を3Dオブジェクトの機能領域に関連付けるためには,3D割当推論が不可欠である。
3DAffordSplatは3DGSベースの価格推論に適した,最初の大規模マルチモーダルデータセットである。
AffordSplatNetは,3DGS表現を用いた割当推論に特化して設計された新しいモデルである。
論文 参考訳(メタデータ) (2025-04-15T14:21:47Z) - ReasonGrounder: LVLM-Guided Hierarchical Feature Splatting for Open-Vocabulary 3D Visual Grounding and Reasoning [68.4209681278336]
Open-vocabulary 3D visual grounding and reasoningは、暗黙の言語記述に基づくシーン内のオブジェクトのローカライズを目的としている。
現在の方法は、3Dアノテーションとマスクの提案による微調整に大きく依存しているため、苦労している。
適応グルーピングのための階層型3次元特徴ガウス場を用いたLVLM誘導フレームワークであるReasonGrounderを提案する。
論文 参考訳(メタデータ) (2025-03-30T03:40:35Z) - AugRefer: Advancing 3D Visual Grounding via Cross-Modal Augmentation and Spatial Relation-based Referring [49.78120051062641]
3Dビジュアルグラウンドティングは、自然言語記述と対象物とを3Dシーン内で関連付けることを目的としている。
既存のアプローチでは、トレーニング用に利用可能なテキスト3Dペアが不足しているのが一般的である。
AugReferは3次元視覚的接地を前進させる新しい手法である。
論文 参考訳(メタデータ) (2025-01-16T09:57:40Z) - GOI: Find 3D Gaussians of Interest with an Optimizable Open-vocabulary Semantic-space Hyperplane [53.388937705785025]
3Dオープンボキャブラリのシーン理解は、拡張現実とロボット応用の推進に不可欠である。
GOIは2次元視覚言語基礎モデルから3次元ガウススプラッティング(3DGS)に意味的特徴を統合するフレームワークである。
提案手法では,特徴空間内の超平面分割として特徴選択処理を扱い,クエリに関連性の高い特徴のみを保持する。
論文 参考訳(メタデータ) (2024-05-27T18:57:18Z) - CAGroup3D: Class-Aware Grouping for 3D Object Detection on Point Clouds [55.44204039410225]
本稿では,CAGroup3Dという新しい2段階完全スパース3Dオブジェクト検出フレームワークを提案する。
提案手法は,まず,オブジェクト表面のボクセル上でのクラス認識型局所群戦略を活用することによって,高品質な3D提案を生成する。
不正なボクセルワイドセグメンテーションにより欠落したボクセルの特徴を回復するために,完全にスパースな畳み込み型RoIプールモジュールを構築した。
論文 参考訳(メタデータ) (2022-10-09T13:38:48Z) - ProposalContrast: Unsupervised Pre-training for LiDAR-based 3D Object
Detection [114.54835359657707]
ProposalContrastは、教師なしのポイントクラウド事前トレーニングフレームワークである。
地域提案と対比することで、堅牢な3D表現を学習する。
ProposalContrastは様々な3D検出器で検証される。
論文 参考訳(メタデータ) (2022-07-26T04:45:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。