論文の概要: UniAfford: Token-Routed Multitask Learning for Generalizable 2D-3D Affordance Perception

• arxiv url: http://arxiv.org/abs/2609.37264v1
• Date: Tue, 29 Sep 2026 11:11:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.436699
• Title: UniAfford: Token-Routed Multitask Learning for Generalizable 2D-3D Affordance Perception
• Title（参考訳）: UniAfford: 一般化可能な2D-3D Affordance知覚のためのToken-Routed Multitask Learning
• Abstract要約: アクダクタンス知覚は、具体的相互作用をサポートする作用可能な領域を局在させることを目的としている。 タスク固有のブランチにコンテキスト的に隠された状態をルーティングするToken Router for Tasksを提案する。 このパラダイムを、一般化可能な2D-3D測度知覚のための統一的なフレームワークであるUniAffordとしてインスタンス化する。
• 参考スコア（独自算出の注目度）: 39.790998640025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Affordance perception aims to localize actionable regions supporting embodied interaction, yet 2D and 3D affordance grounding have evolved as separate problems, with different task definitions, supervision formats, datasets, and evaluation protocols. This fragmentation limits the learning of transferable object-affordance semantics across visual and geometric spaces. We propose Token Router for Tasks, a multitask training paradigm for MLLM-based systems that routes contextual hidden states to task-specific branches without requiring the language head to generate predefined markers. Routed states are supervised directly by branch-specific objectives, enabling dense prediction losses to shape shared MLLM representations. We instantiate this paradigm as UniAfford, a unified framework for generalizable 2D-3D affordance perception, together with UniAfford-Data, a dataset integrating pixel-level 2D annotations, point-level 3D annotations, and language instructions under a shared object-affordance taxonomy, supporting heterogeneous supervision through semantic-level 2D-3D pairing. UniAfford adopts an MLLM as a shared semantic hub and a modality-aware token router to produce image- and point-cloud-affordance queries. These queries respectively condition a SAM-style pixel decoder and a SONATA-based point decoder, enabling flexible 2D, 3D, and joint affordance inference from image-only, point-cloud-only, or paired multimodal inputs. Experiments demonstrate strong zero-shot generalization across 2D and 3D affordance benchmarks without target-specific fine-tuning, alongside state-of-the-art branch-wise performance under modality-isolated protocols. Ablations validate token routing, joint 2D-3D supervision, and decoder coupling, while language-head diagnostics show that routed latent states carry meaningful object-affordance semantics. Project page: https://4dvlab.github.io/UniAfford
• Abstract（参考訳）: Affordance Recognitionは、具体的相互作用をサポートする実行可能な領域をローカライズすることを目的としているが、2Dと3Dのアベイランスグラウンドは、異なるタスク定義、監督フォーマット、データセット、評価プロトコルを含む、別の問題として進化してきた。 この断片化は、視覚空間と幾何学空間をまたいだ伝達可能なオブジェクト・アフォード意味学の学習を制限する。 本稿では,MLLMベースのマルチタスク学習パラダイムであるToken Router for Tasksを提案する。 経路状態は枝特異的な目的によって直接管理され、密度の高い予測損失が共有MLLM表現を形成する。 UniAfford-Dataは、画素レベルの2Dアノテーション、ポイントレベルの3Dアノテーション、言語命令を統合したデータセットであり、セマンティックレベルの2D-3Dペアリングによる異種監視をサポートする。 UniAffordは、MLLMを共有セマンティックハブとModality-awareトークンルータとして採用し、画像とポイントクラウドのアダクタンスクエリを生成する。 これらのクエリはそれぞれSAMスタイルのピクセルデコーダとSONATAベースのポイントデコーダを条件とし、画像のみ、ポイントクラウドのみ、またはペア化されたマルチモーダル入力から柔軟な2D、3D、ジョイントアプライアンス推論を可能にする。 実験では、2Dおよび3Dアベイランスのベンチマークにおいて、目標固有の微調整を伴わない強力なゼロショット一般化と、モダリティアイソレーションプロトコル下での最先端のブランチワイド性能を実証した。 アブレーションはトークンルーティング、ジョイント2D-3Dの監視、デコーダの結合を検証し、言語ヘッド診断は、ルートされた潜在状態が有意義なオブジェクト・アフォード・セマンティクスを持つことを示す。 プロジェクトページ:https://4dvlab.github.io/UniAfford

関連論文リスト

• Hierarchical Collaborative Fusion for 3D Instance-aware Referring Expression Segmentation [91.2768117730855]
  一般化された3D参照式(3D-GRES)は、記述が複数またはゼロのターゲットと一致する場合でも、自然言語に基づいて3Dシーン内のオブジェクトをローカライズする。 既存の方法はスパース・ポイント・クラウドにのみ依存しており、きめ細かい説明のためのリッチ・ビジュアル・セマンティクスが欠如している。 HCF-RESは2つの重要なイノベーションを持つマルチモーダルフレームワークである。
  論文  参考訳（メタデータ） (2026-03-06T13:09:29Z)
• AffordBot: 3D Fine-grained Embodied Reasoning via Multimodal Large Language Models [20.05010202296243]
  エージェントが3Dシーンの各参照余剰要素、その位置、動きタイプ、動き軸について予測する必要がある。 本稿では,MLLM(Multimodal Large Language Models)とCoT(Chere-of-Thought)推論パラダイムを統合した新しいフレームワークであるAffordBotを提案する。 AffordBotは最先端のパフォーマンスを実現し、3Dポイントのクラウド入力とMLLMだけで強力な一般化と物理的根拠を持つ推論を実証する。
  論文  参考訳（メタデータ） (2025-11-13T06:43:00Z)
• Point Linguist Model: Segment Any Object via Bridged Large 3D-Language Model [51.02616473941499]
  大規模言語モデル(LLM)による3Dオブジェクトのセグメンテーションは、その広範囲なセマンティクス、タスクの柔軟性、強力な一般化により、広く普及しているパラダイムとなっている。 LLMは高レベルなセマンティックトークンを処理し、3次元の点雲は密度の高い幾何学的構造のみを伝達する。 本稿では,LLMと高密度3次元点雲の間の表現ギャップを橋渡しする一般フレームワークであるポイント言語モデル(PLM)を提案する。
  論文  参考訳（メタデータ） (2025-09-09T15:01:28Z)
• GeoSAM2: Unleashing the Power of SAM2 for 3D Part Segmentation [81.0871900167463]
  GeoSAM2は3次元部分分割のためのプロンプト制御可能なフレームワークである。 テクスチャのないオブジェクトが与えられた場合、事前に定義された視点から正規写像とポイントマップを描画する。 部品の選択をガイドするシンプルな2Dプロンプト(クリックやボックス)を受け入れます。 予測されたマスクはオブジェクトにバックプロジェクションされ、ビューに集約される。
  論文  参考訳（メタデータ） (2025-08-19T17:58:51Z)
• Struct2D: A Perception-Guided Framework for Spatial Reasoning in MLLMs [45.676171368987525]
  Struct2Dは、バードアイビュー(BEV)イメージとオブジェクトマークとオブジェクト中心のメタデータを組み合わせた知覚誘導プロンプトフレームワークである。 我々はStruct2Dを用いて,閉鎖音源MLLMの詳細なゼロショット解析を行う。 構造化された2次元入力を施すと、驚くほど強い空間推論能力が得られることがわかった。
  論文  参考訳（メタデータ） (2025-06-04T17:58:04Z)
• PD-APE: A Parallel Decoding Framework with Adaptive Position Encoding for 3D Visual Grounding [20.422852022310945]
  3Dビジュアルグラウンドは、特定の自然言語記述にマッチする3Dポイントクラウドシーン内のオブジェクトを特定することを目的としている。 これは、モデルが対象のオブジェクト自体にフォーカスするだけでなく、周囲の環境も考慮する必要がある。 本稿では,対象オブジェクト属性と周辺レイアウトを別々にデコードするデュアルブランチデコーディングフレームワークPD-APEを提案する。
  論文  参考訳（メタデータ） (2024-07-19T17:44:33Z)
• MMScan: A Multi-Modal 3D Scene Dataset with Hierarchical Grounded Language Annotations [55.022519020409405]
  本稿では,マルチモーダルな3Dシーンデータセットと階層型言語アノテーションを用いたベンチマーク,MMScanを構築した。 結果として得られたマルチモーダルな3Dデータセットは、109kオブジェクトと7.7kリージョン上の1.4Mメタアノテーション付きキャプションと、3Dビジュアルグラウンドと質問応答ベンチマークのための3.04M以上の多様なサンプルを含んでいる。
  論文  参考訳（メタデータ） (2024-06-13T17:59:30Z)
• 3DRP-Net: 3D Relative Position-aware Network for 3D Visual Grounding [58.924180772480504]
  3Dビジュアルグラウンドは、自由形式の言語記述によって、ターゲットオブジェクトを3Dポイントクラウドにローカライズすることを目的としている。 3次元相対位置認識ネットワーク(3-Net)という,関係性を考慮した一段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-25T09:33:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。