論文の概要: UniRAP: Towards Unified Part-level Physical Affordance Reasoning and Actionable Perception

• arxiv url: http://arxiv.org/abs/2610.29768v1
• Date: Wed, 21 Oct 2026 14:02:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.253387
• Title: UniRAP: Towards Unified Part-level Physical Affordance Reasoning and Actionable Perception
• Title（参考訳）: UniRAP:Unified Part-level Physical Affordance ReasoningとActionable Perceptionを目指して
• Abstract要約: 部分レベルの物理量と言語命令を幾何学的表現にマッピングするための統一モデルUniRAPを提案する。 実測可能な接触形状を予測するために,オブジェクト検出,部分レベル割当セグメンテーション,相互作用ポーズ推定を共同で行うUnified Affordance Decoder (UAD)を導入する。 さらに、一般の視覚的パーシングから相互作用認識へのモデルを段階的に適応するカリキュラムベースのトレーニング戦略を提案する。
• 参考スコア（独自算出の注目度）: 14.867152512801482
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language perception has achieved impressive progress in aligning natural language with visual observations, yet grounding high-level semantics into part-level physical interaction remains challenging. To address this gap, we propose UniRAP, a unified model for inferring part-level physical affordances and mapping language instructions to actionable geometric representations. UniRAP formulates this problem as a conditional multimodal generation task, integrating visual inputs, textual instructions, and optional prompts into a shared spatiotemporal representation space through a unified interface token mechanism. To predict executable contact geometry, we introduce a Unified Affordance Decoder (UAD), which jointly performs object detection, part-level affordance segmentation, and 4-DoF interaction pose estimation by leveraging intermediate segmentation features. In addition, we propose a curriculum-based transfer training strategy that progressively adapts the model from general visual parsing to interaction-aware perception, improving data efficiency under limited textual annotations. Experiments show that UniRAP achieves state-of-the-art performance on referring expression segmentation, affordance grounding, and interaction pose estimation, while maintaining strong spatiotemporal consistency in dynamic video scenarios. These results demonstrate the effectiveness of UniRAP as a unified perception framework for language-guided physical manipulation.
• Abstract（参考訳）: 視覚言語知覚は、自然言語を視覚的な観察と整合させるという目覚ましい進歩を達成しているが、高レベルの意味論を部分レベルの物理的相互作用に基礎付けることは依然として困難である。 このギャップに対処するために、部分レベルの物理量と言語命令を実行可能な幾何学的表現にマッピングするための統一モデルUniRAPを提案する。 UniRAPはこの問題を条件付きマルチモーダル生成タスクとして定式化し、視覚入力、テキスト命令、オプションプロンプトを統一インターフェーストークン機構を通じて共有時空間に組み込む。 本研究では,オブジェクト検出,部分レベル割当セグメンテーション,および中間セグメンテーション機能を利用した4-DoFインタラクションポーズ推定を共同で行うUnified Affordance Decoder (UAD)を提案する。 さらに、一般の視覚的パーシングからインタラクション認識へのモデルを段階的に適応させ、限られたテキストアノテーションの下でデータ効率を向上させるカリキュラムベースのトランスファートレーニング戦略を提案する。 実験により、UniRAPは、動的ビデオシナリオにおいて強い時空間一貫性を維持しつつ、表現のセグメンテーション、アベイランスグラウンドディング、相互作用のポーズ推定において最先端のパフォーマンスを達成することが示された。 これらの結果から,UniRAPを言語誘導物理操作のための統合認識フレームワークとしての有効性が示された。

関連論文リスト

• SLIP: Segmentation with Low-latency Interactive Prompting for 3D Medical Images [58.57521567704563]
  本稿では,対話型3次元医用画像セグメンテーションのためのエンドツーエンドのトレーニング可能なフレームワークSLIPを提案する。 画像表現と対話的推論を分離することにより、SLIPは相互作用の遅延を大幅に低減する。 SLIPは、13のパブリックデータセットにわたるSOTAインタラクティブセグメンテーション性能を達成する。
  論文  参考訳（メタデータ） (2026-07-24T14:12:02Z)
• InterPartAbility: Text-Guided Part Matching for Interpretable Person Re-Identification [15.419626926769595]
  TI-ReIDは、画像の大きなギャラリーからトップマッチした個人を検索するために、自然言語によるテキスト記述に依存している。 既存のTI-ReIDの解釈可能性アプローチは、参加する領域をハイライトするためにスロットアテンションのみに依存している。 本稿では,部分的マッチングを明示する解釈可能なTI-ReID法であるInterPartを紹介する。
  論文  参考訳（メタデータ） (2026-04-29T19:18:36Z)
• Beyond Global Alignment: Fine-Grained Motion-Language Retrieval via Pyramidal Shapley-Taylor Learning [56.6025512458557]
  動き言語検索は、自然言語と人間の動きの間の意味的ギャップを埋めることを目的としている。 既存のアプローチは主に、全動作シーケンスとグローバルテキスト表現の整合性に重点を置いている。 本研究では,微粒な動き言語検索のためのPST学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-29T16:00:12Z)
• Contextualized Representation Learning for Effective Human-Object Interaction Detection [17.242400169885453]
  ヒューマンオブジェクトインタラクション(HOI)検出は、人間オブジェクトのペアを同時にローカライズし、その相互作用を認識することを目的としている。 本研究では,条件付き推論と文脈的プロンプトを統合した文脈適応型表現学習を提案する。 提案手法は, HICO-DetデータセットとV-COCOデータセットの両方において, 多くのシナリオにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2025-09-16T08:03:16Z)
• Deformable Attentive Visual Enhancement for Referring Segmentation Using Vision-Language Model [0.8747606955991707]
  本稿では,セグメンテーションの精度とモーダル間のアライメントを向上させるために,アーキテクチャの改善を取り入れた視覚言語モデルを提案する。 SegVLMは多様なデータセットをまたいだ強力な一般化と表現シナリオの参照を示す。
  論文  参考訳（メタデータ） (2025-05-25T17:42:53Z)
• Aligning and Prompting Everything All at Once for Universal Visual Perception [79.96124061108728]
  APEは、さまざまなタスクを実行するために、すべてのことを一度に調整し、促す、普遍的な視覚知覚モデルである。 APEは、言語誘導接地をオープン語彙検出として再構成することで、検出と接地の収束を推し進める。 160以上のデータセットの実験では、APEが最先端のモデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2023-12-04T18:59:50Z)
• Fine-Grained Semantically Aligned Vision-Language Pre-Training [151.7372197904064]
  大規模な視覚言語による事前学習は、幅広い下流タスクにおいて顕著な進歩を見せている。 既存の手法は主に、画像とテキストのグローバルな表現の類似性によって、モーダル間のアライメントをモデル化する。 ゲーム理論的相互作用の新たな視点から, 微粒なセマンティックアライメントを学習する, 微粒なセマンティックなvisiOn-langUage PrEトレーニングフレームワークであるLOを導入する。
  論文  参考訳（メタデータ） (2022-08-04T07:51:48Z)
• Phrase-Based Affordance Detection via Cyclic Bilateral Interaction [17.022853987801877]
  我々は、視覚言語の観点から、手当を知覚し、困難なフレーズベースの手当検出問題を考察する。 言語と視覚の特徴を段階的に整合させるために,循環的二元整合性向上ネットワーク(CBCE-Net)を提案する。 具体的には、CBCE-Netは、視覚と言語の共通した特徴を進歩的に更新する相互指導型視覚言語モジュールと、循環的に物体との相互作用の認識を容易にする循環的相互作用モジュール(CIM)から構成される。
  論文  参考訳（メタデータ） (2022-02-24T13:02:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。