論文の概要: SceneFunRI: Reasoning the Invisible for Task-Driven Functional Object Localization
- arxiv url: http://arxiv.org/abs/2605.14704v1
- Date: Thu, 14 May 2026 11:21:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-15 21:45:34.791104
- Title: SceneFunRI: Reasoning the Invisible for Task-Driven Functional Object Localization
- Title（参考訳）: SceneFunRI:タスク駆動型関数型オブジェクトのローカライゼーションに見えない理由
- Abstract要約: Invisibleの推論のためのベンチマークであるSceneFunRIを紹介する。
SceneFunRIはSceneFun3Dデータセットに基づいて、タスクを2次元空間推論問題として定式化する。
タスク命令やコモンセンス推論から見えない機能オブジェクトの位置を推測するモデルが必要である。
- 参考スコア（独自算出の注目度）: 19.363096374067403
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In real-world scenes, target objects may reside in regions that are not visible. While humans can often infer the locations of occluded objects from context and commonsense knowledge, this capability remains a major challenge for vision-language models (VLMs). To address this gap, we introduce SceneFunRI, a benchmark for Reasoning the Invisible. Based on the SceneFun3D dataset, SceneFunRI formulates the task as a 2D spatial reasoning problem via a semi-automatic pipeline and comprises 855 instances. It requires models to infer the locations of invisible functional objects from task instructions and commonsense reasoning. The strongest baseline model (Gemini 3 Flash) only achieves an CAcc@75 of 15.20, an mIoU of 0.74, and a Dist of 28.65. We group our prompting analysis into three categories: Strong Instruction Prompting, Reasoning-based Prompting, and Spatial Process of Elimination (SPoE). These findings indicate that invisible-region reasoning remains an unstable capability in current VLMs, motivating future work on models that more tightly integrate task intent, commonsense priors, spatial grounding, and uncertainty-aware search.
- Abstract（参考訳）: 現実世界のシーンでは、対象のオブジェクトは見えない領域に存在することがある。
人間は文脈や常識的知識から隠蔽された物体の位置を推測することができるが、この能力は視覚言語モデル(VLM)にとって大きな課題である。
このギャップに対処するために、私たちはSceneFunRIを紹介します。
SceneFunRIはSceneFun3Dデータセットに基づいて、半自動パイプラインを介して2次元空間推論問題としてタスクを定式化し、855インスタンスからなる。
タスク命令やコモンセンス推論から見えない機能オブジェクトの位置を推測するモデルが必要である。
最も強力なベースラインモデル(Gemini 3 Flash)は、CAcc@75が15.20、mIoUが0.74、Distが28.65である。
我々は,Strong Instruction Prompting,Reasoning-based Prompting,Spatial Process of Elimination (SPoE)の3つのカテゴリに分けた。
これらの結果は、現在のVLMでは見えない領域推論が不安定な機能であり続けており、タスク意図、コモンセンス先行、空間的接地、不確実性認識探索をより緊密に統合するモデルへの将来の取り組みを動機付けていることを示している。
関連論文リスト
- SceneBench: A Hierarchical Benchmark for Vision-Language Understanding of 3D Scenes [12.672496253081258]
視覚言語モデルは2次元画像理解において優れるが、3次元空間推論においては限定的である。
ガウススプラッティングで再構成した966枚のフォトリアリスティックな3DシーンのベンチマークであるSceneBenchを紹介する。
SceneBenchは、きめ細かい空間推論が可能なモデルの開発と評価のための現実的なテストベッドを提供する。
論文 参考訳（メタデータ） (2026-09-14T18:59:13Z) - SceneTeract: Agentic Functional Affordances and VLM Grounding in 3D Scenes [49.117927512531715]
我々はエージェント固有の制約の下で3Dシーン機能を検証するフレームワークであるSceneTeractを紹介する。
SceneTeractは複雑なアクティビティをアトミックアクションのシーケンスに分解し、アクセシビリティ要求に対して各ステップを検証する。
具体化された3Dシーン理解における知覚と身体的現実を橋渡しするSceneTeract検証スイートとデータをリリースする。
論文 参考訳（メタデータ） (2026-03-31T14:31:18Z) - SpatiaLQA: A Benchmark for Evaluating Spatial Logical Reasoning in Vision-Language Models [60.088066516175026]
視覚言語モデル(VLM)の空間論理的推論能力を評価するためのベンチマークを導入する。
41の主流VLMに対して広範な実験を行い、最も先進的なモデルでさえも空間的論理的推論に苦戦していることを示す。
本稿では,視覚基盤モデルを利用して複雑なシーンをタスク関連シーングラフに段階的に分解する再帰的シーングラフ支援手法を提案する。
論文 参考訳（メタデータ） (2026-02-24T13:38:37Z) - Referring Expressions as a Lens into Spatial Language Grounding in Vision-Language Models [22.672848927658958]
視覚言語モデル(VLM)による空間推論評価のためのプラットフォームとして参照表現タスクを提案する。
このプラットフォームは,1)対象検出の曖昧さ,2)より長い文構造と複数の空間関係を持つ複雑な空間表現,3)否定を伴う表現("not")について,空間的理解と接地能力のより深い分析を行う機会を提供する。
本研究は,これらの課題と行動に注目し,研究のギャップと今後の方向性について考察する。
論文 参考訳（メタデータ） (2025-11-08T21:43:09Z) - Spatial Reasoning in Foundation Models: Benchmarking Object-Centric Spatial Understanding [8.202861909913791]
基礎モデルにおけるオブジェクト中心空間推論のベンチマークを示す。
グラウンディングディーノやOWLv2のような検出器は、リレーショナル推論に制限のある正確なボックスを提供する。
本研究は,地域化と真の空間理解のギャップを強調し,地域社会における空間認識基盤モデルの必要性を指摘する。
論文 参考訳（メタデータ） (2025-09-26T06:06:19Z) - FlySearch: Exploring how vision-language models explore [5.7210882663967615]
複雑な場面でオブジェクトを検索してナビゲートするための3D,屋外,環境であるFlySearchを紹介した。
我々は最先端のビジョン・ランゲージ・モデル(VLM)が、最も単純な探索作業でさえ確実に解決できないことを観察する。
我々は、視覚からコンテキスト誤解、タスク計画失敗に至るまで、中心的な原因のセットを特定し、それらの一部が微調整によって対処可能であることを示す。
論文 参考訳（メタデータ） (2025-06-03T14:03:42Z) - CAPTURe: Evaluating Spatial Reasoning in Vision Language Models via Occluded Object Counting [59.830657530592255]
Amodally for Patterns Through Unseen Regions (CAPTURe)は、視覚言語モデルを評価するためのテストベッドである。
CAPTUReでは、4つの強力な視覚言語モデルを評価し、隠蔽パターンと隠蔽パターンの両方でモデルがカウントできないことを発見した。
論文 参考訳（メタデータ） (2025-04-21T23:38:43Z) - Mind the Gap: Benchmarking Spatial Reasoning in Vision-Language Models [14.442394137843923]
本稿では,まず空間的推論のコア要素を記述した詳細な分析を行う。
次に、これらのモデルの性能を、合成画像と実画像の両方で評価する。
論文 参考訳（メタデータ） (2025-03-25T14:34:06Z) - Why Is Spatial Reasoning Hard for VLMs? An Attention Mechanism Perspective on Focus Areas [69.56484419619919]
機械的解釈可能性のレンズによる空間的推論の課題について検討する。
空間的推論の成功は、実際の物体の位置と注意を一致させるモデルの能力と強く相関している。
本研究の目的は,ADAPTVISを用いて,信頼性の高い地域への注意を喚起することである。
論文 参考訳（メタデータ） (2025-03-03T17:57:03Z) - SpatialRGPT: Grounded Spatial Reasoning in Vision Language Models [68.13636352687257]
VLMの空間知覚と推論能力を高めるために空間領域GPT(SpatialRGPT)を導入する。
推測中、ユーザが指定した領域の提案が提供されると、SpatialRGPTは相対的な方向と距離を正確に知覚できる。
本研究では,空間的推論タスクにおける局所的プロンプトと非局所的プロンプトの双方において,空間的RGPTにより性能が著しく向上することを示す。
論文 参考訳（メタデータ） (2024-06-03T17:59:06Z) - Object Manipulation via Visual Target Localization [64.05939029132394]
オブジェクトを操作するための訓練エージェントは、多くの課題を提起します。
本研究では,対象物体を探索する環境を探索し,位置が特定されると3次元座標を計算し,対象物が見えない場合でも3次元位置を推定する手法を提案する。
評価の結果,同じ感覚スイートにアクセス可能なモデルに比べて,成功率が3倍に向上したことが示された。
論文 参考訳（メタデータ） (2022-03-15T17:59:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。