論文の概要: Pro-Bench: Prompt-Robust Open-Vocabulary Visual Grounding Across Real-World Heterogeneous Environments
- arxiv url: http://arxiv.org/abs/2609.27076v1
- Date: Tue, 22 Sep 2026 21:16:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.775976
- Title: Pro-Bench: Prompt-Robust Open-Vocabulary Visual Grounding Across Real-World Heterogeneous Environments
- Title(参考訳): Pro-Bench: 実世界の異種環境をまたいだオープンボキャブラリビジュアルグラウンド
- Abstract要約: オープン語彙の視覚的グラウンド化のためのプロンプト条件付きベンチマークである textbfPro-Bench を紹介する。
Pro-Benchには、独立したロボットドメインから13k+$のRGBフレームが含まれている。
IoUしきい値のローカライゼーション精度、エンドツーエンドの推論遅延、インシデントによるパフォーマンス変動、ターゲット回復の整合性の測定を行う。
- 参考スコア(独自算出の注目度): 3.534082637890407
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Open-vocabulary visual grounding enables robots to localise task-relevant entities from natural-language queries without dependence on predefined perceptual taxonomies. However, existing benchmarks largely rely on short category labels and web-scraped imagery, leaving it unclear whether open-vocabulary models can robustly ground diverse queries and visual conditions under real deployments. We introduce \textbf{Pro-Bench}, a prompt-conditioned benchmark for open-vocabulary visual grounding in heterogeneous, real-world environments. Pro-Bench includes $13k+$ RGB frames from independent robotic domains (subterranean, industrial, indoor, outdoor, urban), with $74.5k$ manual instance annotations and $515$ target queries covering categorical, attributive, relational, affordance, state, part-whole, negative, and compositional semantics. We benchmarked $16$ open-vocabulary model configurations in strict zero-shot inference, measuring localisation accuracy across IoU thresholds, end-to-end inference latency, prompt-induced performance variation, and target recovery consistency. Our results show that prompt-robustness is strongly architecture-dependent. Most model configurations ($10/16$) perform best with short category labels, whereas free-form queries yield the highest accuracy for only one. Moreover, similar aggregate mAP can conceal substantial differences in consistent target recovery across reformulations. Pro-Bench enables systematic evaluation of these gaps and supports prompt-robust visual grounding. Pro-Bench: https://pro-bench.github.io/.
- Abstract(参考訳): Open-vocabulary visual groundingは、ロボットが事前に定義された知覚分類に依存しない自然言語クエリからタスク関連エンティティをローカライズすることを可能にする。
しかし、既存のベンチマークは主に短いカテゴリラベルとWebスクラッド画像に依存しており、オープン語彙モデルが実際のデプロイ下で多様なクエリや視覚条件を堅牢に構築できるかどうかは不明である。
異質な実世界環境におけるオープン語彙の視覚的グラウンド化のための,プロンプト条件付きベンチマークである \textbf{Pro-Bench} を紹介する。
Pro-Benchには、独立したロボットドメイン(地下、工業、屋内、屋外、都市)から13k+$のRGBフレームがあり、手動のインスタンスアノテーションは74.5k$、カテゴリー、属性、リレーショナル、価格、状態、部分全体、否定的、構成的セマンティクスを含む515ドルのターゲットクエリがある。
我々は、厳密なゼロショット推論で16ドルのオープン語彙モデル構成をベンチマークし、IoUしきい値のローカライゼーション精度、エンドツーエンドの推論レイテンシ、インシデントによるパフォーマンスの変化、ターゲットのリカバリ一貫性を測定した。
この結果から, 急速腐食性はアーキテクチャ依存に強く依存していることが示唆された。
ほとんどのモデル構成(10/16$)は短いカテゴリラベルでベストに機能するが、フリーフォームクエリは1つで最高の精度が得られる。
さらに、類似のアグリゲーションmAPは、リフォーメーション間の一貫した目標回復の実質的な違いを隠蔽することができる。
Pro-Benchはこれらのギャップを体系的に評価し、即席の視覚的接地をサポートする。
Pro-Bench: https://pro-bench.github.io/.com
関連論文リスト
- Agent-Orchestrated Adaptive RAG: A Comparative Study on Structured and Multi-Hop Retrieval [0.0]
Retrieval-Augmented Generation (RAG) は、言語モデル(LLM)を拡張し、その応答を外部知識に基盤付ける。
本稿では,動的クエリ分解,反復検索,および有界自己回帰評価ループを導入したエージェントオーケストレーション適応型RAGフレームワークを提案する。
論文 参考訳(メタデータ) (2026-06-04T03:38:46Z) - PARCEL: Pool-Anchored Resampling with Conditioned Elastic Queries for Efficient Vision-Language Understanding [88.17174909130188]
LVLM(Large Vision-Language Models)は、視覚的な入力を高密度なトークンシーケンスにマッピングし、推論に二次的な計算ボトルネックを与える。
特徴抽出の労力を動的に分配する視覚トークン化アーキテクチャであるPARCELを紹介する。
PARCELは、既存のマトリシカベースラインを「一度にトレーニングし、どこにでもデプロイする」パラダイムを保ちながら、視覚障害者の予算で一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2026-05-28T15:57:31Z) - Towards Open-World Referring Expression Comprehension: A Benchmark with Training-free Multi-task Consistency Checker [4.731771934553726]
Referring Expression comprehension (REC) は、所定の式に基づいて画像内の対象物をローカライズすることを目的としている。
OpenRefは複雑な視覚的および言語的シナリオにおけるRECの新しいベンチマークである。
論文 参考訳(メタデータ) (2026-05-25T11:05:37Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳(メタデータ) (2026-05-11T16:20:51Z) - PROFASR-BENCH: A Benchmark for Context-Conditioned ASR in High-Stakes Professional Speech [0.0]
ProfASR-Benchは、金融、医療、法律、技術全般にわたる高度な応用のためのプロフェッショナルトーク評価スイートである。
それぞれの例は、自然言語プロンプトとエンティティリッチなターゲット発話をペアリングし、コンテキスト条件認識の制御された計測を可能にする。
論文 参考訳(メタデータ) (2025-12-29T18:43:23Z) - DISCO: Diversifying Sample Condensation for Efficient Model Evaluation [59.01400190971061]
コスト評価は傾向を低下させ、イノベーションのサイクルを遅くし、環境への影響を悪化させる。
モデル応答の多様性を最大化するサンプルを選択することが重要となる。
我々のメソッドである$textbfDiversifying Sample Condensation (DISCO)$は、最も大きなモデル不一致を持つトップkサンプルを選択します。
論文 参考訳(メタデータ) (2025-10-09T08:53:59Z) - MR$^2$-Bench: Going Beyond Matching to Reasoning in Multimodal Retrieval [86.35779264575154]
マルチモーダル検索は、現代のAIアプリケーションにおいて重要なコンポーネントになりつつあるが、その評価は、より現実的で困難なシナリオの要求に遅れている。
マルチモーダル検索のための推論集約型ベンチマークであるMR$2$-Benchを紹介する。
論文 参考訳(メタデータ) (2025-09-30T15:09:14Z) - Semantic Library Adaptation: LoRA Retrieval and Fusion for Open-Vocabulary Semantic Segmentation [72.28364940168092]
オープン語彙セマンティックセグメンテーションモデルは、視覚とテキストを関連付け、テキストクエリを使用して未定義のクラスの集合からピクセルをラベル付けする。
本稿では,セマンティックライブラリ適応(Semantic Library Adaptation, SemLA)を紹介する。
論文 参考訳(メタデータ) (2025-03-27T17:59:58Z) - Robot Instance Segmentation with Few Annotations for Grasping [10.005879464111915]
セミスーパーバイザードラーニング(SSL)とラーニング・スルー・インタラクション(LTI)を組み合わせた新しいフレームワークを提案する。
提案手法は,自己スーパービジョンによる注釈付きデータを利用して,ラベルのない静止画像から生成された擬似シーケンスを用いて時間的コンテキストを組み込む。
本手法をARMBenchmix-object-toteとOCIDの2つのベンチマークで検証し,最先端性能を実現する。
論文 参考訳(メタデータ) (2024-07-01T13:58:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。