論文の概要: Surrogate Uncertainty for Black-box Visual Grounding

• arxiv url: http://arxiv.org/abs/2610.39798v2
• Date: Sat, 31 Oct 2026 06:55:39 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:16:40.395195
• Title: Surrogate Uncertainty for Black-box Visual Grounding
• Title（参考訳）: ブラックボックス視覚接地におけるサロゲート不確かさ
• Abstract要約: 視覚的な接地は、ロボットが視覚的な観察で言語指導を理解するために不可欠である。 本稿では,ロボットがブラックボックス・ビジョン・ランゲージ・モデルを用いて,対象物を対象とする自由形自然言語命令を接地する,視覚的接地不確実性の問題に対処する。
• 参考スコア（独自算出の注目度）: 16.612125494329316
• License:
• Abstract: Visual grounding is crucial for robots to understand language instructions with visual observations. This paper addresses the problem of visual grounding uncertainties, where a robot uses a black-box vision-language model (VLM) to ground free-form natural-language instructions to target objects. Prevailing methods derive uncertainty from the VLM itself. Yet, outputs of the VLM, e.g., generated uncertainties, are from the same parameters and structures producing the predictions, and inherit the bias. We give a formal Bayesian definition of the problem that treats the VLM prediction as an observation. An external surrogate Bayesian model then quantifies per-query uncertainty over a local neighborhood of a held-out calibration set, decomposed into aleatoric and epistemic components. A hierarchical retrieval across input modalities realizes a compact joint-space neighborhood, mitigating the curse of dimensionality. The estimator further integrates with conformal prediction or model-based planning for active visual grounding, where robots are allowed to take verbal or physical actions to ground targets. Across grounding benchmarks and state-of-the-art VLMs, it consistently improves both calibration and task performance. On a real Fetch robot under open-world instructions, it enables principled trade-offs between confident action and information gathering, substantially improving robustness.
• Abstract（参考訳）: 視覚的な接地は、ロボットが視覚的な観察で言語指導を理解するために不可欠である。 本稿では,ロボットがブラックボックス視覚言語モデル(VLM)を用いて,対象物を対象とする自由形自然言語命令を接地する,視覚的接地不確実性の問題に対処する。 一般的な方法は、VLM自体から不確実性をもたらす。 しかし、VLMの出力、例えば生成された不確実性は、予測を生成する同じパラメータと構造からなり、バイアスを継承する。 我々は、VLM予測を観察として扱う問題のベイズ的定義を定式化する。 外部サロゲートベイズモデル(英語版)は、保持されたキャリブレーションセットの局所的な近傍におけるクエリごとの不確かさを定量化し、アレタリック成分とエピステミック成分に分解する。 入力モダリティ間の階層的検索は、次元の呪いを緩和するコンパクトな共同空間近傍を実現する。 推定器はさらに、ロボットが目標に向かって言葉または身体的行動をとることを許される、アクティブな視覚的接地のための共形予測やモデルに基づく計画と統合される。 グラウンドベンチマークや最先端のVLMでは、キャリブレーションとタスクパフォーマンスが一貫して改善されている。 実のFetchロボットは、オープンワールドの指示の下で、自信ある行動と情報収集のトレードオフを原則として実現し、堅牢性を大幅に向上する。

関連論文リスト

• VLMs Can Describe, But Not Measure: Object-Centric Scene Understanding for Robotic Manipulation [8.817958616421494]
  既成の手法を用いたシーン理解のためのVLM駆動型モジュール型認識フレームワークを提案する。 151面のテーブルトップシーンにおける実験により,提案した分解は強いセマンティック性能を保っていることが示された。 結果の表現は、ロボット実行のためのタスク計画フレームワークとも統合される。
  論文  参考訳（メタデータ） (2026-09-23T14:26:22Z)
• Two Bridges, One Pathway: From VLMs to Generalizable VLAs with Embodied Trajectory-Coupled Data [93.7685703383343]
  視覚言語モデル(VLM)は強力な汎用推論器であるが、ロボット制御ポリシーに変換することは驚くほど難しい。 このギャップは、適切な中間データで徐々にブリッジできると我々は主張する。 本研究では,タスク関連アウト・オブ・ディストリビューションETCデータと少量のアクションデータとを混合することにより,新しい視覚言語条件に一般化できることを示す。
  論文  参考訳（メタデータ） (2026-06-07T08:57:51Z)
• Co-GLANCE: Uncertainty-Aware Active Perception for Heterogeneous Robot Teaming [17.173722576361673]
  ロボットチームにおける不確実性解消のためのリアルタイムの車載認識と意思決定システムであるCo-GLANCEを紹介する。 知覚の不確実性を定量化するために、Co-GLANCEは共形予測と選択的棄権とを組み合わせて統計的に有効なカバレッジ保証を提供する。 また、将来の研究のための地上データセットも公開します。
  論文  参考訳（メタデータ） (2026-06-07T00:02:21Z)
• I-Perceive: A Foundation Model for Active Perception with Language Instructions [41.67607728608853]
  I-Perceiveは,自然言語命令に基づく能動的知覚の基礎モデルである。 I-Perceiveは、画像ベースのシーンコンテキストに基づいて、オープンな言語命令に従うカメラビューを予測する。 実験により、I-Perceiveは、生成したカメラビューの予測精度とインストラクションの両方において、最先端のVLMを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-28T11:38:56Z)
• ReViP: Reducing False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance [50.05984919728878]
  本稿では、視覚的接地と摂動下での堅牢性を高めるために、視覚-受容器リバランスを備えた新しいVLAフレームワークReViPを提案する。 具体的には、タスクステージオブザーバとして外部VLMを使用して、視覚的な観察からリアルタイムなタスク中心の視覚的手がかりを抽出する。 本稿では,オブジェクトドロップのような制御された設定を持つLIBERO上に構築された最初のFalse-Completion Benchmark Suiteを提案する。
  論文  参考訳（メタデータ） (2026-01-23T11:31:07Z)
• The Perceptual Observatory Characterizing Robustness and Grounding in MLLMs [44.71703930770065]
  The Perceptual Observatoryは、顔マッチングやテキスト・イン・ビジョンの理解機能など、MLLMを垂直方向に特徴付けるフレームワークである。 知覚観測所はリーダーボードの精度を超えて、MLLMが摂動下での知覚的接地と関係構造をどのように保存するかについての洞察を得る。
  論文  参考訳（メタデータ） (2025-12-17T20:22:23Z)
• DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge [41.030494146004806]
  本稿では,逆動力学モデリングを実現するために,包括的世界知識予測を統合した新しいVLAフレームワークであるDreamVLAを提案する。 DreamVLAは、動的領域誘導の世界知識予測を導入し、空間的および意味的な手がかりと統合し、アクション計画のためのコンパクトで包括的な表現を提供する。 実世界とシミュレーション環境での実験では、ドリームVLAが実際のロボットタスクで76.7%の成功率を達成したことが示されている。
  論文  参考訳（メタデータ） (2025-07-06T16:14:29Z)
• Seeing with Partial Certainty: Conformal Prediction for Robotic Scene Recognition in Built Environments [6.295098866364597]
  本稿では,VLMを用いた位置認識における不確実性の測定・調整を目的としたフレームワークであるSeing with partial Certainty(SwPC)を紹介する。 SwPCは、人間の助けを求めるリクエストを最小限に抑えつつ、位置認識に関する統計的保証を提供するために、共形予測の理論に基づいて構築されている。
  論文  参考訳（メタデータ） (2025-01-09T03:50:00Z)
• MOKA: Open-World Robotic Manipulation through Mark-Based Visual Prompting [97.52388851329667]
  我々は,自由形式の言語命令で指定されたロボット操作タスクを解決するために,マーキングオープンワールドキーポイントアフォード(Moka)を導入する。 我々のアプローチの中心は、VLMの観測画像と物理世界におけるロボットの行動に関する予測を橋渡しする、コンパクトな点ベースの可測性表現である。 ツールの使用,変形可能な身体操作,オブジェクト再構成など,さまざまなテーブルトップ操作タスクにおけるMokaの性能評価と解析を行った。
  論文  参考訳（メタデータ） (2024-03-05T18:08:45Z)
• INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
  INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。 我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。 我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
  論文  参考訳（メタデータ） (2021-08-25T07:35:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。