論文の概要: Visual Grounding in Zero-Shot Vision-Language Control

• arxiv url: http://arxiv.org/abs/2608.06154v1
• Date: Thu, 06 Aug 2026 15:21:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 17:43:06.781132
• Title: Visual Grounding in Zero-Shot Vision-Language Control
• Title（参考訳）: ゼロショット視界制御における視覚的グラウンドリング
• Abstract要約: 視覚言語モデル(VLM)は、ゼロショットコントローラとしてますます使われているが、成功した軌道は、必ずしも決定が視覚入力に基礎を置いていることを示さない。 我々はこれを、ブラインドイメージ制御、繰り返し同じ入力、車線軸反射、非視覚ベースライン、パイプライン積分チェックといった入力アブレーション電池を用いて検討する。 実験では,9つの直接動作モデル,6つの局所的VLM,探索的VLM-MPC階層に対して,2つの実施形態と3つのシミュレータに対する32,874の呼び出しを解析した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) are increasingly used as zero-shot controllers, but successful trajectories do not necessarily show that decisions are grounded in visual input: simulator dynamics and conservative action priors can produce favourable scores without meaningful perception. We investigate this with an input-ablation battery: blind-image controls, repeated identical inputs, lane-axis reflection, non-visual baselines, and pipeline-integrity checks. Across nine direct-action models, six structured local VLMs, and an exploratory VLM-MPC hierarchy, we analyse 32,874 scored calls over two embodiments and three simulators. The direct-control results are largely negative: a constant-SLOW policy outperforms a scripted geometric controller, several models are image-invariant or nearly constant, and models that recognize longitudinal hazards still fail to transform LEFT and RIGHT under reflection. No local VLM meets the joint longitudinal and lateral grounding criteria. However, an image-only deterministic positive control estimates the lead gap with 0.090 m MAE and exact mirror equivariance, confirming the stimuli carry sufficient visual information; the failures are modular, not universal. A post-hoc, leakage-controlled symmetry-consensus guardian selects two models from 16 calibration frames and freezes a 2-of-4 hazard vote across original and reflected views. On 272 held-out frames it reaches 0.954 balanced accuracy (episode-cluster bootstrap 95% CI [0.895,0.990]); nested leave-one-episode-out recovers the same pair and threshold in all 12 folds. Abstaining on ties raises committed balanced accuracy to 0.973 at 0.824 coverage. With deterministic perception retaining lateral authority, offline modular replay achieves 0.934 action agreement and exact mirror equivariance. These results support current VLMs as bounded, selective hazard assistants, not monolithic zero-shot controllers.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、ゼロショットコントローラとしてますます使われているが、成功した軌跡は必ずしも、決定が視覚入力に基礎を置いていることを必ずしも示さない。 我々はこれを、ブラインドイメージ制御、繰り返し同じ入力、車線軸反射、非視覚ベースライン、パイプライン積分チェックといった入力アブレーション電池を用いて検討する。 実験では,9つの直接動作モデル,6つの局所的VLM,探索的VLM-MPC階層に対して,2つの実施形態と3つのシミュレータに対する32,874の呼び出しを解析した。 定数-SLOWポリシーはスクリプト化された幾何学的コントローラよりも優れており、いくつかのモデルは画像不変またはほぼ一定であり、縦方向のハザードを認識するモデルは反射下でLEFTとRIGHTを変換できない。 局所的なVLMは、関節長手および側方接地基準に適合しない。 しかし、画像のみの決定論的正の制御は、リードギャップを0.090 m MAEで推定し、刺激が十分な視覚情報を持ち、失敗はモジュラーであり、普遍的ではないことを確かめる。 16個のキャリブレーションフレームから2つのモデルを選択し、オリジナルのビューとリフレクションビューで2対4のハザード投票を凍結する。 272の保留フレームでは0.954の精度(エピソードクラスタブートストラップ95% CI [0.895,0.990])に達する。 コネクションの保持は、0.824のカバレッジにおいて、コミットバランスの正確さを0.973に引き上げる。 横方向の権威を保持する決定論的認識により、オフラインのモジュラーリプレイは0.934のアクション合意と正確なミラー同値を達成する。 これらの結果は、モノリシックゼロショットコントローラではなく、バウンダリで選択的ハザードアシスタントとして、現在のVLMをサポートする。

関連論文リスト

• The Visual Insensitivity Gap: Diagnosing When Vision-Language Models Fail to Use Visual Evidence [1.7844382164707184]
  我々はこの現象を視覚不感ギャップと呼び、サンプルごとの視覚感度指数(VSI)で定量化する。 この仮定は、6つのVLMと3つの知覚的ベンチマークで40%～97%のサンプルで失敗することを示す。
  論文  参考訳（メタデータ） (2026-09-01T08:01:57Z)
• HalluPrism: When Multimodal Uncertainty Should Diagnose, Not Decide [18.50218795316691]
  本稿では,視覚的劣化,空白画像の置き換え,接地・関係チェックの後に回答を再実行する行動診断法であるHaluPrismを提案する。 これらのターゲットプローブは、視覚的摂動感度、画像除去された信頼性保持、グラウンドディング/リレーショナル-プローブ不安定性に対するシグネチャを与える。
  論文  参考訳（メタデータ） (2026-08-29T11:06:37Z)
• Benchmarking Quantum Machine Learning for Power-System Attack Detection: Evaluation Choices Decide the Outcome Before the Models Do [0.0]
  我々は、チューニングされた古典モデルに対する電力システムサイバーアタックのための機械学習検出器をベンチマークする。 ベンチマークの回答は、モデルの前に評価者の選択によって設定される。 正の制御では、正確さはnullである: ラベルはパイプラインではなくパイプラインである。
  論文  参考訳（メタデータ） (2026-08-16T08:32:39Z)
• Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
  クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。 共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。 このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
  論文  参考訳（メタデータ） (2026-08-08T13:22:14Z)
• Small Vision-Language Models Know When They Are Wrong But Cannot Say So: A Two-Model Study of Stated versus Internal Confidence Under Realistic Image Degradation [0.0]
  視覚言語モデル(VLM)は、入力画像が圧縮、カメラの揺らぎ、照明不足によって劣化する消費者ハードウェアにますます多くデプロイされている。 我々は,3つの重度レベルで6つのリアルな写真劣化に対して,Qwen2-VL-2B-インストラクトとSmolVLM-インストラクトの2つの小型オープンウェイトVLMを評価した。
  論文  参考訳（メタデータ） (2026-07-24T07:00:32Z)
• Decodable Is Not Grounded: A Vision-Ablation Arbiter for VLM Spatial Reasoning [48.438568700670835]
  モデルから潜在的知識を読み出す標準的な方法は、視覚言語モデルがイメージに根ざしたものを体系的に上書きすることができる。 本研究では,空間的推論において,一直線因果制御によって露呈した探究と操舵の両方に誤差が見えないことを示す。
  論文  参考訳（メタデータ） (2026-06-30T07:33:18Z)
• Beyond the Current Observation: Evaluating Multimodal Large Language Models in Controllable Non-Markov Games [69.57330692969543]
  RNG-Benchは、過去の観測を再構築するベースモデルの能力を分離するために設計されたベンチマークスイートである。 RNG-Benchには2つの補完ゲームがある: マッチングペア(英語版) - 特定の場所でカードのIDを短期間明らかにする) と、エゴセントリックなビューを空間地図に統合する3D Maze である。 最も難しい構成では、約128Kのトークンと350のイメージ入力のコンテキストが必要であり、フロンティアMLLMによる飽和には程遠いままである。
  論文  参考訳（メタデータ） (2026-06-17T17:59:34Z)
• Iterative Visual Thinking: Teaching Vision-Language Models Spatial Self-Correction through Visual Feedback [0.023227405857540805]
  視覚言語モデル(VLM)は、強い単一ショット空間グラウンドを達成するが、自身の予測を観察し修正するメカニズムは欠如している。 本稿では,モデルが境界ボックスを予測するクローズドループフレームワークであるIterative Visual Thinking (IVT)を提案する。 すべてのトレーニングでは、単一のGPU上で2400のサンプルしか使用せず、空間的な自己補正が、適度なスケールで注入できる学習可能な能力であることを実証している。
  論文  参考訳（メタデータ） (2026-06-11T10:27:29Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• Harmful Intent as a Geometrically Recoverable Feature of LLM Residual Streams [0.0]
  有害な意図は、大きな言語モデル残ストリームから幾何的に回復可能である。 我々はこの幾何学を6つの方向決定戦略によって特徴づける。 AdvBenchはホールドアウトのHarmBenchとJailbreakBenchにAUROC 0.96で転送される。
  論文  参考訳（メタデータ） (2026-04-20T23:02:37Z)
• SCoOP: Semantic Consistent Opinion Pooling for Uncertainty Quantification in Multiple Vision-Language Model Systems [6.96926551349545]
  マルチVLMシステムのためのSCoOP(Semantic-Consistent Opinion Pooling)を提案する。 中心となる考え方は、各VLMを確率的「専門家」として扱い、複数の出力をサンプリングし、それらを統一された空間にマッピングし、意見を集約し、システムレベルの不確実性スコアを生成することである。 ScienceQAでは、SCoOPは幻覚検出のための0.866のAUROCを達成し、ベースライン(0.732-0.757)を約10-13%上回る。 禁忌の場合、AURACは0.907で、ベースライン(0.818-0.840)を7-9%上回る。
  論文  参考訳（メタデータ） (2026-03-25T02:30:48Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。