論文の概要: GroundBench: A Factorized, Counterfactual Benchmark for Locating VLM Affordance Failures

• arxiv url: http://arxiv.org/abs/2609.13308v1
• Date: Thu, 10 Sep 2026 14:52:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.209484
• Title: GroundBench: A Factorized, Counterfactual Benchmark for Locating VLM Affordance Failures
• Title（参考訳）: GroundBench: VLMアフォーマンス障害の特定のための要因付き,非現実的ベンチマーク
• Abstract要約: コンパニオン評価により、8つの視覚言語モデルにおいて、操作中の対象部位の命名により動作精度が0.32-0.63向上することが判明した。 しかし、部品の命名は、実際のシステムが推論し、視覚的接地、機械的推論、カテゴリー対アクションの関連性を見極めなければならない情報を提供する。 GroundBenchは、これらの説明を6つのブランチ・アンド・マージ条件で分離する診断ベンチマークである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A companion evaluation found that naming the target part in a manipulation prompt increased action accuracy by 0.32-0.63 across eight vision-language models, with no model outperforming a constant baseline until the part was named. However, naming the part supplies information that a real system must infer, confounding visual grounding, mechanical reasoning, and category-to-action association. We introduce GroundBench, a diagnostic benchmark that separates these explanations through six branch-and-merge conditions, each adding a controlled information bundle, and a counterfactual re-ask targeting a real alternate part visible in the same image. Across three OpenAI models and 1,068 predictions, supplying the target region without its identity leaves action accuracy at or below the 0.53 majority baseline (0.26, 0.26, and 0.53), although the models largely reproduce the supplied region. Supplying identity without location instead yields 0.74, 0.68, and 0.68. Every above-baseline gain in this curated set occurs where the supplied part category itself determines the action. A no-vision control leaves GPT-5's scores unchanged or improved, providing evidence consistent with substantial category-to-action association. GPT-4o mini declines on one condition, so this interpretation is not universal. Adding joint type and motion axis does not improve accuracy across six model-stratum comparisons. On 74 counterfactual pairs from 32 objects, GPT-5 achieves 0.86 pair-weighted compliance with a 0.07 shortcut rate but fails all observed push-to-lift-vertical cases. GroundBench identifies which supplied information changes affordance behavior and tests whether apparently grounded performance can be reproduced through textual shortcuts.
• Abstract（参考訳）: 操作中の対象部位の命名は、8つの視覚言語モデルに対して0.32-0.63の動作精度が向上し、部品が命名されるまで一定の基準値を上回るモデルが存在しないことが確認された。 しかし、部品の命名は、実際のシステムが推論し、視覚的接地、機械的推論、カテゴリー対アクションの関連性を見極めなければならない情報を提供する。 GroundBenchは、これらの説明を6つのブランチ・アンド・マージ条件で分離する診断ベンチマークで、それぞれに制御された情報バンドルと、同じ画像に表示される実際の代替部分をターゲットとした対実的再攻撃を導入する。 3つのOpenAIモデルと1,068の予測で、ターゲット領域に識別なしで動作精度を 0.53 (0.26, 0.26, 0.53) 以下に保ったが、モデルは供給された領域をほとんど再現した。 位置のないIDの供給は0.74、0.68、0.68となる。 このキュレートされた集合における上記のすべてのベースライン利得は、供給された部分圏が作用を決定するときに発生する。 ノービジョン・コントロールはGPT-5のスコアを変更または改善し、実質的なカテゴリー対アクション・アソシエーションと一致する証拠を与える。 GPT-4o miniは1つの条件で減少するので、この解釈は普遍的ではない。 関節型と運動軸を加えることで、6つのモデル層比較の精度は向上しない。 32個の物体からの74対の対向対において、GPT-5は0.7のショートカットレートで0.86対の重み付きコンプライアンスを達成するが、全ての観測されたプッシュ・ツー・リフト・垂直のケースは失敗する。 GroundBenchは、情報提供者が手頃な振る舞いを変え、明らかに根拠のあるパフォーマンスがテキストのショートカットで再現できるかどうかをテストする。

関連論文リスト

• UpliftBench: Revealing Outcome-Regime and Objective Mismatch in Uplift Evaluation [0.0]
  UpliftBenchは、外部テストで分離された多目的プロトコルの下で、12のアップリフト推定器を評価する。 この意見の相違は、モデルではなくメトリクスに関するものだと示しています。
  論文  参考訳（メタデータ） (2026-08-02T00:51:44Z)
• QuantWAMs: Calibrating at the Right Granularity for World Action Models [34.540026172139406]
  World Action Modelsは、将来の観測とアクションを共同で予測するが、反復的なデノゲーションとクローズドループの実行は、デプロイメントにコストがかかる。 我々は,量子化決定をモデル構造,ロールアウト分布,タスク目標によって定義されたキャリブレーションコンテキストと整合するPTQフレームワークQuantWAMを提案する。 我々は,RoboTwin 2.0,LIBERO,AgiBot G2を用いた実ロボット操作において,Fast-WAMおよびLingBot-VA上のQuantWAMを評価した。
  論文  参考訳（メタデータ） (2026-07-30T15:54:29Z)
• A Controlled Candidate-Set Benchmark for Offline Satellite-Security Plan Decomposition [0.0]
  いくつかのセキュリティ開発設定では、オブジェクトを順序付き、チェック可能なプランにマッピングするローカルモデルが必要です。 本報告では,低ランク分解アダプタを用いて,24件のオーソリケーションと83件のオーソリケーションを含むケース分離コーパスを,24件のサテライトセキュリティケースに対して次段階の事例として公開する。
  論文  参考訳（メタデータ） (2026-07-29T01:18:47Z)
• WorldRoamBench: An Open-World Benchmark for Long-Horizon Stability of Interactive World Models [37.59051701511746]
  4次元にわたる長期安定のためのオープンワールドベンチマークであるWorldRoamBenchを紹介する。 このベンチマークは、WASD 10-60sの連続的なインタラクションで、Nature、Urban、Indoorの各シーンで600以上のテストケースで構成されている。
  論文  参考訳（メタデータ） (2026-06-30T13:51:44Z)
• ACCORD: Action-Conditioned Contextual Grounding for Language Agents [69.73525608707764]
  ACCORD(Action-Conditioned Contextual Grounding)は、適応的なグラウンドのためのエージェントフレームワークである。 現状のエージェントは、しばしばそうすることができないことを示す。それらは、観察された特定の情報よりもむしろ仮定から行動し、収集した可能性のある情報を見落とし、既に返された証拠を組み込むことに失敗する。
  論文  参考訳（メタデータ） (2026-06-15T09:05:55Z)
• Architecture-Sensitive Supervised Fine-Tuning for Screen-Conditioned Action Prediction: A PiSAR Benchmark [4.626261940793026]
  我々は,661列のPiSARのホールドアウトスライスのフロンティアゼロショットベースラインに対して,教師付き微調整モデル3つをベンチマークした。 すべてのモデル、フロンティアまたは微調整は、同じスコアリングパイプラインを持つ661ロースライスで評価される。
  論文  参考訳（メタデータ） (2026-05-28T05:49:36Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Exploring Prompt Alignment with Clinical Factors in Zero-Shot Segmentation VLMs for NSCLC Tumor Segmentation [0.05597620745943382]
  ゼロショット視覚言語モデル (Zero-shot Vision-Language Model, VLMs) は、腫瘍容積のデライン化のためのタスク特化トレーニングに代わる、迅速な代替手段を提供する。 我々は,VoxTell内腫瘍データセットのアライメント方向について検討した。 アライメント分析により、解剖学的位置がVoxTellの空間的注意の主役であることが判明した。
  論文  参考訳（メタデータ） (2026-05-02T05:49:32Z)
• ACAR: Adaptive Complexity Routing for Multi-Model Ensembles with Auditable Decision Traces [3.151184728006369]
  本稿では,聴覚条件下でのマルチモデルオーケストレーションのための測定フレームワークACARを提案する。 ACARは、N=3プローブサンプルから計算した自己整合分散(sigma)を使用して、単一モデル、2モデル、3モデル実行モードでタスクをルーティングする。 我々は4つのベンチマークにまたがる1,510のタスクに対してACARを評価し、7,550以上の監査可能な実行を生成した。
  論文  参考訳（メタデータ） (2026-02-06T23:27:17Z)
• SummExecEdit: A Factual Consistency Benchmark in Summarization with Executable Edits [31.98028879922584]
  SummExecEditという新しいパイプラインとベンチマークを導入し、実際のエラーを検知し、正確な説明を提供する能力についてモデルを評価する。 トップパフォーマンスモデルであるClaude3-Opusは、ベンチマークでわずか0.49のジョイント検出と説明スコアを達成している。 説明ミスの4つの主要なタイプを特定し、その45.4%は、要約の完全に無関係な部分に焦点を当てている。
  論文  参考訳（メタデータ） (2024-12-17T23:26:44Z)
• Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection [85.53263670166304]
  一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。 1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。 本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
  論文  参考訳（メタデータ） (2020-06-08T07:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。