論文の概要: ActionLens: Diagnosing Spatial-Temporal Binding Failures in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.34547v1
• Date: Mon, 28 Sep 2026 08:10:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 12:35:21.851662
• Title: ActionLens: Diagnosing Spatial-Temporal Binding Failures in Vision-Language Models
• Title（参考訳）: ActionLens:視覚言語モデルにおける空間的時間的結合障害の診断
• Abstract要約: ActionLensは、対象とする5つの診断にまたがる6,701のマルチチョイスビデオ質問の診断ベンチマークである。 グラウンドトルース回答は1秒あたり58万の個人アノテーションから決定的に導かれる。 視線検出は89.6%の人的精度に対してほぼ確実である。
• 参考スコア（独自算出の注目度）: 27.10329844636688
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video-capable vision-language models score above 80\% on popular benchmarks yet struggle with spatial-temporal binding: associating the right action with the right person at the right moment. We introduce ActionLens, a diagnostic benchmark of 6,701 multiple-choice video questions spanning five targeted diagnostics: transition detection, actor-specific identification, concurrent action binding, directed interaction reasoning, and gaze detection. Ground-truth answers are derived deterministically from 1.58 million per-second, per-person annotations. Fourteen rounds of human quality engineering raised answer clarity from 53% to above 90% human accuracy. Across 20 VLMs, the full-set leader scores 68.8%; on the human-reviewed subset, it scores 65.9% versus 91.0% for the pooled human reference. Gaze detection remains near chance against 89.6% human accuracy. On actor disambiguation, reference-interface controls show that relational descriptions recover 5.55--13.25 points over static coordinates, confirming a substantial numeric-parsing penalty; yet visual boxes still lead every model by 1.15--6.50 points, exposing a residual unboxed actor-resolution gap. A binding-trap analysis shows models systematically select the wrong actor's action. ActionLens provides diagnostic measurements of these distinct failure modes across model families and scales for direct comparison. We release all data, code, and evaluation scripts at https://anonymous.4open.science/r/lmms-eval-2276
• Abstract（参考訳）: ビデオ対応の視覚言語モデルは、一般的なベンチマークでは80%以上、空間的時間的バインドに苦慮している。 我々は6,701の多重選択ビデオ質問の診断ベンチマークであるActionLensを導入し、トランジッション検出、アクター固有の識別、同時アクションバインディング、ダイレクトインタラクション推論、視線検出の5つの診断を対象とした。 グラウンドトルース回答は1秒あたり58万の個人アノテーションから決定的に導かれる。 人間の品質工学の14ラウンドは、答えの明確さを53%から90%以上の精度に引き上げた。 20のVLMで、フルセットのリーダーは68.8%、人間レビューされたサブセットでは65.9%、プールされた人間の参照では91.0%である。 視線検出は89.6%の人的精度に対してほぼ確実である。 アクターの曖昧さについて、参照インターフェースコントロールは、リレーショナル記述が静的座標上の5.55-13.25ポイントを回復し、実質的な数値パーシングのペナルティを証明していることを示している。 バインディング・トラップ分析は、間違ったアクターのアクションを体系的に選択するモデルを示している。 ActionLensは、モデルファミリ全体にわたるこれらの異なる障害モードの診断と、直接比較のためのスケールを提供する。 https://anonymous.4open.science/r/lmms-eval-2276で、すべてのデータ、コード、評価スクリプトをリリースします。

関連論文リスト

• DynamicDx: Evaluating Evidence Acquisition in Video-Based Diagnosis [10.819901723840369]
  DynamicDxは、11のサインカテゴリーにわたる71の神経学的コンサルテーションにおける各ステップを評価する。 患者ビデオと確認された診断と、同じケースレポートから作られた固定されたチャートをリンクする。 ビデオの精度はブラインド入力よりも9.9-22.5ポイント向上する。
  論文  参考訳（メタデータ） (2026-09-26T21:37:30Z)
• GraphRareBench: An Auditable Graph-Evidence Benchmark for Phenotype-Driven Rare-Disease Diagnosis [4.608113014528089]
  GraphRareBenchは、2,365のケースと18,093のターゲット-共同創業者ペアを含む、実績保存ベンチマークである。 Agents-A1とDeepSeek-V4-Flashでインスタンス化されたエージェントはそれぞれ0.746と0.718である。 その結果, モデル行動の相補的な側面を捉え, フルプール検索, ハードコンファウンデーション識別, および観測可能なエビデンスアクセスが得られた。
  論文  参考訳（メタデータ） (2026-07-27T07:58:29Z)
• FailureScope: Cross-Regime Behavioral Diagnosis of Language Model Weaknesses [0.0]
  FailureScopeは、クロスモデルパス/フェイルパターンによる評価プローブをクラスタ化する行動診断手法である。 通常、シングルターン・ベンチマーク、マルチターン・ダイアログ、敵エージェント・アタックの3つのレシスタンスに対して安定かつ解釈可能な障害をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-06-03T01:28:00Z)
• Beyond Pixels: Introspective and Interactive Grounding for Visualization Agents [3.1626173943755975]
  VLM(Vision-Language Models)は、しばしば誤読値、幻覚的詳細、チャート内の重なり合う要素を混乱させる。 現在のアプローチはピクセル解釈のみに依存し、Pixel-Only Bottleneckを作成する。 Introspective and Interactive Visual Grounding (IVG)は、スペック・グラウンド・イントロスペクションとビュー・グラウンド・インタラクションを組み合わせたフレームワークである。
  論文  参考訳（メタデータ） (2026-04-22T22:47:23Z)
• ActionAtlas: A VideoQA Benchmark for Domain-specialized Action Recognition [111.32822459456793]
  ActionAtlasは、様々なスポーツのショートビデオを含むビデオ質問応答ベンチマークである。 このデータセットには、56のスポーツで580のユニークなアクションを示す934の動画が含まれており、合計1896のアクションが選択できる。 我々は、このベンチマークでオープンでプロプライエタリな基礎モデルを評価し、最高のモデルであるGPT-4oが45.52%の精度を達成することを発見した。
  論文  参考訳（メタデータ） (2024-10-08T07:55:09Z)
• Diagnosing Human-object Interaction Detectors [42.283857276076596]
  本稿では,HOI検出モデルの定量的なブレークダウン解析を行うための診断ツールボックスを提案する。 我々は8つの最先端HOI検出モデルを分析し、今後の研究を促進する貴重な診断洞察を提供する。
  論文  参考訳（メタデータ） (2023-08-16T17:39:15Z)
• Perception Test: A Diagnostic Benchmark for Multimodal Video Models [78.64546291816117]
  本稿では,事前学習したマルチモーダルモデルの知覚と推論能力を評価するために,新しいマルチモーダルビデオベンチマークを提案する。 知覚テストは、スキル(記憶、抽象化、物理学、セマンティックス)と、ビデオ、オーディオ、テキストモダリティ間の推論(記述的、説明的、予測的、反ファクト的)のタイプに焦点を当てている。 このベンチマークは、ゼロショット/少数ショットまたは限定的な微調整方式で、転送機能の事前訓練されたモデルを探索する。
  論文  参考訳（メタデータ） (2023-05-23T07:54:37Z)
• End-to-End Zero-Shot HOI Detection via Vision and Language Knowledge Distillation [86.41437210485932]
  我々は、ゼロショットHOI検出を前進させ、同時に見えないHOIと見えないHOIの両方を検出することを目指している。 本稿では,視覚言語による知識蒸留によるエンドツーエンドのゼロショットHOI検出フレームワークを提案する。 本手法は, 従来のSOTAを8.92%, 全体の10.18%で上回っている。
  論文  参考訳（メタデータ） (2022-04-01T07:27:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。