論文の概要: Composition, Not Conversation: VLMs Lose the Scene, Not the Thread

• arxiv url: http://arxiv.org/abs/2609.38368v1
• Date: Tue, 29 Sep 2026 18:29:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.575016
• Title: Composition, Not Conversation: VLMs Lose the Scene, Not the Thread
• Title（参考訳）: 作曲は会話ではなく:VLMはスレッドではなくシーンを失う
• Abstract要約: 視覚言語モデル(VLM)は、収穫、分割、回収、あるいは時間とともに明らかにされる視覚的証拠に対して、ますます理にかなっている。 93のシーンと300の質問があるLayered-VQAを紹介します。 各画像は順序付けされたRGBA層に分解され、元のシーンを正確に再構成する。
• 参考スコア（独自算出の注目度）: 52.53349894973919
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) increasingly reason over visual evidence that is cropped, segmented, retrieved, or revealed over time. Yet most VQA benchmarks present the complete image and question at once. We ask what models lose when the same information is fragmented. We introduce Layered-VQA, with 93 scenes and 300 questions. Each image is decomposed into ordered RGBA layers that exactly recompose the original scene, and each question is annotated with supporting, minimal-sufficient, and distractor layers. We evaluate eleven open-weight VLMs from 3B to 32B parameters and two proprietary models with a scale of 187,200 conversations, graded by 1.74M open-model cross-judgments. We find three consistent failures. Loss in Composition: fragmenting the question has a small effect, but fragmenting the scene substantially reduces accuracy; recomposing the same layers largely restores performance. Oracle Inversion: even oracle-selected sufficient evidence can perform worse than the complete scene. Loss in Grounding: as more evidence is required, grounding degrades much faster than answer accuracy. Together, these results show that having the right visual evidence is not enough. How that evidence is composed and presented determines whether models can use and ground it. The right evidence is not enough: VLMs need the scene it came from.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、収穫、分割、回収、あるいは時間とともに明らかにされる視覚的証拠に対して、ますます理にかなっている。 しかし、ほとんどのVQAベンチマークは、完全なイメージと質問を一度に提示する。 同じ情報が断片化されると、モデルは何を失うのかを尋ねる。 93のシーンと300の質問があるLayered-VQAを紹介します。 各画像は順序付けされたRGBA層に分解され、元のシーンを正確に再構成する。 我々は3Bから32Bのパラメータから11個のオープンウェイトVLMと187,200の会話スケールを持つ2つのプロプライエタリモデルを評価する。 連続した失敗が3つあります。 構成上の損失: 質問の断片化には小さな効果があるが、シーンの断片化は精度を大幅に低下させる。 Oracleの逆転: オラクルが選択した十分な証拠でさえ、完全なシーンよりも悪い結果をもたらす可能性がある。 グラウンドリングの損失: より多くの証拠が必要なため、グラウンドリングは精度よりもはるかに早く低下する。 これらの結果は、正しい視覚的証拠を持つことだけでは不十分であることを示している。 このエビデンスがどのように構成され、提示され、モデルがそれを使用し、根絶できるかどうかが決定される。 正しい証拠は十分ではない。VLMはそこから生まれたシーンを必要とします。

関連論文リスト

• Evidence-Backed Video Question Answering [90.93225758130426]
  既存の説明可能性の取り組みは、テキストの合理性やまばらなバウンディングボックスに依存している。 E-VQA(Evidence-Backed Video Question Answering)を提案する。 これをサポートするために,識別的および生成的画素レベルのグラウンド化のための最初の人為的検証ベンチマークST-Evidenceを導入する。
  論文  参考訳（メタデータ） (2026-07-13T17:49:10Z)
• VisualFLIP: Do Predictions Depend on Task-Critical Visual Evidence in Multimodal Reasoning? [79.44137632338062]
  マルチモーダルな大規模言語モデルが視覚的推論問題に正しく答える場合、その予測はタスククリティカルな視覚的証拠によって実際に支持されているか? VisualFLIPは1,374枚の画像が基数,属性,空間,論理的タスクにまたがって同一の問合せペアとして配置されたベンチマークである。 ペアの両面を解く必要がある24個のMLLMと、少なくとも一方の面を解くモデルが両方の画像に対して同じ空でない答えを繰り返す頻度を測定するCR(Collapse Rate)を評価した。
  論文  参考訳（メタデータ） (2026-06-05T22:06:07Z)
• Moment-Video: Diagnosing Temporal Fidelity of Video MLLMs on Momentary Visual Events [52.031070006859544]
  ビデオマルチモーダル大言語モデル(MLLM)は、一般的なビデオ理解と長大なビデオ理解を急速に進歩させてきたが、短い回答クリティカルな視覚的証拠を保存できる能力はいまだに未発見のままである。 本稿では,映像MLLMの時間的忠実度を時間的視覚的事象理解によって診断するためのベンチマークであるMoment-Videoを紹介する。
  論文  参考訳（メタデータ） (2026-06-01T17:32:20Z)
• GLIMPSE: Do Large Vision-Language Models Truly Think With Videos or Just Glimpse at Them? [76.67205289006795]
  GLIMPSEは3,269本のビデオと、11のカテゴリで4,342本以上の視覚中心の質問で構成されている。 すべての質問は、人間のアノテータによって慎重に作成され、ビデオ全体を見て、完全なビデオコンテキストを推論する必要がある。 ヒトの評価では、GLIMPSEは94.82%の精度を達成しているが、現在のLVLMは重大な課題に直面している。
  論文  参考訳（メタデータ） (2025-07-13T04:44:57Z)
• Movie Facts and Fibs (MF$^2$): A Benchmark for Long Movie Understanding [97.05584099530226]
  MF$2$は、モデルがフル長の映画から重要な物語情報を理解し、統合し、思い出せるかどうかを評価するための新しいベンチマークである。 各ペアについて、モデルは真と偽のクレームの両方を正しく識別する必要がある。 実験の結果、オープンウェイトモデルとクローズド・オブ・ザ・アーティファクトモデルの両方が人間のパフォーマンスにかなり劣っていることがわかった。
  論文  参考訳（メタデータ） (2025-06-06T17:58:36Z)
• Hallucination Mitigation Prompts Long-term Video Understanding [36.26790392889717]
  本稿では,既存のMLLMをベースとした包括的幻覚緩和パイプラインを構築する。 私たちは、CLIPスコアを使用して、フレームサンプリングプロセスを質問でガイドし、質問に関連する重要なフレームを選択する。 回答生成段階では、チェーン・オブ・コンテクストとイン・コンテクスト・ラーニングの手法を用いて、回答の生成を明示的に制御する。
  論文  参考訳（メタデータ） (2024-06-17T08:44:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。