論文の概要: STRAND: Benchmarking and Improving Object-Centric Spatio-Temporal Monitoring in Video Large Language Models

• arxiv url: http://arxiv.org/abs/2609.29607v1
• Date: Fri, 28 Aug 2026 01:51:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:56.084705
• Title: STRAND: Benchmarking and Improving Object-Centric Spatio-Temporal Monitoring in Video Large Language Models
• Title（参考訳）: STRAND:ビデオ大言語モデルにおけるオブジェクト中心の時空間モニタリングのベンチマークと改善
• Abstract要約: 大きな言語モデル(MLLM)は、ビデオシーンで幻覚を起こす傾向がある。 我々は、人間による検証対象中心事実のベンチマークであるSTRANDを紹介する。 本稿では、構造化されたオブジェクト軌跡に対して明示的に構成と理由を規定するオブジェクト指向フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 44.95645606647668
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While multimodal large language models (MLLMs) have advanced video understanding, they remain highly prone to hallucinations in dynamic scenes. We argue this stems from a failure in spatio-temporal monitoring, the ability to persistently track object identities, states, and relations over time. Existing benchmarks obscure this deficit by relying on single final-answer evaluations for queries that can often be resolved via local visual cues or statistical priors. To rigorously diagnose this, we introduce STRAND, a benchmark of human-verified object-centric facts that evaluates intermediate reasoning by decomposing queries into sub-questions, distinguishing genuine temporal understanding from coincidental correctness. Crucially, we score models with Faithful Accuracy, an unconditional joint metric that credits a prediction only when the target answer and every prerequisite sub-question are correct, so that a model cannot inflate its score by being selectively consistent on the small subset of targets it happens to answer correctly. To address failure modes exposed by STRAND, we further propose an object-centric framework that explicitly constructs and reasons over structured object trajectories via chunk-wise state extraction and temporal aggregation. Extensive experiments, including backbone-, frame-, call-, and token-matched comparisons against both end-to-end MLLMs and modular video harnesses, demonstrate that our object-centric framework significantly reduces hallucinated answers and improves spatio-temporal reasoning consistency over state-of-the-art MLLMs. The code, model, and data have been made available at nguyentthong.github.io/strand.
• Abstract（参考訳）: マルチモーダルな大言語モデル(MLLM)は高度なビデオ理解を持っているが、動的シーンにおける幻覚の傾向は高い。 これは、時空間モニタリングの失敗、オブジェクトのアイデンティティ、状態、そして時間とともに関係を継続的に追跡する能力に起因している、と我々は主張する。 既存のベンチマークでは、局所的な視覚的手がかりや統計的先行によってしばしば解決されるクエリに対して、単一の最終回答評価に頼ることで、この欠陥を曖昧にしている。 これを厳密に診断するためにSTRANDという,クエリをサブクエストに分解することで中間的推論を評価し,真の時間的理解と偶然の正しさを区別する,人間による検証対象中心事実のベンチマークを導入する。 重要なことに、我々はFithful Accuracyという非条件のジョイントメトリックでモデルにスコアを付け、ターゲットの答えと全ての前提条件のサブクエストが正しい場合にのみ予測を信用するので、モデルが正解するターゲットの小さな部分集合に選択的に一貫性を持たせることでそのスコアを膨らませることができない。 さらに、STRANDが公開する障害モードに対処するため、チャンクワイド状態抽出と時間的アグリゲーションを通じて、構造化オブジェクトの軌跡を明示的に構築し、原因を判断するオブジェクト指向フレームワークを提案する。 エンドツーエンドのMLLMとモジュラービデオハーネスの双方と比較して、バックボーン、フレーム、コール、トークンマッチングの比較を含む広範囲な実験により、我々のオブジェクト中心のフレームワークは、幻覚的回答を著しく低減し、最先端のMLLMに対する時空間的推論整合性を改善することを実証した。 コード、モデル、データはnguyentthong.github.io/strandで公開されている。

関連論文リスト

• What's the Catch? Evaluating Temporal Consistency in Vision-Language Models [0.11121828451787184]
  視覚言語モデル (VLM) はビデオや画像系列のベンチマークで高い性能を発揮するが、時間構造を捉えているかどうかは不明だ。 連続するフレームとフレームレベルの異常をガウス雑音に置き換えることで、時間的異常を発生させるTimeCatchを導入する。 評価の結果,フレームレベルと時間的異常検出との間にはかなりのギャップがあることが判明した。
  論文  参考訳（メタデータ） (2026-08-24T16:40:49Z)
• TOC-Bench: A Temporal Object Consistency Benchmark for Video Large Language Models [9.648992690108086]
  ビデオ大言語モデル(ビデオ-LLM)は、一般的なビデオ理解において大きな進歩を遂げているが、時間的オブジェクトの一貫性を維持する能力はいまだ探索されていない。 ビデオLLMにおける時間的オブジェクトの一貫性を評価するための診断ベンチマークであるTOC-Benchを紹介する。
  論文  参考訳（メタデータ） (2026-05-11T02:47:59Z)
• Tracking the Truth: Object-Centric Spatio-Temporal Monitoring for Video Large Language Models [154.39583176906893]
  大規模言語モデル(ML)は高度な理解を持ち、シーンにおける幻覚の傾向が高い。 これは、時間的モニタリングの失敗、オブジェクトの動的アイデンティティ、状態、そして時間とともに関係を永続的に追跡する能力に起因している、と我々は主張する。 既存のベンチマークでは、局所的な視覚的手がかりや統計的先行によってしばしば解決される1つの最終回答クエリに頼って、この欠陥を曖昧にしている。
  論文  参考訳（メタデータ） (2026-05-09T14:32:36Z)
• Multimodal Fact-Level Attribution for Verifiable Reasoning [80.60864342985748]
  マルチモーダル大言語モデル(MLLM)は、多段階推論と長文生成を含む実世界のタスクにますます利用されている。 既存のマルチモーダルグラウンドベンチマークと評価手法は、複雑なマルチモーダル推論における属性評価に失敗する。 我々は、直接観察以上の推論を必要とする設定において、ファクトレベルのマルチモーダル属性を評価するためのベンチマークであるMuRGAtを紹介する。
  論文  参考訳（メタデータ） (2026-02-12T03:10:02Z)
• FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
  FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。 FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。 Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
  論文  参考訳（メタデータ） (2023-10-18T16:27:49Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• Deconfounded Video Moment Retrieval with Causal Intervention [80.90604360072831]
  本研究は,ビデオ中の特定のモーメントをテキストクエリに従ってローカライズすることを目的とした,ビデオモーメント検索(VMR)の課題に取り組む。 既存の手法は主に複雑な相互モーダル相互作用によるクエリとモーメントのマッチング関係をモデル化する。 本稿では,クエリとビデオコンテンツが予測に与える影響を捉えるために,構造因果モデルを構築する因果性に着想を得たVMRフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-03T01:33:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。