論文の概要: Tracking the Truth: Object-Centric Spatio-Temporal Monitoring for Video Large Language Models

• arxiv url: http://arxiv.org/abs/2605.08974v1
• Date: Sat, 09 May 2026 14:32:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.00112
• Title: Tracking the Truth: Object-Centric Spatio-Temporal Monitoring for Video Large Language Models
• Title（参考訳）: 真実の追跡:ビデオ大言語モデルのオブジェクト中心時空間モニタリング
• Authors: Tri Cao, Khoi Le, Thong Nguyen, Cong-Duy Nguyen, Quynh Vo, Anh Tuan Luu, Chunyan Miao, See-Kiong Ng, Shuicheng Yan, Bryan Hooi,
• Abstract要約: 大規模言語モデル(ML)は高度な理解を持ち、シーンにおける幻覚の傾向が高い。 これは、時間的モニタリングの失敗、オブジェクトの動的アイデンティティ、状態、そして時間とともに関係を永続的に追跡する能力に起因している、と我々は主張する。 既存のベンチマークでは、局所的な視覚的手がかりや統計的先行によってしばしば解決される1つの最終回答クエリに頼って、この欠陥を曖昧にしている。
• 参考スコア（独自算出の注目度）: 154.39583176906893
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While multimodal large language models (MLLMs) have advanced video understanding, they remain highly prone to hallucinations in dynamic scenes. We argue this stems from a failure in spatio-temporal monitoring, the ability to persistently track object identities, states, and relations over time. Existing benchmarks obscure this deficit by relying on single final-answer evaluations for queries that can often be resolved via local visual cues or statistical priors. To rigorously diagnose this, we introduce STEMO-Bench (Spatio-TEmporal MOnitoring), a benchmark of human-verified object-centric facts that evaluates intermediate reasoning by decomposing queries into sub-questions, distinguishing genuine temporal understanding from coincidental correctness. To address failure modes exposed by STEMO, we propose STEMO-Track, a novel object-centric framework that explicitly constructs and reasons over structured object trajectories via chunk-wise state extraction and temporal aggregation. Extensive experiments demonstrate that our object-centric framework significantly reduces hallucinated answers and improves spatio-temporal reasoning consistency over state-of-the-art MLLMs.
• Abstract（参考訳）: マルチモーダルな大言語モデル(MLLM)は高度なビデオ理解を持っているが、動的シーンにおける幻覚の傾向は高い。 これは、時空間モニタリングの失敗、オブジェクトのアイデンティティ、状態、そして時間とともに関係を継続的に追跡する能力に起因している、と我々は主張する。 既存のベンチマークでは、局所的な視覚的手がかりや統計的先行によってしばしば解決されるクエリに対して、単一の最終回答評価に頼ることで、この欠陥を曖昧にしている。 そこで我々は,STEMO-Bench (Spatio-Temporal MOnitoring) という,クエリをサブクエストに分解することで中間的推論を評価する,人間による検証対象中心事実のベンチマークを紹介し,真正の時間的理解と偶然の正しさを区別する。 STEMOによって露呈される障害モードに対処するため,STEMO-Trackを提案する。 広範囲な実験により、我々のオブジェクト指向フレームワークは幻覚応答を著しく低減し、最先端MLLMに対する時空間的推論整合性を改善することが示されている。

関連論文リスト

• TOC-Bench: A Temporal Object Consistency Benchmark for Video Large Language Models [10.22422531424139]
  ビデオ大言語モデル(ビデオ-LLM)は、一般的なビデオ理解において顕著な進歩を遂げている。 本稿では,ビデオLLMにおける時間的オブジェクトの整合性を評価するための診断ベンチマークを提案する。 ベンチマーク項目が時間的に順序付けられた視覚的証拠に依存することを保証するために,3層時間必要フィルタリングプロトコルを提案する。
  論文  参考訳（メタデータ） (2026-05-11T02:47:59Z)
• A Progressive Training Strategy for Vision-Language Models to Counteract Spatio-Temporal Hallucinations in Embodied Reasoning [49.61652671596548]
  「多像幻覚推論」では、前頭と時頭クエリ間の大規模なパフォーマンス低下は、真に理解するのではなく、表面的なショートカットへの依存を示す。 これを軽減するために、我々は、チェーンステップへの詳細な推論と決定的な判断に基づく、時間的連鎖構築という新しいデータセットを開発する。 実験により,本手法は精度を向上するだけでなく,70%以上から6.53%まで,前向きのパフォーマンスギャップも改善することが示された。
  論文  参考訳（メタデータ） (2026-04-12T07:48:44Z)
• LiveFact: A Dynamic, Time-Aware Benchmark for LLM-Driven Fake News Detection [11.420370070522205]
  誤情報検出において、現実世界の「戦争の霧」をシミュレートするベンチマークであるLiveFactを紹介する。 LiveFactは、動的で時間的なエビデンスセットを使用して、進化する不完全な情報で推論する能力に関するモデルを評価する。 テストでは、Qwen3-235B-A22BのようなオープンソースのMixture-of-Expertsモデルが、現在ではプロプライエタリな最先端システムに適合または性能を向上していることを示している。
  論文  参考訳（メタデータ） (2026-04-06T16:20:47Z)
• Reasoning over Video: Evaluating How MLLMs Extract, Integrate, and Reconstruct Spatiotemporal Evidence [22.019359275289485]
  大規模言語モデルが抽象的時間的推論を行うことができるかどうかは不明である。 本稿では,抽象的推論タスクと抽出的推論タスクを組み合わせたベンチマークVA-BENCHを提案する。
  論文  参考訳（メタデータ） (2026-03-13T15:40:42Z)
• Multimodal Fact-Level Attribution for Verifiable Reasoning [80.60864342985748]
  マルチモーダル大言語モデル(MLLM)は、多段階推論と長文生成を含む実世界のタスクにますます利用されている。 既存のマルチモーダルグラウンドベンチマークと評価手法は、複雑なマルチモーダル推論における属性評価に失敗する。 我々は、直接観察以上の推論を必要とする設定において、ファクトレベルのマルチモーダル属性を評価するためのベンチマークであるMuRGAtを紹介する。
  論文  参考訳（メタデータ） (2026-02-12T03:10:02Z)
• NarrativeTrack: Evaluating Video Language Models Beyond the Frame [10.244330591706744]
  MLLMにおける物語理解を評価する最初のベンチマークであるNarrativeTrackを紹介する。 映像を構成要素に分解し,構成推論(CRP)フレームワークを用いて連続性を検証する。 CRPは、時間的永続性から文脈的進化、そしてきめ細かい知覚的推論まで、モデルを進化させることに挑戦する。
  論文  参考訳（メタデータ） (2026-01-03T07:12:55Z)
• Thinking with Drafts: Speculative Temporal Reasoning for Efficient Long Video Understanding [56.7383554589569]
  人間のような知性には長いビデオ理解が不可欠であり、時間的文脈を超越したコヒーレントな認識と推論を可能にする。 強化学習に基づく投機的時間的推論フレームワークであるSpecTempを提案する。 我々はSpecTempが競争精度を維持するだけでなく、既存の思考とフレームの手法と比較して推論を著しく加速することを示した。
  論文  参考訳（メタデータ） (2025-11-30T09:27:59Z)
• FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
  FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。 FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。 Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
  論文  参考訳（メタデータ） (2023-10-18T16:27:49Z)
• Learning to Track with Object Permanence [61.36492084090744]
  共同物体の検出と追跡のためのエンドツーエンドのトレーニング可能なアプローチを紹介します。 私たちのモデルは、合成データと実データで共同トレーニングされ、KITTIおよびMOT17データセットの最先端を上回ります。
  論文  参考訳（メタデータ） (2021-03-26T04:43:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。