論文の概要: Order Matters: LVLMs as Judges for Temporal Reasoning in Image Sequences

• arxiv url: http://arxiv.org/abs/2608.10908v1
• Date: Tue, 11 Aug 2026 13:29:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:46.051373
• Title: Order Matters: LVLMs as Judges for Temporal Reasoning in Image Sequences
• Title（参考訳）: 命令事項:LVLMによる画像シーケンスの時間的推論の判断
• Abstract要約: 審査員としてのLarge Vision-Language Modelsへの依存は、アーキテクチャ上のバイアスによって根本的に制限されている、と我々は主張する。 モデルが単独のポイントワイドスコアにおいて有能なように見える一方で、時間的順序のペアワイズを行う必要があると破滅的な崩壊を経験する。 これらのバイアスは、因果マスクや回転埋め込みに根ざしている可能性があり、現在のトランスフォーマーベースの判断は、本質的には長めの視覚的推論に不適合であることを示している。
• 参考スコア（独自算出の注目度）: 0.9841060883971746
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: As generative multimedia evolves from static image synthesis to complex, interleaved visual narratives, a foundational bottleneck has emerged: the judgment crisis. While human perception naturally synthesizes the temporal and logical flow of a story, automated evaluation systems remain largely "blind" to sequential continuity, often failing to distinguish between a coherent narrative and a semantically shuffled or contradictory sequence. This work identifies a critical structural gap in current multimodal evaluation paradigms, arguing that the reliance on Large Vision-Language Models (LVLMs) as judges is fundamentally limited by architectural biases. Our analysis reveals a profound performance dichotomy: while models may appear competent in isolated pointwise scoring, they suffer a catastrophic collapse when required to perform pairwise discrimination of temporal order. We demonstrate that this is not merely a data-scarcity issue but a structural one. Through a series of diagnostic probes, we uncover systematic positional asymmetries, specifically primacy and recency effects, where a model's judgment of a story is significantly influenced by the placement of a frame, often more than by its semantic consistency. These biases, potentially rooted in causal masking and rotary embeddings, suggest that current transformer-based judges are inherently ill-equipped for long-form visual reasoning. By exposing these blind spots, we challenge the multimedia community to move beyond snapshot-centric metrics and instead pioneer Temporally-Aware Evaluation paradigms that treat visual sequences as unified logical structures rather than unordered collections of frames.
• Abstract（参考訳）: 生成的マルチメディアが静的画像合成から複雑な視覚的物語へと進化するにつれ、決定的危機という根本的なボトルネックが出現した。 人間の知覚は、物語の時間的・論理的な流れを自然に合成するが、自動評価システムは、しばしば一貫性のある物語と意味的にシャッフルされた、あるいは矛盾したシーケンスとを区別することができない。 この研究は、現在のマルチモーダル評価パラダイムにおける重要な構造的ギャップを特定し、裁判官としてのLVLM(Large Vision-Language Models)への依存は、アーキテクチャ上のバイアスによって根本的に制限されている、と論じている。 モデルが単独のポイントワイドスコアにおいて有能なように見えるが、時間的順序のペアワイズを行う必要があると破滅的な崩壊を経験する。 これは単なるデータ共有の問題ではなく、構造的な問題であることを示す。 一連の診断プローブを通して, モデルによる物語の判断は, しばしばその意味的一貫性よりも, フレームの配置に大きく影響される。 これらのバイアスは、因果マスクや回転埋め込みに根ざしている可能性があり、現在のトランスフォーマーベースの判断は、本質的には長めの視覚的推論に不適合であることを示している。 これらの盲点を露呈することで、マルチメディアコミュニティはスナップショット中心のメトリクスを超えて、フレームの無秩序なコレクションではなく、視覚的シーケンスを統一論理構造として扱う、時間的認識評価パラダイムの先駆者となる。

関連論文リスト

• Interpreting Object-Dependent Concept Brittleness in Text-to-Image Diffusion Models [105.53190946111586]
  我々はこの現象をオブジェクト依存概念の脆さと呼ぶ。 これらの障害を監査し、最小限に修正する、解釈可能性指向のフレームワークを提案する。 複数の拡散バックボーンにまたがるスタイルと属性の故障事例について,提案手法の評価を行った。
  論文  参考訳（メタデータ） (2026-09-09T09:07:40Z)
• What's the Catch? Evaluating Temporal Consistency in Vision-Language Models [0.11121828451787184]
  視覚言語モデル (VLM) はビデオや画像系列のベンチマークで高い性能を発揮するが、時間構造を捉えているかどうかは不明だ。 連続するフレームとフレームレベルの異常をガウス雑音に置き換えることで、時間的異常を発生させるTimeCatchを導入する。 評価の結果,フレームレベルと時間的異常検出との間にはかなりのギャップがあることが判明した。
  論文  参考訳（メタデータ） (2026-08-24T16:40:49Z)
• Temporally-Aligned Evaluation for Audio-Driven Talking Head Generation [28.732587811107777]
  既存の評価プロトコルは主に、生成されたビデオと参照ビデオの間の厳密な時間対応を前提としたフレーム単位のメトリクスに依存している。 我々は、Soft Dynamic Time Warpingを確立された評価パイプラインに統合する統合シーケンスレベルの再構成を導入する。 フレームワイド評価は、厳密なアライメントの下では特別なケースとみなすことができ、一方、シーケンスレベルのアライメントは、安定性の向上、タイミング差に対する感度の低下、モデリングパラダイム間のより明確な分離を提供する。
  論文  参考訳（メタデータ） (2026-05-31T05:44:42Z)
• Tracking the Truth: Object-Centric Spatio-Temporal Monitoring for Video Large Language Models [154.39583176906893]
  大規模言語モデル(ML)は高度な理解を持ち、シーンにおける幻覚の傾向が高い。 これは、時間的モニタリングの失敗、オブジェクトの動的アイデンティティ、状態、そして時間とともに関係を永続的に追跡する能力に起因している、と我々は主張する。 既存のベンチマークでは、局所的な視覚的手がかりや統計的先行によってしばしば解決される1つの最終回答クエリに頼って、この欠陥を曖昧にしている。
  論文  参考訳（メタデータ） (2026-05-09T14:32:36Z)
• The Cost of Context: Mitigating Textual Bias in Multimodal Retrieval-Augmented Generation [18.83395586542378]
  MLLM(Multimodal Large Language Models)とRAG(Retrieval-Augmented Generation)の統合が進んでいる 再破壊現象を特定し, 定式化した上で, 完全に正確な「おかしな」コンテキストを導入することで, 有能なモデルが早期に正しい予測を放棄する。 本稿では,BAIR(Bottleneck Attention Intervention for Recovery)を提案する。
  論文  参考訳（メタデータ） (2026-05-07T02:27:04Z)
• A Progressive Training Strategy for Vision-Language Models to Counteract Spatio-Temporal Hallucinations in Embodied Reasoning [49.61652671596548]
  「多像幻覚推論」では、前頭と時頭クエリ間の大規模なパフォーマンス低下は、真に理解するのではなく、表面的なショートカットへの依存を示す。 これを軽減するために、我々は、チェーンステップへの詳細な推論と決定的な判断に基づく、時間的連鎖構築という新しいデータセットを開発する。 実験により,本手法は精度を向上するだけでなく,70%以上から6.53%まで,前向きのパフォーマンスギャップも改善することが示された。
  論文  参考訳（メタデータ） (2026-04-12T07:48:44Z)
• Anatomy of a Lie: A Multi-Stage Diagnostic Framework for Tracing Hallucinations in Vision-Language Models [62.932580559941414]
  VLM(Vision-Language Models)は、しばしば「ハロシン化(hallucinate)」する。 本稿では,静的な出力誤差からモデル計算認知の動的病理へ再キャストし,幻覚を診断するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-03-16T17:20:38Z)
• NarraScore: Bridging Visual Narrative and Musical Dynamics via Hierarchical Affective Control [59.6128550986024]
  ナラスコア(NarraScore)は、感情が物語論理の高密度圧縮として働くという中心的な洞察に基づく階層的なフレームワークである。 NarraScoreは、グローバルな構造とローカルなダイナミズムを調和させるために、Dual-Branch Injection戦略を採用している。 NarraScoreは、無視可能な計算オーバーヘッドを伴う最先端の一貫性と物語のアライメントを実現している。
  論文  参考訳（メタデータ） (2026-02-09T09:39:42Z)
• Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
  テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。 本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。 その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
  論文  参考訳（メタデータ） (2026-01-07T16:39:34Z)
• NarrativeTrack: Evaluating Video Language Models Beyond the Frame [10.244330591706744]
  MLLMにおける物語理解を評価する最初のベンチマークであるNarrativeTrackを紹介する。 映像を構成要素に分解し,構成推論(CRP)フレームワークを用いて連続性を検証する。 CRPは、時間的永続性から文脈的進化、そしてきめ細かい知覚的推論まで、モデルを進化させることに挑戦する。
  論文  参考訳（メタデータ） (2026-01-03T07:12:55Z)
• Causality Matters: How Temporal Information Emerges in Video Language Models [17.570777893613137]
  ビデオ入力における位置エンコーディングの除去や修正は、時間的理解の性能の低下を最小限に抑えることが判明した。 この振る舞いを説明するために、我々は時間的情報がモデルにどのように組み込まれているかを追跡するための重要な分析実験を行った。 そこで我々は,2つの効率重視戦略を提案する。
  論文  参考訳（メタデータ） (2025-08-15T16:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。