論文の概要: Before It Fades: Reinforcing Temporal Representations at Inference Time in VideoLLMs
- arxiv url: http://arxiv.org/abs/2610.01595v1
- Date: Thu, 01 Oct 2026 12:45:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:24.131475
- Title: Before It Fades: Reinforcing Temporal Representations at Inference Time in VideoLLMs
- Title（参考訳）: 消える前:ビデオLLMの推論時間における時間表現の強化
- Abstract要約: Video Large Language Models (VideoLLMs) は連続的にフレームを受け取り、時間軸に沿って視覚的コンテンツがどのように進化するかを解釈する。
ビデオのフレーム順序を逆転させ、時間的回答を逆転させる変換は、最終的な予測を変更せずに済むことが多い。
本稿では, 時間差分ベクトル $_l$, 時間次を逆転することで生じる層幅の表現差を定義することにより, この障害の起点を解明する。
- 参考スコア（独自算出の注目度）: 10.071616077668732
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video Large Language Models (VideoLLMs) receive frames in sequential order and interpret how visual content evolves along the temporal axis, yet temporal reasoning remains a persistent weakness across architectures. Reversing the frame order of a video, a transformation that should invert temporal answers, often leaves the final prediction unchanged. We investigate where this failure originates by defining the temporal divergence vector $τ_l$, the layer-wise representational difference induced by reversing temporal order. Tracking its magnitude across layers reveals a consistent temporal divergence profile where the divergence peaks at intermediate layers and progressively diminishes toward the output. We confirm this peak is specific to temporal reasoning and functionally critical for predictions, establishing that VideoLLMs acquire temporal information at intermediate layers but fail to maintain it to the output. This progressive fading motivates our method, Temporal Activation Injection (TAI), which extracts $τ_l$ at the peak of the profile for each input and reinjects it into subsequent layers following the measured decay. TAI requires no training and consistently improves temporal reasoning across three VideoLLMs and four benchmarks with negligible impact on non-temporal tasks. Code is available at https://github.com/Youngwoo-git/Before-It-Fades.
- Abstract（参考訳）: Video Large Language Models (VideoLLMs) は連続的にフレームを受け取り、時間軸に沿って視覚的コンテンツがどのように進化するかを解釈するが、時間的推論はアーキテクチャ全体にわたって持続的な弱点である。
ビデオのフレーム順序を逆転させ、時間的回答を逆転させる変換は、最終的な予測を変更せずに済むことが多い。
この故障は時間的発散ベクトル $τ_l$, 時間的順序の逆転によって引き起こされる層的表現差によって生じる。
層をまたいでその大きさを追跡することで、中間層で発散ピークがピークに達し、出力に向かって徐々に減少する一貫した時間的発散プロファイルが明らかになる。
我々は、このピークが時間的推論に特有であり、予測に機能的に重要なことを確認し、ビデオLLMが中間層で時間的情報を取得するが、出力に維持できないことを確認した。
このプログレッシブ・フェイディングは我々の方法であるテンポラル・アクティベーション・インジェクション (TAI) を動機付け、入力毎にプロファイルのピーク時に$τ_l$を抽出し、測定された減衰の後、後続の層に再注入する。
TAIはトレーニングを必要とせず、3つのVideoLLMと4つのベンチマークで時間的推論を継続的に改善する。
コードはhttps://github.com/Youngwoo-git/Before-It-Fades.comで入手できる。
関連論文リスト
- Chronofy: A Temporal-Logical Decay Architecture for Information Validity in Time-Aware Retrieval-Augmented Generation [0.0]
Retrieval-Augmented Generation (RAG) システムは、外部知識を検索して統合し、基盤となる大規模言語モデル(LLM)出力を出力する。
現在のRAGアーキテクチャは、全ての検索された事実を時間的前兆に関係なく等しく有効と扱い、時間的幻覚につながる。
本稿では, 時間的妥当性をRAGシステムの表現, 検索, 推論層に直接組み込むTLDA(Temporal-Logical Decay Architecture)を実装した3層ニューロシンボリック・フレームワークであるクロノフィーについて述べる。
論文 参考訳（メタデータ） (2026-07-17T23:20:24Z) - Deeper is Not Always Better: Mitigating the Alignment Tax via Confident Layer Decoding [92.1521161575198]
我々は、最も信頼性の高いニアファイナル層を動的に選択する、トレーニング不要なデコーディング戦略であるConfident Decodingを紹介する。
密集型および混合型LLMの実験は、挑戦的推論ベンチマークにおいて一貫した利得を示す。
論文 参考訳（メタデータ） (2026-06-20T07:03:26Z) - Temporal Preference Concepts and their Functions in a Large Language Model [19.057639378497516]
大きな言語モデル(LLM)は、短期的な利益と長期的な結果とのトレードオフを必要とする決定を下すために、ますますデプロイされている。
蒸留LLMにおいて, 時間的嗜好に基礎となる部分グラフを因果的に定位する。
時間地平線の幾何学は、期待される局所化層における残留ストリームに符号化される。
論文 参考訳（メタデータ） (2026-05-11T21:09:00Z) - Reasoning Resides in Layers: Restoring Temporal Reasoning in Video-Language Models with Layer-Selective Merging [62.24239343184817]
マルチモーダル適応は、知覚能力を持つ大きな言語モデルに装備するが、言語のみの事前学習から受け継いだ推論能力を弱めることが多い。
ビデオ言語モデルにおける時間的推論を復元するための訓練不要なタスク駆動モデルマージフレームワークであるMERITを提案する。
論文 参考訳（メタデータ） (2026-04-13T12:41:50Z) - A Progressive Training Strategy for Vision-Language Models to Counteract Spatio-Temporal Hallucinations in Embodied Reasoning [49.61652671596548]
「多像幻覚推論」では、前頭と時頭クエリ間の大規模なパフォーマンス低下は、真に理解するのではなく、表面的なショートカットへの依存を示す。
これを軽減するために、我々は、チェーンステップへの詳細な推論と決定的な判断に基づく、時間的連鎖構築という新しいデータセットを開発する。
実験により,本手法は精度を向上するだけでなく,70%以上から6.53%まで,前向きのパフォーマンスギャップも改善することが示された。
論文 参考訳（メタデータ） (2026-04-12T07:48:44Z) - Relax Forcing: Relaxed KV-Memory for Consistent Long Video Generation [73.84423888025171]
オートレグレッシブ(AR)ビデオ拡散は,近年,長大なビデオ生成において有望なパラダイムとして浮上している。
時間的劣化が進行しているため, 生成から微小スケールの地平線への延長は依然として困難であることを示す。
本稿では,AR拡散のための時間記憶機構であるRelax Forcingを紹介する。
論文 参考訳（メタデータ） (2026-03-22T18:59:24Z) - Causality Matters: How Temporal Information Emerges in Video Language Models [17.570777893613137]
ビデオ入力における位置エンコーディングの除去や修正は、時間的理解の性能の低下を最小限に抑えることが判明した。
この振る舞いを説明するために、我々は時間的情報がモデルにどのように組み込まれているかを追跡するための重要な分析実験を行った。
そこで我々は,2つの効率重視戦略を提案する。
論文 参考訳（メタデータ） (2025-08-15T16:33:14Z) - Understanding Warmup-Stable-Decay Learning Rates: A River Valley Loss Landscape Perspective [66.80315289020487]
Warmup-Stable-Decay (WSD) スケジュールは、一定の学習率を使用して、所定の計算予算なしで無限に継続できるイテレーションのメインブランチを生成する。
プレトレーニング損失は,河底に川がある深い谷に類似した河谷景観を呈することを示す。
この理論にインスパイアされたWSD-Sは、従来のチェックポイントの崩壊フェーズを再利用し、メインブランチを1つだけ保持するWSDの変種である。
論文 参考訳（メタデータ） (2024-10-07T16:49:39Z) - Long-horizon video prediction using a dynamic latent hierarchy [1.2891210250935146]
遅延状態の階層としてビデオを表現する潜在モデルである動的遅延(DLH)を紹介する。
DLHはその階層をまたいで表現を歪めることを学ぶ。
ビデオ予測において,DLHが最先端のベンチマークより優れていることを示す。
論文 参考訳（メタデータ） (2022-12-29T17:19:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。