論文の概要: PAS: A Training-Free Stabilizer for Temporal Encoding in Video LLMs

• arxiv url: http://arxiv.org/abs/2511.10979v1
• Date: Fri, 14 Nov 2025 05:56:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-17 22:42:18.443133
• Title: PAS: A Training-Free Stabilizer for Temporal Encoding in Video LLMs
• Title（参考訳）: PAS:ビデオLLMにおけるテンポラルエンコーディングのためのトレーニングフリー安定化器
• Abstract要約: ビデオLLMは時間的不整合に悩まされ、フレームタイミングの小さなシフトは注意をそらすことができ、関連するフレームを抑えることができる。 本稿では, 位相アグリゲード平滑化(PAS)について述べる。これは, 頭部に小さな反対位相オフセットを適用して, 出力を集約する学習自由機構である。 解析の結果,RoPE回転ロジットは,時間核でスケールしたコンテントドット積として近似でき,このカーネルを滑らかにすることで,小さな時間シフトに対する注意のリプシッツ安定性が得られ,マルチフェーズ平均化は,Nyquist-valid サンプリング下での頭当たりスペクトルを保ちながら高周波リップルを減衰させることがわかった。
• 参考スコア（独自算出の注目度）: 57.790910044227935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video LLMs suffer from temporal inconsistency: small shifts in frame timing can flip attention and suppress relevant frames. We trace this instability to the common extension of Rotary Position Embeddings to video through multimodal RoPE. The induced inverse Fourier time kernel exhibits frame-scale ripples that multiply adjacent frames by different factors, which perturbs attention that should otherwise be governed by the raw query key inner product. We present Phase Aggregated Smoothing (PAS), a simple, training-free mechanism that applies small opposed phase offsets across heads and then aggregates their outputs. PAS preserves the per-head spectrum magnitude, while the aggregation effectively smooths the temporal kernel and reduces phase sensitivity without changing the positional encoding structure. Our analysis shows that the RoPE rotated logit can be approximated as a content dot product scaled by a time kernel; smoothing this kernel yields Lipschitz stability of attention to small temporal shifts; multi phase averaging attenuates high frequency ripples while preserving per-head spectra under Nyquist-valid sampling. Experiments on multiple video understanding benchmarks under matched token budgets show consistent improvements with negligible computational overhead. PAS provides a plug and play upgrade for robust temporal encoding in Video LLMs.
• Abstract（参考訳）: ビデオLLMは時間的不整合に悩まされ、フレームタイミングの小さなシフトは注意をそらすことができ、関連するフレームを抑えることができる。 我々は、この不安定性をマルチモーダルロPEによるビデオへのロータリー位置埋め込みの共通拡張に追従する。 引き起こされた逆フーリエ時間核は、隣接するフレームを異なる因子で乗じるフレームスケールのリップルを示し、それ以外は生のクエリキー内部積によって管理されるべき注意を乱す。 本稿では, 位相アグリゲーション・スムーシング(PAS)について述べる。これは, 頭部に小さな反対位相オフセットを適用し, 出力を集約する, 単純で訓練のない機構である。 PASは頭部のスペクトルの大きさを保ち、アグリゲーションは時間核を効果的に滑らかにし、位置符号化構造を変更することなく位相感度を低下させる。 解析により,RoPE回転ロジットは時間核でスケールしたコンテントドット積として近似でき,このカーネルを滑らかにすることで,小さな時間シフトに対する注意のリプシッツ安定性が得られ,多相平均化はNyquist-validサンプリングの下でヘッドスペクトル当たりのスペクトルを保ちながら高周波リップルを減衰させることがわかった。 一致したトークン予算下での複数のビデオ理解ベンチマークの実験は、無視可能な計算オーバーヘッドと一貫した改善を示している。 PASは、ビデオLLMにおける堅牢なテンポラリエンコーディングのためのプラグとプレイのアップグレードを提供する。

関連論文リスト

• SpecLoR: Spectral Lookahead Rectification for Motion-Coherent Text-to-Video Generation [39.71466927392354]
  フローマッチングにより、潜在ODEを介して堅牢なテキスト・ビデオ生成が可能になった。 SpectLoRは物理アーティファクトを大幅に削減し、計算オーバーヘッドを最小限に抑えた複数のベンチマークでの動作コヒーレンスを向上させる。
  論文  参考訳（メタデータ） (2026-06-10T11:49:54Z)
• RhymeFlow: Training-Free Acceleration for Video Generation with Asynchronous Denoising Flow Scheduling [51.279397568734424]
  Diffusion Transformers (DiTs) に基づく映像生成モデルは,映像合成において顕著な性能を発揮している。 DiTは3次元の注意の二次的な複雑さのために、高い推論遅延と計算コストに悩まされる。 我々はbftextRhymeFlowを紹介した。bftextRhymeFlowはトレーニング不要のフレームワークで、異なるフレームの認知軌道を分離する。
  論文  参考訳（メタデータ） (2026-06-04T15:49:37Z)
• Efficient Diffusion LLMs via Temporal-Spatial Parallel Decoding and Confidence Extrapolation [15.129362213838974]
  2つのコンポーネントを持つトレース対応復号化フレームワークを提案する。 まず、時間空間並列復号(TSPD)は、トークンが収束し、安全に固定できるかどうかを決定するために、信頼、エントロピー、運動量を含む、トーケン軌道毎の特徴を消費する軽量な時間空間コントローラを使用する。 第二に、CE(Confidence Extrapolation)は、トレーニング不要な状態空間モジュールで、前向きな決定を支援するために、不確実性を伴う将来のロジットトレンドを予測する。
  論文  参考訳（メタデータ） (2026-05-29T02:29:28Z)
• TIE: Time Interval Encoding for Video Generation over Events [50.66585165263848]
  ディレクタースタイルのプロンプト、ロボットアクション予測、インタラクティブなビデオエージェントは、同時イベントに対する時間的根拠を要求する。 現代のビデオジェネレータは、ポイントワイドな位置エンコーディングを通して、タイムを離散的なポイントとして表現する。 Time Interval TIEは、プラグイン・アンド・プレイ・インターバル・アウェアの一般化である。
  論文  参考訳（メタデータ） (2026-05-11T13:23:14Z)
• Inference-Time Temporal Probability Smoothing for Stable Video Segmentation with SAM2 under Weak Prompts [0.0]
  提案するフレームワークは軽量で、モデルに依存しず、リアルタイムでインタラクティブなビデオセグメンテーションに適している。 提案手法は,フレームワイドおよび時間安定性指標の総合的セットを用いて,4つの多様な映像系列に対して評価する。
  論文  参考訳（メタデータ） (2026-04-18T19:16:22Z)
• FTPFusion: Frequency-Aware Infrared and Visible Video Fusion with Temporal Perturbation [5.5275479200431406]
  FTP-Fusion(FTP-Fusion)は、時間的およびスパースな相互モーダル相互作用に基づく周波数対応赤外線および可視ビデオ融合法である。 FTP-Fusionは、空間的忠実度と時間的一貫性の両方において、複数のメトリクスにわたる最先端の手法を一貫して上回る。
  論文  参考訳（メタデータ） (2026-04-02T11:08:14Z)
• Towards Holistic Modeling for Video Frame Interpolation with Auto-regressive Diffusion Transformers [95.68243351895107]
  我々はtextbfVideo textbfFrame textbfInterpolation (LDF-VFI) のための textbfLocal textbfDiffusion textbfForcing for textbfVideo textbfFrame textbfInterpolation (LDF-VFI) という包括的でビデオ中心のパラダイムを提案する。 我々のフレームワークは、ビデオシーケンス全体をモデル化し、長距離時間的コヒーレンスを確保する自動回帰拡散変換器上に構築されている。 LDF-VFIは、挑戦的なロングシーケンスベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-01-21T12:58:52Z)
• DiTVR: Zero-Shot Diffusion Transformer for Video Restoration [48.97196894658511]
  DiTVRはゼロショットビデオ復元フレームワークで、拡散トランスフォーマーと軌跡を意識した注意と流れ一貫したサンプルを結合する。 我々の注意機構は、光流路に沿ってトークンを整列させ、特に時間力学に最も敏感な重要な層に重点を置いている。 フローガイドされたサンプリング装置は、低周波帯域にのみデータの一貫性を注入し、キャッシュを加速させながら高周波事前保存を行う。
  論文  参考訳（メタデータ） (2025-08-11T09:54:45Z)
• VFRTok: Variable Frame Rates Video Tokenizer with Duration-Proportional Information Assumption [19.819820303839613]
  既存のトークン化器は固定時間圧縮率を提供し、拡散モデルの計算コストはフレームレートと線形にスケールする。 本稿では、可変フレームレート符号化と復号を可能にするトランスフォーマーベースのビデオトークンであるVFRTokを紹介する。 VFRTokは既存のトークンよりも1/8トークンしか使用せず、競争力のある再構築品質と最先端のビデオ忠実性を実現している。
  論文  参考訳（メタデータ） (2025-05-17T15:32:54Z)
• STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
  STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。 我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
  論文  参考訳（メタデータ） (2025-03-06T06:17:38Z)
• SNeRV: Spectra-preserving Neural Representation for Video [8.978061470104532]
  本稿では,暗黙の映像表現を強化する新しい手法として,スペクトル保存型NeRV(SneRV)を提案する。 本稿では,2次元離散ウェーブレット変換(DWT)を用いて映像を低周波(LF)と高周波(HF)に分解する。 我々は,SNeRVが既存のNeRVモデルよりも細部まで細部を捉え,再現性の向上を実現していることを示す。
  論文  参考訳（メタデータ） (2025-01-03T07:57:38Z)
• Enhancing Long Video Generation Consistency without Tuning [92.1714656167712]
  単一のプロンプトまたは複数のプロンプトで生成されたビデオの一貫性とコヒーレンスを高めるための課題に対処する。 本稿では,時間周波数に基づく時間的注意再重み付けアルゴリズム(TiARA)を提案する。 複数のプロンプトによって生成されたビデオに対しては、プロンプトのアライメントがプロンプトの品質に影響を及ぼすといった重要な要因をさらに明らかにする。 提案するPromptBlendは,プロンプトを系統的に整列させるプロンプトパイプラインである。
  論文  参考訳（メタデータ） (2024-12-23T03:56:27Z)
• Alignment-free Raw Video Demoireing [18.06907326360215]
  ビデオの削除は、スクリーンコンテンツのキャプチャ中に発生する望ましくない干渉パターンを取り除くことを目的としている。 本稿では,周波数アシスト型時間的マンバ(DemMamba)を用いたアライメントフリー生ビデオ復調ネットワークを提案する。 PSNRでは、最先端の手法を1.6dB超え、良好な視覚体験を提供する。
  論文  参考訳（メタデータ） (2024-08-20T09:31:03Z)
• GPU-accelerated SIFT-aided source identification of stabilized videos [63.084540168532065]
  我々は、安定化フレームインバージョンフレームワークにおけるグラフィクス処理ユニット(GPU)の並列化機能を利用する。 我々はSIFT機能を活用することを提案する。 カメラのモーメントを推定し 1%の確率で 時間セグメントを識別します 実験により,提案手法の有効性を確認し,必要な計算時間を短縮し,情報源の同定精度を向上させる。
  論文  参考訳（メタデータ） (2022-07-29T07:01:31Z)
• Flow-Guided Sparse Transformer for Video Deblurring [124.11022871999423]
  FlowGuided Sparse Transformer (F GST) はビデオデブリのためのフレームワークである。 FGSW-MSAは、推定光流のガイダンスを楽しみ、隣り合うフレームの同じシーンパッチに対応する、空間的にスパースな要素を世界中にサンプリングする。 提案するFGSTは,DVDおよびGOPROデータセットの最先端パッチよりも優れており,実際のビデオの劣化に対して,より視覚的に満足な結果が得られる。
  論文  参考訳（メタデータ） (2022-01-06T02:05:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。