論文の概要: Swift Sampling: Selecting Temporal Surprises via Taylor Series

• arxiv url: http://arxiv.org/abs/2605.22678v1
• Date: Thu, 21 May 2026 16:20:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:42.343474
• Title: Swift Sampling: Selecting Temporal Surprises via Taylor Series
• Title（参考訳）: Swiftのサンプリング:Taylor Seriesによる一時的なサプライズの選択
• Authors: Dahye Kim, Bhuvan Sachdeva, Karan Uppal, Naman Gupta, Vineeth N. Balasubramanian, Deepti Ghadiyaram,
• Abstract要約: 我々は、エレガントでトレーニング不要なフレーム選択アルゴリズムであるSwift Smplingを紹介する。 ビデオ内の高情報モーメントを自動的に識別する。 フレーム予算が限られている長いビデオでは特に強力で、精度を最大+12.5ポイント向上させる。
• 参考スコア（独自算出の注目度）: 27.246858793938014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While most frames in long-form video are redundant, the critical information resides in temporal surprises: moments where the actual visual features deviate from their predicted evolution. Inspired by the human brain's predictive coding, we introduce Swift Sampling, an elegant, training-free frame selection algorithm that automatically identifies high-information moments in a video. Specifically, we model a video as a differentiable trajectory in the visual latent space and compute the velocity and acceleration of its features. Then, we apply Taylor expansion to project the expected path of subsequent frames. Frames that diverge sharply from this predicted manifold are identified as temporally surprising frames and selected for sampling. Unlike prior training-free methods that rely on auxiliary networks or video-specific hyperparameter tuning, Swift Sampling is incredibly lightweight, adding only 0.02x additional computational cost over baseline making it 30x cheaper overhead than leading baselines. Across three long-video question answering benchmarks and 10 different downstream tasks, Swift Sampling outperforms uniform sampling and prior query-agnostic baselines. It is especially powerful for long videos with limited frame budgets improving accuracy by up to +12.5 points.
• Abstract（参考訳）: 長ビデオのほとんどのフレームは冗長だが、重要な情報は時間的驚き(実際の視覚的特徴が予測される進化から逸脱する瞬間)に存在している。 人間の脳の予測コーディングにヒントを得て、ビデオ内の高情報モーメントを自動的に識別する、エレガントでトレーニング不要なフレーム選択アルゴリズムであるSwift Smplingを紹介した。 具体的には、映像を視覚的潜在空間における微分可能な軌跡としてモデル化し、その特徴の速度と加速度を計算する。 そして、テイラー展開を適用して、その後のフレームの期待経路を投影する。 この予測多様体から急激に分岐するフレームは、時間的に驚くべきフレームとして識別され、サンプリングのために選択される。 補助的なネットワークやビデオ固有のハイパーパラメータチューニングに依存する以前のトレーニング不要の方法とは異なり、Swift Smplingは驚くほど軽量で、ベースラインよりも0.02倍の計算コストで、ベースラインの30倍のオーバーヘッドを発生させる。 3つの長ビデオ質問応答ベンチマークと10のダウンストリームタスクに対して、Swift Smplingは、一様サンプリングとクエリ非依存のベースラインのパフォーマンスを向上する。 フレーム予算が限られている長いビデオでは特に強力で、精度を最大+12.5ポイント向上させる。

関連論文リスト

• Astraea: A Token-wise Acceleration Framework for Video Diffusion Transformers [29.130090574300635]
  ビデオ拡散変換器(vDiTs)は、テキストからビデオへの生成において大きな進歩を遂げているが、その計算要求は、実用的な展開において大きな課題となっている。 Astraeaは,vDiTをベースとしたビデオ生成の最適に近い構成を,パフォーマンス目標下で検索するフレームワークである。
  論文  参考訳（メタデータ） (2025-06-05T14:41:38Z)
• DraftAttention: Fast Video Diffusion via Low-Resolution Attention Guidance [43.423240627266644]
  拡散変換器を用いたビデオ生成モデル(DiTs)は近年,その優れた生成品質に注目が集まっている。 しかしながら、その計算コストは、ボトルネック注意だけで、全体の80%以上の遅延の原因となっている。 本稿では,GPUに動的に注意を向けたビデオ拡散変換器の高速化のためのトレーニングフリーフレームワークであるDraftAttentionを提案する。
  論文  参考訳（メタデータ） (2025-05-17T04:34:34Z)
• SlowFast-LLaVA: A Strong Training-Free Baseline for Video Large Language Models [51.712700398020075]
  本研究では,空間的セマンティクスと長時間の時間的コンテキストを協調的にキャプチャできる学習自由ビデオ大言語モデル(LLM)を提案する。 これは、ビデオLLMの入力の2ストリームSlowFast設計を用いて、サンプルフレームの特徴を効果的に集約することで実現される。 実験の結果, SF-LLaVAは, 既存のトレーニング不要の手法よりも広い範囲の映像タスクにおいて優れていた。
  論文  参考訳（メタデータ） (2024-07-22T17:58:04Z)
• Learning Temporally Consistent Video Depth from Video Diffusion Priors [62.36887303063542]
  本研究は,ストリーム映像深度推定の課題に対処する。 フレームやクリップ間でコンテキスト情報を共有することは、時間的一貫性を育む上で重要である、と我々は主張する。 本稿では,任意の長さの動画に対して一貫したコンテキスト認識学習と推論戦略を提案し,クロスクリップなコンテキストを提供する。
  論文  参考訳（メタデータ） (2024-06-03T16:20:24Z)
• Temporally Consistent Transformers for Video Generation [80.45230642225913]
  正確なビデオを生成するには、アルゴリズムは世界の空間的および時間的依存関係を理解する必要がある。 時間依存性のあるビデオ生成を厳格に評価するために、複雑なデータに関する確立されたベンチマークは存在しない。 本稿では,長期間の一貫性を著しく向上し,サンプリング時間を短縮するTemporally Consistent Transformer(TECO)を提案する。
  論文  参考訳（メタデータ） (2022-10-05T17:15:10Z)
• Revealing Single Frame Bias for Video-and-Language Learning [115.01000652123882]
  単一フレームのトレーニングモデルでは,トレーニングに複数のフレームを使用する既存手法よりも優れたパフォーマンスが得られることを示す。 この結果は、人気のあるビデオおよび言語データセットに強い「静的な外観バイアス」が存在することを明らかにする。 本稿では、時間的モデリングを促進するために、既存のきめ細かい行動認識データセットに基づく2つの新しい検索タスクを提案する。
  論文  参考訳（メタデータ） (2022-06-07T16:28:30Z)
• Capturing Temporal Information in a Single Frame: Channel Sampling Strategies for Action Recognition [19.220288614585147]
  計算コストを増大させることなく、2次元ネットワークにおける映像分類のための時間情報をキャプチャする問題に対処する。 そこで我々は,短期的なフレーム・ツー・フレームの変化を捉えるために,入力ビデオのチャネルを並べ替える新しいサンプリング手法を提案する。 我々のサンプリング戦略は、スクラッチからのトレーニングを必要とせず、トレーニングとテストの計算コストを増大させません。
  論文  参考訳（メタデータ） (2022-01-25T15:24:37Z)
• OCSampler: Compressing Videos to One Clip with Single-step Sampling [82.0417131211353]
  本稿では,OCSampler というフレームワークを提案する。 我々の基本的な動機は、効率的なビデオ認識タスクは、フレームをシーケンシャルに拾うのではなく、シーケンス全体を一度に処理することにある。
  論文  参考訳（メタデータ） (2022-01-12T09:50:38Z)
• Adversarially Robust Frame Sampling with Bounded Irregularities [11.434633941880143]
  ビデオから意味のある情報を自動抽出するビデオ解析ツールが広く研究され、デプロイされている。 多くは計算コストのかかるディープニューラルネットワークを使用しており、そのようなアルゴリズムにビデオフレームのサブセットだけを投入することが望ましい。 このサンプリング問題に対するエレガントな解法は、敵攻撃に対して確実に堅牢であり、また有界な不規則性も導入する。
  論文  参考訳（メタデータ） (2020-02-04T06:33:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。