論文の概要: Lightning Unified Video Editing via In-Context Sparse Attention
- arxiv url: http://arxiv.org/abs/2605.04569v1
- Date: Wed, 06 May 2026 07:15:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-07 18:41:07.693267
- Title: Lightning Unified Video Editing via In-Context Sparse Attention
- Title(参考訳): インコンテキストスパースアテンションによるライトニング統合ビデオ編集
- Abstract要約: ビデオ編集は、ICL(In-Context Learning)パラダイムへと進化してきたが、結果として二次的注意のコストが重要な計算ボトルネックを生み出している。
In-context Sparse Attention (ISA) を提案する。
- 参考スコア(独自算出の注目度): 28.220525044298167
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Video editing has evolved toward In-Context Learning (ICL) paradigms, yet the resulting quadratic attention costs create a critical computational bottleneck. In this work, we propose In-context Sparse Attention (ISA), the first near-lossless empirical sparse framework tailored for ICL video editing. Our design is grounded in two key insights: first, context tokens exhibit significantly lower saliency than source tokens; second, we theoretically prove and empirically validate that Query sharpness correlates with approximation error. Motivated by these findings, ISA implements an efficient pre-selection strategy to prune redundant context, followed by a dynamic query grouping mechanism that routes high-error queries to full attention and low-error ones to a computationally efficient 0-th order Taylor sparse attention. Furthermore, we build \textbf{\texttt{LIVEditor}} , a novel lightning video editing model via ISA and a proposed video-editing data pipeline that curated a 1.7M high-quality dataset. Extensive experiments demonstrate that LIVEditor achieves a $\sim$60% reduction in attention-module latency while surpassing state-of-the-art methods across EditVerseBench, IVE-Bench, and VIE-Bench, delivering near-lossless acceleration without compromising visual fidelity.
- Abstract(参考訳): ビデオ編集は、ICL(In-Context Learning)パラダイムへと進化してきたが、結果として二次的注意のコストが重要な計算ボトルネックを生み出している。
In-context Sparse Attention (ISA) を提案する。
第一に、コンテクストトークンはソーストークンよりもはるかに低い正当性を示し、第二に、クエリのシャープネスが近似誤差と相関していることを理論的に証明し、実証的に検証する。
これらの知見に触発されて、ISAは冗長なコンテキストを起点とする効率的な事前選択戦略を実装し、次いでハイエラークエリをフルアテンションに、低エラークエリを計算効率のよい0階のTaylorスパースアテンションにルーティングする動的クエリグループ化機構を実装した。
さらに、ISAによる新しい雷動画編集モデルである‘textbf{\texttt{LIVEditor}} と、1.7Mの高品質データセットをキュレートしたビデオ編集データパイプラインを提案する。
大規模な実験により、LIVEditorはEditVerseBench、IVE-Bench、VIE-Benchにまたがる最先端のメソッドを越えながら、注目モジュールのレイテンシを$\sim$60%削減し、視覚的忠実さを損なうことなく、ほぼロスレスなアクセラレーションを実現することを示した。
関連論文リスト
- Geometry-Aware Uncertainty Coresets for Robust Visual In-Context Learning in Histopathology [8.2867621159451]
GAUCは,事前学習されたマルチモーダル埋め込み空間で直接動作する,トレーニング不要なコアセット選択法である。
CRC-100K と MHIST が複数のオープンソース VLM アーキテクチャにまたがっている場合、GAUC は精度、キャリブレーション、高速な勾配ロバスト性を改善している。
論文 参考訳(メタデータ) (2026-05-18T13:54:04Z) - Video Evidence to Reasoning Efficient Video Understanding via Explicit Evidence Grounding [1.4582793306013615]
Chain of Evidence (CoE)は、アーキテクチャ的に分離し、基礎と推論の効率を最適化する新しいフレームワークである。
CoEは,(1)クエリ誘導フィルタとして機能する軽量エビデンス・グラウンドリング・モジュール(EGM)と(2)強化学習により最適化されたエビデンス・アンチョリング・プロトコルの2つのコアイノベーションを取り入れている。
論文 参考訳(メタデータ) (2026-01-12T17:46:10Z) - ViSS-R1: Self-Supervised Reinforcement Video Reasoning [84.1180294023835]
本稿では,新しい自己教師付き強化学習GRPOアルゴリズム(Pretext-GRPO)を標準R1パイプライン内に導入する。
また、プリテキストタスクに基づく自己教師型学習をMLLMのR1ポストトレーニングパラダイムに直接統合するViSS-R1フレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-17T07:00:42Z) - Vgent: Graph-based Retrieval-Reasoning-Augmented Generation For Long Video Understanding [56.45689495743107]
Vgentは、長いビデオ理解のためにLVLMを強化するグラフベースの検索推論拡張生成フレームワークである。
我々は,3つの長ビデオ理解ベンチマークを用いて,様々なオープンソースLVLMを用いてフレームワークの評価を行った。
論文 参考訳(メタデータ) (2025-10-15T19:14:58Z) - FullDiT2: Efficient In-Context Conditioning for Video Diffusion Transformers [63.788600404496115]
FullDiT2は、ビデオ生成と編集の両方における一般的な制御性のための効率的なコンテキスト内条件付けフレームワークである。
FullDiT2は、拡散ステップ当たりの平均時間コストにおいて、計算の大幅な削減と2~3倍の高速化を実現している。
論文 参考訳(メタデータ) (2025-06-04T17:57:09Z) - Saliency-Guided DETR for Moment Retrieval and Highlight Detection [41.94295877935867]
既存のビデオモーメント検索とハイライト検出のアプローチでは、テキストとビデオの機能を効率的に調整することはできない。
このようなアライメントのために設計された最近の基礎的ビデオモデルを利用する新しいアーキテクチャを提案する。
さらに改良するために,大規模かつ高品質なプレトレーニングデータセットであるInterVid-MRを開発した。
論文 参考訳(メタデータ) (2024-10-02T14:53:45Z) - Zero-Shot Video Editing through Adaptive Sliding Score Distillation [51.57440923362033]
本研究は,オリジナルビデオコンテンツの直接操作を容易にする,ビデオベースのスコア蒸留の新たなパラダイムを提案する。
本稿では,グローバルとローカルの両方の動画ガイダンスを取り入れた適応スライディングスコア蒸留方式を提案する。
論文 参考訳(メタデータ) (2024-06-07T12:33:59Z) - Zero-Shot Video Moment Retrieval from Frozen Vision-Language Models [58.17315970207874]
モーメント・テキストアライメントを容易にするため、任意のVLMから一般化可能なビジュアル・テクスチャの事前適応のためのゼロショット手法を提案する。
3つのVMRベンチマークデータセットで実施された実験は、ゼロショットアルゴリズムの顕著なパフォーマンス上の利点を示している。
論文 参考訳(メタデータ) (2023-09-01T13:06:50Z) - Transform-Equivariant Consistency Learning for Temporal Sentence
Grounding [66.10949751429781]
ビデオ毎により差別的な表現を学習するために,新しい同変一貫性規則学習フレームワークを導入する。
私たちのモチベーションは、クエリ誘導アクティビティの時間的境界を一貫して予測することにある。
特に,ビデオの完全性と滑らか性を高めるために,自己教師付き一貫性損失モジュールを考案した。
論文 参考訳(メタデータ) (2023-05-06T19:29:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。