論文の概要: A Spatiotemporal Semantic Importance-Guided Unified Compression and Editing Framework for AI-Generated Videos
- arxiv url: http://arxiv.org/abs/2610.05779v1
- Date: Mon, 05 Oct 2026 04:24:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 04:28:22.607299
- Title: A Spatiotemporal Semantic Importance-Guided Unified Compression and Editing Framework for AI-Generated Videos
- Title(参考訳): AI生成ビデオのための時空間意味的重要度誘導統一圧縮・編集フレームワーク
- Abstract要約: 本稿では,AI生成ビデオの統一的な圧縮・編集フレームワークを提案する。
本フレームワークでは,送信方法,送信方法,解決方法,送信側情報の使用方法の3つの意味的重要度誘導手法を設計する。
- 参考スコア(独自算出の注目度): 39.80975928890688
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI-generated videos are rapidly increasing in volume, duration, and resolution, creating growing demands for efficient storage and transmission. Unlike natural videos captured from the physical world, AI-generated videos are samples from a learned generative distribution, where semantic structures are critical to content consistency, while many local textures and stochastic details can be plausibly regenerated. This distinction suggests that compression should preserve semantically important spatiotemporal information rather than reconstruct every pixel of a particular generative sample. Beyond reconstruction, AI-generated videos also create a practical need for prompt-based editing, where users expect to modify generated content while preserving its original spatiotemporal semantics. Motivated by these observations, we propose a unified compression and editing framework for AI-generated videos that incorporates a frozen video generator as a reusable generative prior. Within this framework, we design three spatiotemporal semantic importance-guided techniques that respectively address what to transmit, how much to transmit, and how to use the transmitted side information. First, an innovation selection method projects the latent discrepancy using spatiotemporal semantic importance, so that the selected innovations prioritize semantic invariants over replaceable generative variations. Second, a frame-adaptive bit allocation method estimates the nonuniform semantic demands of latent frames and allocates more innovations to frames requiring stronger semantic preservation. Third, a unified reconstruction and editing method continuously adjusts the influence of the transmitted side information, enabling the same compressed representation to provide strong guidance for faithful reconstruction or serve as a flexible semantic anchor for structure-preserving prompt-driven editing.
- Abstract(参考訳): AI生成ビデオは、ボリューム、持続時間、解像度が急速に増加し、効率的なストレージと送信の需要が増大している。
物理的な世界から撮影した自然なビデオとは異なり、AIが生成したビデオは学習された生成分布のサンプルであり、セマンティック構造はコンテンツ一貫性に重要であり、多くの局所的なテクスチャや確率的な詳細は確実に再生することができる。
この区別は、圧縮は特定の生成サンプルのすべてのピクセルを再構成するよりも、意味的に重要な時空間情報を保持するべきであることを示唆している。
再構築以外にも、AI生成ビデオはプロンプトベースの編集の実践的な必要性も生み出す。
これらの観測により,凍結ビデオ生成装置を再利用可能な生成前として組み込んだ,AI生成ビデオの統一的な圧縮・編集フレームワークを提案する。
本フレームワークでは,送信する情報,送信する金額,送信する側情報をどのように利用するか,それぞれに対処する3つの時空間意味的重要度誘導手法を設計する。
まず、時空間的意味重要度を用いて潜在的不一致を予測し、置換可能な生成変異よりも選択された革新が意味不変性を優先する。
第二に、フレーム適応ビット割り当て法は、潜在フレームの不均一なセマンティック要求を推定し、より強力なセマンティック保存を必要とするフレームにより多くのイノベーションを割り当てる。
第3に、統一的な再構成編集手法は、送信側情報の影響を継続的に調整し、同じ圧縮された表現が忠実な再構成のための強力なガイダンスを提供するか、構造保存のプロンプト駆動編集のための柔軟なセマンティックアンカーとして機能する。
関連論文リスト
- Beyond Consistency: Preserving Temporal Structure in Zero-Shot Video Editing [48.768011768488584]
既存のゼロショットビデオ編集手法では、ビデオの本来の時間構造を保存できない。
本稿では,映像の時間的構造を保存することに焦点を当てた新しいゼロショット編集手法を提案する。
提案手法は,従来の時間構造保存と計算効率のバランスをとることによって,最先端の計算結果を実現する。
論文 参考訳(メタデータ) (2026-06-07T18:53:57Z) - ReConFuse: Reconstruction-Error Guided Semantic Fusion for AI-Generated Video Detection [10.547980601243518]
ビデオレベルのAI生成ビデオ検出のための再構成誘導型セマンティックフュージョンフレームワークReConFuseを提案する。
ReConFuseは、WF-VAE再構成ビデオから再構成エラーキューを抽出し、それらを多フレームセマンティック特徴と整列させ、Mambaベースのモジュールを使用してビデオレベルの分類のための時間的進化をモデル化する。
論文 参考訳(メタデータ) (2026-06-03T10:35:47Z) - SAMA: Factorized Semantic Anchoring and Motion Alignment for Instruction-Guided Video Editing [76.349958946335]
本稿では,映像編集をセマンティックアンカーとモーションモデリングに分解するフレームワークであるSAMA(factorized Semantic Anchoring and Motion Alignment)を提案する。
まずセマンティックアンカリング(Semantic Anchoring)を導入し、スパースアンカフレームでのセマンティックトークンとビデオ潜在者を共同で予測することで、信頼性の高い視覚アンカを確立する。
第2に、モーションアライメントは同じバックボーンをモーション中心のビデオ復元のプリテキストタスクで事前トレーニングする。
論文 参考訳(メタデータ) (2026-03-19T17:59:51Z) - Low-Cost Test-Time Adaptation for Robust Video Editing [4.707015344498921]
ビデオ編集は、生の映像を特定の視覚的・物語的目的に沿ったコヒーレントな作品に変換するコンテンツ創造の重要な要素である。
既存のアプローチでは、複雑なモーションパターンのキャプチャの失敗による時間的不整合、UNetバックボーンアーキテクチャの制限による単純なプロンプトへの過度な適合、という2つの大きな課題に直面している。
自己教師型補助タスクによる推論中に各テストビデオの最適化をパーソナライズする軽量なテスト時間適応フレームワークであるVid-TTAを提案する。
論文 参考訳(メタデータ) (2025-07-29T14:31:17Z) - Compositional Video Synthesis by Temporal Object-Centric Learning [3.2228025627337864]
本稿では、時間的に一貫したオブジェクト中心表現を利用する合成ビデオ合成のための新しいフレームワークを提案する。
提案手法は, 物体中心スロットの変動を学習し, 事前学習した拡散モデルに条件付けすることによって, 時間的ダイナミクスを明示的に捉える。
この設計により、時間コヒーレンスに優れた高品質の画素レベルのビデオ合成が可能となる。
論文 参考訳(メタデータ) (2025-07-28T14:11:04Z) - Identity-Preserving Text-to-Video Generation Guided by Simple yet Effective Spatial-Temporal Decoupled Representations [131.33758144860988]
アイデンティティ保存型テキスト・ツー・ビデオ(IPT2V)生成は、一貫した人間のアイデンティティを持つ高忠実度ビデオを作成することを目的としている。
現在のエンドツーエンドフレームワークは、重要な空間的・時間的トレードオフを被る。
本稿では,表現をレイアウトの空間的特徴と運動力学の時間的特徴に分解する,シンプルで効果的な空間時空間分離フレームワークを提案する。
論文 参考訳(メタデータ) (2025-07-07T06:54:44Z) - Dual-Stream Knowledge-Preserving Hashing for Unsupervised Video
Retrieval [67.52910255064762]
時間層とハッシュ層を含む単純な二重ストリーム構造を設計する。
まず、時間層とハッシュ層を含む単純な二重ストリーム構造を設計する。
自己スーパービジョンから得られたセマンティック類似性知識の助けを借りて、ハッシュ層はセマンティック検索のための情報を取得することを学習する。
このようにして、モデルは自然に二進的なコードに絡み合ったセマンティクスを保存します。
論文 参考訳(メタデータ) (2023-10-12T03:21:12Z) - CCVS: Context-aware Controllable Video Synthesis [95.22008742695772]
プレゼンテーションでは、古いビデオクリップから新しいビデオクリップを合成するための自己教師付き学習アプローチを紹介している。
時間的連続性のための文脈情報と微妙な制御のための補助情報に基づいて合成過程を規定する。
論文 参考訳(メタデータ) (2021-07-16T17:57:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。