論文の概要: LVC-LGMC: Joint Local and Global Motion Compensation for Learned Video Compression

• arxiv url: http://arxiv.org/abs/2402.00680v1
• Date: Thu, 1 Feb 2024 15:43:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-02 14:48:00.470121
• Title: LVC-LGMC: Joint Local and Global Motion Compensation for Learned Video Compression
• Title（参考訳）: LVC-LGMC:学習ビデオ圧縮のための局所・グローバル運動補償
• Authors: Wei Jiang, Junru Li, Kai Zhang, Li Zhang
• Abstract要約: 本稿では,映像符号化のための共同ローカル・グローバル・モーション補償モジュール(LGMC)を提案する。 グローバルなコンテキストを捉えるために,機能領域におけるクロスアテンションを用いて動き補償を行う。 LVC-LGMCは,ベースラインDCVC-TCMよりも高い速度歪み性能を有する。
• 参考スコア（独自算出の注目度）: 13.768476094012787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing learned video compression models employ flow net or deformable convolutional networks (DCN) to estimate motion information. However, the limited receptive fields of flow net and DCN inherently direct their attentiveness towards the local contexts. Global contexts, such as large-scale motions and global correlations among frames are ignored, presenting a significant bottleneck for capturing accurate motions. To address this issue, we propose a joint local and global motion compensation module (LGMC) for leaned video coding. More specifically, we adopt flow net for local motion compensation. To capture global context, we employ the cross attention in feature domain for motion compensation. In addition, to avoid the quadratic complexity of vanilla cross attention, we divide the softmax operations in attention into two independent softmax operations, leading to linear complexity. To validate the effectiveness of our proposed LGMC, we integrate it with DCVC-TCM and obtain learned video compression with joint local and global motion compensation (LVC-LGMC). Extensive experiments demonstrate that our LVC-LGMC has significant rate-distortion performance improvements over baseline DCVC-TCM.
• Abstract（参考訳）: 既存の学習ビデオ圧縮モデルは、フローネットまたは変形可能な畳み込みネットワーク(dcn)を使用して動作情報を推定する。 しかし、フローネットとdcnの限られた受容場は本質的に局所的な文脈に注意を向ける。 大規模な動きやフレーム間のグローバル相関といったグローバルコンテキストは無視され、正確な動きを捉える上で重要なボトルネックとなる。 この問題に対処するため,リーンビデオ符号化のための共同ローカル・グローバル・モーション補償モジュール(LGMC)を提案する。 具体的には,局所運動補償にflow netを採用する。 グローバルなコンテキストを捉えるために,機能領域におけるクロスアテンションを用いて動き補償を行う。 さらに,バニラクロス注意の二次的複雑性を避けるために,ソフトマックス操作を2つの独立したソフトマックス演算に分割し,線形複雑性を生じさせる。 提案したLGMCの有効性を検証するため,DCVC-TCMと統合し,LVC-LGMCを併用して学習ビデオ圧縮を実現する。 LVC-LGMCは, ベースラインDCVC-TCMよりも高い速度歪み性能を示した。

関連論文リスト

• Generalizable Implicit Motion Modeling for Video Frame Interpolation [51.966062283735596]
  フローベースビデオフレーム補間(VFI)における動きの重要性 本稿では,動きモデリングVFIの新規かつ効果的なアプローチである一般インプリシット・モーション・モデリング(IMM)を紹介する。 我々のGIMMは、正確にモデル化された動きを供給することによって、既存のフローベースVFIワークと容易に統合できる。
  論文  参考訳（メタデータ） (2024-07-11T17:13:15Z)
• Sparse Global Matching for Video Frame Interpolation with Large Motion [20.49084881829404]
  大きな動きはビデオフレーム補間(VFI)タスクにおいて重要な課題となる。 既存の手法は、しばしば制限された受容場によって制約されるため、大きな動きを持つシナリオを扱う際の準最適性能をもたらす。 我々はVFIのための新しいパイプラインを導入し、グローバルレベルの情報を効果的に統合し、大きな動きに関連する問題を緩和する。
  論文  参考訳（メタデータ） (2024-04-10T11:06:29Z)
• Spectral Motion Alignment for Video Motion Transfer using Diffusion Models [54.32923808964701]
  スペクトル運動アライメント(英: Spectral Motion Alignment、SMA)は、フーリエ変換とウェーブレット変換を用いて運動ベクトルを洗練・整列するフレームワークである。 SMAは周波数領域の正規化を取り入れて動きパターンを学習し、全体フレームのグローバルな動きのダイナミクスの学習を容易にする。 大規模な実験は、様々なビデオカスタマイズフレームワーク間の計算効率と互換性を維持しながら、モーション転送を改善するSMAの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-22T14:47:18Z)
• Co-attention Propagation Network for Zero-Shot Video Object Segmentation [91.71692262860323]
  ゼロショットオブジェクトセグメンテーション(ZS-VOS)は、これらのオブジェクトを事前に知ることなく、ビデオシーケンス内のオブジェクトをセグメンテーションすることを目的としている。 既存のZS-VOSメソッドは、しばしば前景と背景を区別したり、複雑なシナリオで前景を追跡するのに苦労する。 本稿では,オブジェクトの追跡とセグメンテーションが可能なエンコーダデコーダに基づく階層的コアテンション伝搬ネットワーク(HCPN)を提案する。
  論文  参考訳（メタデータ） (2023-04-08T04:45:48Z)
• Implicit Motion-Compensated Network for Unsupervised Video Object Segmentation [25.41427065435164]
  教師なしビデオオブジェクトセグメンテーション(UVOS)は、ビデオシーケンスの背景から一次前景オブジェクトを自動的に分離することを目的としている。 既存のUVOS手法では、視覚的に類似した環境(外観ベース)がある場合や、動的背景と不正確な流れ(フローベース)のために予測品質の劣化に悩まされている場合、堅牢性を欠いている。 本稿では,隣接するフレームから特徴レベルにおける現在のフレームへの一致した動き情報と相補的キュー(textiti.e.$, appearance and motion)を組み合わせた暗黙的動き補償ネットワーク(IMCNet)を提案する。
  論文  参考訳（メタデータ） (2022-04-06T13:03:59Z)
• HCRF-Flow: Scene Flow from Point Clouds with Continuous High-order CRFs and Position-aware Flow Embedding [116.77676304438792]
  隣接点間の滑らかさを強制するために,動きの一貫性を導入する。 局所変換の剛性に関する制約は、各局所領域内のすべての点に対して一意的な剛性パラメータを共有することで追加される。 提案フレームワーク(hcrf-flow)は最先端の性能を実現し,これまでのアプローチを大きく上回っている。
  論文  参考訳（メタデータ） (2021-05-17T11:53:58Z)
• Learning Comprehensive Motion Representation for Action Recognition [124.65403098534266]
  2d cnnベースのメソッドは効率的であるが、各フレームに同じ2d畳み込みカーネルを適用することで冗長な機能が得られる。 最近の試みは、フレーム間接続を確立しながら、時間的受容野や高いレイテンシに苦しめながら、動き情報をキャプチャしようとするものである。 チャネルワイズゲートベクトルを用いた動的情報に関連するチャネルを適応的に強調するCME(Channel-wise Motion Enhancement)モジュールを提案する。 また,近接する特徴写像の点対点類似性に応じて,重要な目標を持つ領域に焦点をあてる空間的運動強調(SME)モジュールを提案する。
  論文  参考訳（メタデータ） (2021-03-23T03:06:26Z)
• Improving Deep Video Compression by Resolution-adaptive Flow Coding [0.0]
  本稿では,RaFC (Resolve-Adaptive Flow Coding) と呼ばれる新しいフレームワークを提案する。 複雑な動きパターンや単純な動きパターンをグローバルに処理するために、フレームレベルのRaFCフレームは、各ビデオフレームに対して最適なフローマップ解像度を自動的に決定する。 異なるタイプの動作パターンに局所的に対処するために、RaFCブロックと呼ばれるブロックレベルのスキームは、各局所的な動作特徴に対して最適な解像度を選択することもできる。
  論文  参考訳（メタデータ） (2020-09-13T12:10:34Z)
• Neural Video Coding using Multiscale Motion Compensation and Spatiotemporal Context Model [45.46660511313426]
  エンド・ツー・エンドのディープ・ニューラル・ビデオ・コーディング・フレームワーク(NVC)を提案する。 フレーム内画素、フレーム間運動、フレーム間補償残差の相関を利用するために、共同空間および時間的事前集約(PA)を備えた可変オートエンコーダ(VAE)を使用する。 NVCは低遅延因果条件で評価され、H.265/HEVC、H.264/AVC、その他の学習ビデオ圧縮法と比較される。
  論文  参考訳（メタデータ） (2020-07-09T06:15:17Z)
• Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
  深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。 本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
  論文  参考訳（メタデータ） (2020-02-15T13:14:10Z)
• End-To-End Trainable Video Super-Resolution Based on a New Mechanism for Implicit Motion Estimation and Compensation [19.67999205691758]
  ビデオの超解像度は、低解像度のビデオから高解像度のビデオを生成することを目指している。 本研究では,暗黙の動作推定と補償を行うための動的局所フィルタネットワークを提案する。 また,ResBlockとオートエンコーダ構造に基づくグローバルリファインメントネットワークを提案する。
  論文  参考訳（メタデータ） (2020-01-05T03:47:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。