論文の概要: SC-HVPPNet: Spatial and Channel Hybrid-Attention Video Post-Processing Network with CNN and Transformer

• arxiv url: http://arxiv.org/abs/2404.14709v1
• Date: Tue, 23 Apr 2024 03:35:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 15:31:26.723093
• Title: SC-HVPPNet: Spatial and Channel Hybrid-Attention Video Post-Processing Network with CNN and Transformer
• Title（参考訳）: SC-HVPPNet:CNNとトランスフォーマーによる空間・チャネルハイブリッド映像後処理ネットワーク
• Authors: Tong Zhang, Wenxue Cui, Shaohui Liu, Feng Jiang,
• Abstract要約: 畳み込みニューラルネットワーク(CNN)とTransformerは最近、ビデオ後処理に多くの注目を集めている。 空間・チャネルのハイブリッド・アテンション・ビデオ・ポスト・プロセシング・ネットワーク(SC-HVPPNet)を提案する。 SC-HVPPNetは、VTM-11.0-NNVC RA構成において、Y、U、Vコンポーネントの5.29%、12.42%、および13.09%の保存率で、ビデオ復元品質を著しく向上させる。
• 参考スコア（独自算出の注目度）: 23.134971252569038
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Convolutional Neural Network (CNN) and Transformer have attracted much attention recently for video post-processing (VPP). However, the interaction between CNN and Transformer in existing VPP methods is not fully explored, leading to inefficient communication between the local and global extracted features. In this paper, we explore the interaction between CNN and Transformer in the task of VPP, and propose a novel Spatial and Channel Hybrid-Attention Video Post-Processing Network (SC-HVPPNet), which can cooperatively exploit the image priors in both spatial and channel domains. Specifically, in the spatial domain, a novel spatial attention fusion module is designed, in which two attention weights are generated to fuse the local and global representations collaboratively. In the channel domain, a novel channel attention fusion module is developed, which can blend the deep representations at the channel dimension dynamically. Extensive experiments show that SC-HVPPNet notably boosts video restoration quality, with average bitrate savings of 5.29%, 12.42%, and 13.09% for Y, U, and V components in the VTM-11.0-NNVC RA configuration.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)とTransformerは、最近ビデオ後処理(VPP)で注目を集めている。 しかし、既存のVPP法におけるCNNとTransformerの相互作用は完全には解明されておらず、局所的特徴と大域的特徴との非効率な通信につながる。 本稿では,VPP のタスクにおける CNN と Transformer の相互作用について検討し,空間領域とチャネル領域の両方において画像の先行を協調的に活用できる新しい空間・チャネルハイブリッド・アテンションビデオ後処理ネットワーク (SC-HVPPNet) を提案する。 具体的には、空間領域において、局所的および大域的表現を融合させるために2つの注意重みを発生させる新しい空間的注意融合モジュールを設計する。 チャネル領域では、チャネル次元の深い表現を動的にブレンドできる新しいチャネルアテンション融合モジュールが開発されている。 SC-HVPPNetは、VTM-11.0-NNVC RA構成において、Y、U、Vコンポーネントの平均ビットレートが5.29%、12.42%、および13.09%の映像再生品質を顕著に向上させることを示した。

関連論文リスト

• CTA-Net: A CNN-Transformer Aggregation Network for Improving Multi-Scale Feature Extraction [14.377544481394013]
  CTA-NetはCNNとViTを組み合わせて、長距離依存関係をキャプチャするトランスフォーマーと、ローカライズされた特徴を抽出するCNNを備えている。 この統合により、詳細なローカルおよびより広いコンテキスト情報の効率的な処理が可能になる。 10万以上のサンプルを持つ小規模データセットの実験は、CTA-Netが優れたパフォーマンスを実現していることを示している。
  論文  参考訳（メタデータ） (2024-10-15T09:27:26Z)
• Dual Aggregation Transformer for Image Super-Resolution [92.41781921611646]
  画像SRのための新しいトランスモデルDual Aggregation Transformerを提案する。 DATは、ブロック間およびブロック内二重方式で、空間次元とチャネル次元にまたがる特徴を集約する。 我々のDATは現在の手法を超越している。
  論文  参考訳（メタデータ） (2023-08-07T07:39:39Z)
• Bridging the Gap Between Vision Transformers and Convolutional Neural Networks on Small Datasets [91.25055890980084]
  小さなデータセットでスクラッチからトレーニングする場合、ビジョントランスフォーマー(ViT)と畳み込みニューラルネットワーク(CNN)の間には、依然として極端なパフォーマンスギャップがある。 本稿では2つの帰納バイアスを緩和する解として動的ハイブリッドビジョン変換器(DHVT)を提案する。 我々のDHVTは、CIFAR-100が85.68%、22.8Mパラメータが82.3%、ImageNet-1Kが24.0Mパラメータが82.3%の軽量モデルで、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-12T06:54:39Z)
• Adaptive Split-Fusion Transformer [90.04885335911729]
  本稿では,適応重みによる畳み込みと注目の分岐を異なる方法で扱うための適応分割変換器(ASF-former)を提案する。 ImageNet-1Kのような標準ベンチマークの実験では、我々のASFフォーマーはCNN、トランスフォーマー、ハイブリッドパイロットを精度で上回っている。
  論文  参考訳（メタデータ） (2022-04-26T10:00:28Z)
• Transformer-Guided Convolutional Neural Network for Cross-View Geolocalization [20.435023745201878]
  本稿ではトランスフォーマー誘導型畳み込みニューラルネットワーク(TransGCNN)アーキテクチャを提案する。 我々のTransGCNNは、入力画像からCNNのバックボーン抽出特徴マップと、グローバルコンテキストをモデル化するTransformerヘッドで構成される。 CVUSAとCVACT_valでそれぞれ94.12%,84.92%の精度を達成した。
  論文  参考訳（メタデータ） (2022-04-21T08:46:41Z)
• Full-Duplex Strategy for Video Object Segmentation [141.43983376262815]
  Full- Strategy Network (FSNet)はビデオオブジェクトセグメンテーション(VOS)のための新しいフレームワークである 我々のFSNetは、融合復号ステージの前に、クロスモーダルな機能パス(すなわち、送信と受信)を同時に実行します。 我々のFSNetは、VOSとビデオの有能なオブジェクト検出タスクの両方において、他の最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-06T14:50:50Z)
• Container: Context Aggregation Network [83.12004501984043]
  最近の発見は、従来の畳み込みやトランスフォーマーコンポーネントを使わずに、シンプルなベースのソリューションが効果的な視覚表現を生成できることを示している。 マルチヘッドコンテキストアグリゲーションのための汎用ビルディングブロックCONText Ion NERtwokを提案する。 より大規模な入力画像解像度に依存する下流タスクにはスケールしないTransformerベースの手法とは対照的に、当社の効率的なネットワークであるModellightは、オブジェクト検出やインスタンスセグメンテーションネットワークに利用することができる。
  論文  参考訳（メタデータ） (2021-06-02T18:09:11Z)
• Volumetric Transformer Networks [88.85542905676712]
  学習可能なモジュールである容積変換器ネットワーク(VTN)を導入する。 VTNは、中間CNNの空間的およびチャネル的特徴を再設定するために、チャネル回りの歪み場を予測する。 実験の結果,VTNは特徴量の表現力を一貫して向上し,細粒度画像認識とインスタンスレベルの画像検索におけるネットワークの精度が向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-18T14:00:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。