論文の概要: Hierarchical Interactive Reconstruction Network For Video Compressive
Sensing
- arxiv url: http://arxiv.org/abs/2304.07473v1
- Date: Sat, 15 Apr 2023 04:57:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 18:52:51.742936
- Title: Hierarchical Interactive Reconstruction Network For Video Compressive
Sensing
- Title(参考訳): ビデオ圧縮センシングのための階層型インタラクティブリコンストラクションネットワーク
- Authors: Tong Zhang, Wenxue Cui, Chen Hui, Feng Jiang
- Abstract要約: 本稿では,空間的・時間的領域の奥深くを協調的に活用できる階層型ビデオCS再構成ネットワーク(HIT-VCSNet)を提案する。
時間領域では、多スケール空間における異なるフレーム間の相関関係を協調的に学習する新しい階層的相互作用機構が提案される。
- 参考スコア(独自算出の注目度): 17.27398750515051
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep network-based image and video Compressive Sensing(CS) has attracted
increasing attentions in recent years. However, in the existing deep
network-based CS methods, a simple stacked convolutional network is usually
adopted, which not only weakens the perception of rich contextual prior
knowledge, but also limits the exploration of the correlations between temporal
video frames. In this paper, we propose a novel Hierarchical InTeractive Video
CS Reconstruction Network(HIT-VCSNet), which can cooperatively exploit the deep
priors in both spatial and temporal domains to improve the reconstruction
quality. Specifically, in the spatial domain, a novel hierarchical structure is
designed, which can hierarchically extract deep features from keyframes and
non-keyframes. In the temporal domain, a novel hierarchical interaction
mechanism is proposed, which can cooperatively learn the correlations among
different frames in the multiscale space. Extensive experiments manifest that
the proposed HIT-VCSNet outperforms the existing state-of-the-art video and
image CS methods in a large margin.
- Abstract(参考訳): 近年,深層ネットワークベースの画像・映像圧縮センシング(cs)が注目されている。
しかし、既存の深層ネットワークベースのcs法では、単純な重ね合わせ畳み込みネットワークが採用されており、リッチな事前知識の知覚を弱めるだけでなく、時間軸映像フレーム間の相関関係の探索を制限している。
本稿では,空間領域と時間領域の両方の深部前処理を協調して活用し,再構成品質を向上させる階層型インタラクティブビデオcs再構成ネットワーク(hit-vcsnet)を提案する。
特に空間領域では、キーフレームや非キーフレームから深い特徴を階層的に抽出できる新しい階層構造が設計されている。
時間領域では,多スケール空間における異なるフレーム間の相関を協調的に学習できる新しい階層的相互作用機構が提案されている。
HIT-VCSNetは、既存の最先端ビデオや画像CSの手法よりも大きなマージンで優れていることを示す。
関連論文リスト
- Eigenspace Restructuring: a Principle of Space and Frequency in Neural
Networks [11.480563447698172]
無限幅多層パーセプトロン(MLP)の固有構造は、概念周波数のみに依存することを示す。
深層畳み込みネットワーク(CNN)のトポロジは、関連する固有空間をより微細な部分空間に再構成する。
その結果得られた微細な固有構造は、ネットワークの学習性を大幅に改善する。
論文 参考訳(メタデータ) (2021-12-10T15:44:14Z) - Image Compressed Sensing Using Non-local Neural Network [43.51101614942895]
本稿では,非局所ニューラルネットワーク(NL-CSNet)を用いた新しい画像CSフレームワークを提案する。
提案したNL-CSNetでは,非局所的な自己相似性を生かした2つの非局所ワークが構築されている。
マルチスケール特徴領域のサブネットワークでは,高密度特徴表現間の親和性について検討する。
論文 参考訳(メタデータ) (2021-12-07T14:06:12Z) - Event and Activity Recognition in Video Surveillance for Cyber-Physical
Systems [0.0]
長期動作パターンは、イベントを認識するタスクにおいて、それ自体が重要な役割を果たす。
本研究では,イベント認識作業において,長期動作パターンのみが重要な役割を担っていることを示す。
時間的特徴のみをハイブリッド畳み込みニューラルネットワーク(CNN)+リカレントニューラルネットワーク(RNN)アーキテクチャで活用する。
論文 参考訳(メタデータ) (2021-11-03T08:30:38Z) - Relational Self-Attention: What's Missing in Attention for Video
Understanding [52.38780998425556]
リレーショナル・セルフアテンション(RSA)と呼ばれるリレーショナル・フィーチャー・トランスフォーメーションを導入する。
我々の実験およびアブレーション研究により、RSAネットワークは、畳み込みや自己意図的ネットワークよりも大幅に優れていることが示された。
論文 参考訳(メタデータ) (2021-11-02T15:36:11Z) - Spatial Dependency Networks: Neural Layers for Improved Generative Image
Modeling [79.15521784128102]
画像生成装置(デコーダ)を構築するための新しいニューラルネットワークを導入し、可変オートエンコーダ(VAE)に適用する。
空間依存ネットワーク(sdns)では、ディープニューラルネットの各レベルにおける特徴マップを空間的にコヒーレントな方法で計算する。
空間依存層による階層型vaeのデコーダの強化は密度推定を大幅に改善することを示す。
論文 参考訳(メタデータ) (2021-03-16T07:01:08Z) - A Deep-Unfolded Reference-Based RPCA Network For Video
Foreground-Background Separation [86.35434065681925]
本稿では,ロバスト主成分分析(RPCA)問題に対するディープアンフォールディングに基づくネットワーク設計を提案する。
既存の設計とは異なり,本手法は連続するビデオフレームのスパース表現間の時間的相関をモデル化することに焦点を当てている。
移動MNISTデータセットを用いた実験により、提案したネットワークは、ビデオフォアグラウンドとバックグラウンドの分離作業において、最近提案された最先端のRPCAネットワークより優れていることが示された。
論文 参考訳(メタデータ) (2020-10-02T11:40:09Z) - Co-Saliency Spatio-Temporal Interaction Network for Person
Re-Identification in Videos [85.6430597108455]
本稿では,ビデオにおける人物の身元確認のためのCSTNet(Co-Saliency Spatio-Temporal Interaction Network)を提案する。
ビデオフレーム間の共通した有意な前景領域をキャプチャし、そのような領域からの空間的時間的長距離コンテキストの相互依存性を探索する。
CSTNet内の複数の空間的時間的相互作用モジュールを提案し,その特徴と空間的時間的情報相関の空間的・時間的長期的相互依存性を利用した。
論文 参考訳(メタデータ) (2020-04-10T10:23:58Z) - Dynamic Hierarchical Mimicking Towards Consistent Optimization
Objectives [73.15276998621582]
一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。
DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。
カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
論文 参考訳(メタデータ) (2020-03-24T09:56:13Z) - See More, Know More: Unsupervised Video Object Segmentation with
Co-Attention Siamese Networks [184.4379622593225]
教師なしビデオオブジェクトセグメンテーションタスクに対処するため,CO-attention Siamese Network (COSNet) と呼ばれる新しいネットワークを導入する。
我々は,ビデオフレーム間の固有相関の重要性を強調し,グローバルなコアテンション機構を取り入れた。
本稿では、ビデオ内のリッチなコンテキストをマイニングするために、異なるコアテンションの変種を導出する、統一的でエンドツーエンドのトレーニング可能なフレームワークを提案する。
論文 参考訳(メタデータ) (2020-01-19T11:10:39Z) - Shift Aggregate Extract Networks [3.3263205689999453]
大規模グラフの効率的な表現を学習するために,階層分解に基づくアーキテクチャを導入する。
我々のフレームワークは、カーネルメソッドで使用される古典的なR分解を拡張し、ネストした部分関係を可能にする。
我々は,我々のアプローチが,大規模ソーシャルネットワークデータセット上で現在最先端のグラフ分類手法より優れていることを実証的に示す。
論文 参考訳(メタデータ) (2017-03-16T09:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。