論文の概要: ColorMNet: A Memory-based Deep Spatial-Temporal Feature Propagation Network for Video Colorization
- arxiv url: http://arxiv.org/abs/2404.06251v1
- Date: Tue, 9 Apr 2024 12:23:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 14:50:19.007427
- Title: ColorMNet: A Memory-based Deep Spatial-Temporal Feature Propagation Network for Video Colorization
- Title（参考訳）: ColorMNet:ビデオカラー化のためのメモリベースの深部空間時間特徴伝達ネットワーク
- Authors: Yixin Yang, Jiangxin Dong, Jinhui Tang, Jinshan Pan,
- Abstract要約: 映像のカラー化において,空間時間的特徴を効果的に探索する方法が重要である。
我々は,メモリベースの機能伝搬モジュールを開発し,遠方のフレームからの機能との信頼性の高い接続を確立する。
空間時間近傍の隣接するフレームから特徴を集約するローカルアテンションモジュールを開発した。
- 参考スコア（独自算出の注目度）: 62.751303924391564
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: How to effectively explore spatial-temporal features is important for video colorization. Instead of stacking multiple frames along the temporal dimension or recurrently propagating estimated features that will accumulate errors or cannot explore information from far-apart frames, we develop a memory-based feature propagation module that can establish reliable connections with features from far-apart frames and alleviate the influence of inaccurately estimated features. To extract better features from each frame for the above-mentioned feature propagation, we explore the features from large-pretrained visual models to guide the feature estimation of each frame so that the estimated features can model complex scenarios. In addition, we note that adjacent frames usually contain similar contents. To explore this property for better spatial and temporal feature utilization, we develop a local attention module to aggregate the features from adjacent frames in a spatial-temporal neighborhood. We formulate our memory-based feature propagation module, large-pretrained visual model guided feature estimation module, and local attention module into an end-to-end trainable network (named ColorMNet) and show that it performs favorably against state-of-the-art methods on both the benchmark datasets and real-world scenarios. The source code and pre-trained models will be available at \url{https://github.com/yyang181/colormnet}.
- Abstract（参考訳）: 映像のカラー化において,空間時間的特徴を効果的に探索する方法が重要である。
時間次元に沿って複数のフレームを積み重ねたり、エラーを蓄積したり、遠方のフレームから情報を探索できないような推定特徴を反復的に伝播させる代わりに、遠方のフレームからの特徴との信頼性の高い接続を確立し、不正確な推定特徴の影響を軽減するメモリベースの特徴伝搬モジュールを開発する。
上記の特徴伝達のために,各フレームからより優れた特徴を抽出するために,大域的な視覚モデルから特徴を探索し,推定された特徴が複雑なシナリオをモデル化できるように,各フレームの特徴推定を導出する。
また、隣接するフレームには、通常、類似した内容が含まれていることに留意する。
空間的特徴量と時間的特徴量をよりよく活用するために,近接するフレームから特徴量を集約するローカルアテンションモジュールを開発した。
メモリベースの特徴伝搬モジュール,大規模事前学習型視覚モデル誘導型特徴推定モジュール,およびローカルアテンションモジュールを,エンドツーエンドのトレーニング可能なネットワーク(ColorMNet)に公式化し,ベンチマークデータセットと実世界のシナリオの両方において,最先端の手法に対して好適に動作することを示す。
ソースコードと事前トレーニングされたモデルは、 \url{https://github.com/yyang181/colormnet}で入手できる。
関連論文リスト
- Local Compressed Video Stream Learning for Generic Event Boundary
Detection [25.37983456118522]
イベント境界検出は、ビデオをチャンクに分割する一般的な分類なしのイベント境界をローカライズすることを目的としている。
既存の方法は、通常、ネットワークに入力する前にビデオフレームをデコードする必要がある。
本稿では,圧縮領域におけるリッチな情報を活用する完全エンドツーエンドのイベント境界検出手法を提案する。
論文 参考訳（メタデータ） (2023-09-27T06:49:40Z) - Joint Modeling of Feature, Correspondence, and a Compressed Memory for
Video Object Segmentation [52.11279360934703]
現在のビデオオブジェクト(VOS)メソッドは通常、特徴抽出後のカレントフレームと参照フレームの密マッチングを実行する。
本稿では,特徴量,対応性,圧縮メモリの3要素を共同モデリングするための統合VOSフレームワークであるJointFormerを提案する。
論文 参考訳（メタデータ） (2023-08-25T17:30:08Z) - Revisiting the Spatial and Temporal Modeling for Few-shot Action
Recognition [16.287968292213563]
スロシュネット(SloshNet)は、数発のアクション認識のための空間的および時間的モデリングを、より細かく修正する新しいフレームワークである。
提案するSloshNetは,Something V2, Kinetics, UCF101, HMDB51の4つのアクション認識データセットに対して広範に検証する。
論文 参考訳（メタデータ） (2023-01-19T08:34:04Z) - Video Semantic Segmentation with Inter-Frame Feature Fusion and
Inner-Frame Feature Refinement [39.06589186472675]
マルチフレーム特徴量間の密接なペア関係をモデル化するための時空間融合(STF)モジュールを提案する。
さらに,セマンティックバウンダリ間の困難な予測に対処するために,メモリ拡張改良(MAR)モジュールを提案する。
論文 参考訳（メタデータ） (2023-01-10T07:57:05Z) - Feature Aggregation and Propagation Network for Camouflaged Object
Detection [42.33180748293329]
カモフラージュされたオブジェクト検出(COD)は、環境に埋め込まれたカモフラージュされたオブジェクトを検出し、分離することを目的としている。
いくつかのCOD法が開発されているが, 前景オブジェクトと背景環境との固有の類似性により, 依然として不満足な性能に悩まされている。
カモフラージュされた物体検出のための新しい特徴集約・伝播ネットワーク(FAP-Net)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:54:28Z) - Video Salient Object Detection via Contrastive Features and Attention
Modules [106.33219760012048]
本稿では,注目モジュールを持つネットワークを用いて,映像の有意な物体検出のためのコントラスト特徴を学習する。
コアテンションの定式化は、低レベル特徴と高レベル特徴を組み合わせるために用いられる。
提案手法は計算量が少なく,最先端の手法に対して良好に動作することを示す。
論文 参考訳（メタデータ） (2021-11-03T17:40:32Z) - Multi-layer Feature Aggregation for Deep Scene Parsing Models [19.198074549944568]
本稿では,深層解析ネットワークにおける多層特徴出力の空間-意味的整合性に対する有効利用について検討する。
提案モジュールは、空間情報と意味情報を相関付けるために、中間視覚特徴を自動選択することができる。
4つの公開シーン解析データセットの実験により、提案した機能集約モジュールを備えたディープパーシングネットワークは、非常に有望な結果が得られることが証明された。
論文 参考訳（メタデータ） (2020-11-04T23:07:07Z) - Learning Spatio-Appearance Memory Network for High-Performance Visual
Tracking [79.80401607146987]
既存のオブジェクトトラッキングは通常、フレーム間の視覚的ターゲットにマッチするバウンディングボックスベースのテンプレートを学習する。
本稿では,局所時間メモリネットワークを備え,正確な時空間対応を学習するセグメンテーションに基づくトラッキングアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-09-21T08:12:02Z) - ASAP-Net: Attention and Structure Aware Point Cloud Sequence
Segmentation [49.15948235059343]
我々は、ASAPと呼ばれるフレキシブルモジュールにより、ポイントテンポラルクラウド機能をさらに改善する。
我々のASAPモジュールは、フレーム間の比較的情報性の高い局所的特徴を連続的に融合させるために、注意深い時間的埋め込み層を含んでいる。
本稿では、ポイントクラウドシーケンシャルセグメンテーションのための異なる計算バックボーンネットワークを持つASAPモジュールの一般化能力を示す。
論文 参考訳（メタデータ） (2020-08-12T07:37:16Z) - TAM: Temporal Adaptive Module for Video Recognition [60.83208364110288]
時間適応モジュール(bf TAM)は、自身の特徴マップに基づいてビデオ固有の時間カーネルを生成する。
Kinetics-400およびSomethingデータセットの実験は、我々のTAMが他の時間的モデリング手法より一貫して優れていることを示した。
論文 参考訳（メタデータ） (2020-05-14T08:22:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。