論文の概要: MetaSCI: Scalable and Adaptive Reconstruction for Video Compressive Sensing

• arxiv url: http://arxiv.org/abs/2103.01786v1
• Date: Tue, 2 Mar 2021 14:53:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-06 08:14:06.501341
• Title: MetaSCI: Scalable and Adaptive Reconstruction for Video Compressive Sensing
• Title（参考訳）: MetaSCI:ビデオ圧縮センシングのためのスケーラブルで適応的な再構築
• Authors: Zhengjue Wang and Hao Zhang and Ziheng Cheng and Bo Chen and Xin Yuan
• Abstract要約: ビデオスナップショット圧縮イメージング(SCI)は、ビデオフレームが異なるマスクによってコーディングされ、スナップショット測定に圧縮される有望なシステムです。 MetaSCIと呼ばれるSCI再構築のためのMeta Modulated Convolutional Networkを開発しています。
• 参考スコア（独自算出の注目度）: 21.243762976995544
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To capture high-speed videos using a two-dimensional detector, video snapshot compressive imaging (SCI) is a promising system, where the video frames are coded by different masks and then compressed to a snapshot measurement. Following this, efficient algorithms are desired to reconstruct the high-speed frames, where the state-of-the-art results are achieved by deep learning networks. However, these networks are usually trained for specific small-scale masks and often have high demands of training time and GPU memory, which are hence {\bf \em not flexible} to $i$) a new mask with the same size and $ii$) a larger-scale mask. We address these challenges by developing a Meta Modulated Convolutional Network for SCI reconstruction, dubbed MetaSCI. MetaSCI is composed of a shared backbone for different masks, and light-weight meta-modulation parameters to evolve to different modulation parameters for each mask, thus having the properties of {\bf \em fast adaptation} to new masks (or systems) and ready to {\bf \em scale to large data}. Extensive simulation and real data results demonstrate the superior performance of our proposed approach. Our code is available at {\small\url{https://github.com/xyvirtualgroup/MetaSCI-CVPR2021}}.
• Abstract（参考訳）: 2次元検出器を用いて高速映像をキャプチャするために、ビデオスナップショット圧縮画像(SCI)は有望なシステムであり、ビデオフレームは異なるマスクで符号化され、スナップショット計測に圧縮される。 これに続いて、効率的なアルゴリズムは、ディープラーニングネットワークによって最先端の結果が達成される高速フレームを再構築することが望まれる。 しかし、これらのネットワークは通常、特定の小規模マスクのために訓練され、訓練時間とgpuメモリの要求が高く、それゆえ、同じサイズの新しいマスクと、より大型のマスクである$ii$)に対して$i$となる。 メタSCIと呼ばれるSCI再構築のためのMeta Modulated Convolutional Networkを開発することで,これらの課題に対処する。 MetaSCIは、異なるマスクのための共有バックボーンと、各マスクごとに異なる変調パラメータに進化する軽量なメタ変調パラメータで構成されており、新しいマスク(またはシステム)へのcbf \emの高速適応の性質を持ち、大きなデータにスケールする準備ができている。 広範なシミュレーションと実データ結果から,提案手法の優れた性能を示す。 私たちのコードは {\small\url{https://github.com/xyvirtualgroup/MetaSCI-CVPR2021}}で利用可能です。

関連論文リスト

• SIGMA:Sinkhorn-Guided Masked Video Modeling [69.31715194419091]
  SIGMA (Sinkhorn-guided Masked Video Modelling) は、新しいビデオ事前学習法である。 時空管の特徴を,限られた数の学習可能なクラスタに均等に分散する。 10個のデータセットによる実験結果から,より高性能で時間的,堅牢な映像表現を学習する上で,SIGMAの有効性が検証された。
  論文  参考訳（メタデータ） (2024-07-22T08:04:09Z)
• Deep Optics for Video Snapshot Compressive Imaging [10.830072985735175]
  ビデオ・スナップショット・イメージング(SCI)は、2D検出器の1枚のショットだけでビデオ・フレームのシーケンスをキャプチャすることを目的としている。 本稿では,マスクと再構成ネットワークを協調的に最適化する枠組みを提案する。 これは、現実世界のビデオSCIのマイルストーンだ、と私たちは信じている。
  論文  参考訳（メタデータ） (2024-04-08T08:04:44Z)
• VideoMAC: Video Masked Autoencoders Meet ConvNets [26.723998063596635]
  VideoMACはランダムにサンプリングされたビデオフレームに対称マスキングを用いる。 本稿では,デュアルエンコーダアーキテクチャであるMVMアプローチを提案する。 古典的(ResNet)/現代的(ConvNeXt)畳み込みエンコーダを強化するビデオMACは、下流タスクにおけるViTベースのアプローチより優れている。
  論文  参考訳（メタデータ） (2024-02-29T12:09:25Z)
• Mask Propagation for Efficient Video Semantic Segmentation [63.09523058489429]
  ビデオセマンティックベースライン劣化(VSS)は、ビデオシーケンス内の各ピクセルにセマンティックラベルを割り当てることを含む。 SSSSと呼ばれるVSSのための効率的なマスク伝搬フレームワークを提案する。 当社のフレームワークは,フレーム単位のMask2Formerと比較して最大4倍のFLOPを削減し,Cityscapes検証セット上では最大2% mIoUしか使用できない。
  論文  参考訳（メタデータ） (2023-10-29T09:55:28Z)
• DMDC: Dynamic-mask-based dual camera design for snapshot Hyperspectral Imaging [3.3946853660795884]
  本稿では,RGBカメラとCASSIシステムを組み合わせた動的マスク方式のデュアルカメラシステムを提案する。 まず、RGB画像に基づいてシーンの空間的特徴分布を学習し、SLMに各シーンをエンコードするよう指示し、最後にRGB画像とCASSI画像の両方をネットワークに送信して再構成を行う。 さらに,2つのネットワークからなるDMDC-net,マスクの動的調整のための小型CNNベースの動的マスクネットワーク,RGBおよびCASSI測定を用いた再構成のためのマルチモーダル再構成ネットワークを設計した。
  論文  参考訳（メタデータ） (2023-08-03T05:10:58Z)
• Exploring Effective Mask Sampling Modeling for Neural Image Compression [171.35596121939238]
  既存のニューラルイメージ圧縮手法の多くは、空間的冗長性を排除するために、ハイパープライアモデルやコンテキストモデルからのサイド情報に依存している。 近年の自然言語処理と高次視覚のための自己教師付き学習手法におけるマスクサンプリングモデルに着想を得て,ニューラル画像圧縮のための新しい事前学習戦略を提案する。 提案手法は,最先端画像圧縮法と比較して計算複雑性の低い競合性能を実現する。
  論文  参考訳（メタデータ） (2023-06-09T06:50:20Z)
• Parameter-Efficient Masking Networks [61.43995077575439]
  先進的なネットワーク設計は、しばしば多数の繰り返し構造を含む(例: Transformer)。 本研究では,マスクの学習により,一意値に制限された固定ランダムウェイトの代表的ポテンシャルについて検討する。 これはモデル圧縮のための新しいパラダイムをもたらし、モデルサイズを減少させます。
  論文  参考訳（メタデータ） (2022-10-13T03:39:03Z)
• ConvMAE: Masked Convolution Meets Masked Autoencoders [65.15953258300958]
  機能事前トレーニングとマルチスケールハイブリッド畳み込み変換アーキテクチャのためのマスク付き自動エンコーディングは、ViTの可能性をさらに解き放つことができる。 我々のConvMAEフレームワークは、マスクの自動符号化方式により、マルチスケールのハイブリッド畳み込み変換器がより識別的な表現を学習できることを実証している。 事前訓練したConvMAEモデルに基づいて、ConvMAE-Baseは画像Net-1Kの微調整精度をMAE-Baseと比較して1.4%改善する。
  論文  参考訳（メタデータ） (2022-05-08T15:12:19Z)
• Dual-view Snapshot Compressive Imaging via Optical Flow Aided Recurrent Neural Network [14.796204921975733]
  デュアルビュースナップショット圧縮イメージング(SCI)は、2つの視野(FoV)からのビデオを1つのスナップショットでキャプチャすることを目的としている。 既存のモデルベースの復号アルゴリズムでは個々のシーンを再構築することは困難である。 本稿では,2重ビデオSCIシステムのための光フロー支援型リカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-09-11T14:24:44Z)
• Memory-Efficient Network for Large-scale Video Compressive Sensing [21.040260603729227]
  ビデオスナップショットイメージング(SCI)は、2D検出器を用いて1枚のショットで一連のビデオフレームをキャプチャする。 本稿では,マルチグループ可逆3次元畳み込みニューラルネットワークに基づく大規模映像SCIのためのメモリ効率の良いネットワークを開発する。
  論文  参考訳（メタデータ） (2021-03-04T15:14:58Z)
• DCT-Mask: Discrete Cosine Transform Mask Representation for Instance Segmentation [50.70679435176346]
  本稿では、離散コサイン変換(DCT)を用いて、高分解能二元格子マスクをコンパクトなベクトルに符号化することで、新しいマスク表現を提案する。 DCT-Maskと呼ばれるこの手法は、ほとんどのピクセルベースのインスタンスセグメンテーション手法に簡単に統合できる。
  論文  参考訳（メタデータ） (2020-11-19T15:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。