論文の概要: Dual-view Snapshot Compressive Imaging via Optical Flow Aided Recurrent Neural Network

• arxiv url: http://arxiv.org/abs/2109.05287v1
• Date: Sat, 11 Sep 2021 14:24:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-14 15:25:24.881334
• Title: Dual-view Snapshot Compressive Imaging via Optical Flow Aided Recurrent Neural Network
• Title（参考訳）: 光フロー支援リカレントニューラルネットワークによるデュアルビュースナップショット圧縮イメージング
• Authors: Ruiying Lu, Bo Chen, Guanliang Liu, Ziheng Cheng, Mu Qiao, Xin Yuan
• Abstract要約: デュアルビュースナップショット圧縮イメージング(SCI)は、2つの視野(FoV)からのビデオを1つのスナップショットでキャプチャすることを目的としている。 既存のモデルベースの復号アルゴリズムでは個々のシーンを再構築することは困難である。 本稿では,2重ビデオSCIシステムのための光フロー支援型リカレントニューラルネットワークを提案する。
• 参考スコア（独自算出の注目度）: 14.796204921975733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dual-view snapshot compressive imaging (SCI) aims to capture videos from two field-of-views (FoVs) using a 2D sensor (detector) in a single snapshot, achieving joint FoV and temporal compressive sensing, and thus enjoying the advantages of low-bandwidth, low-power, and low-cost. However, it is challenging for existing model-based decoding algorithms to reconstruct each individual scene, which usually require exhaustive parameter tuning with extremely long running time for large scale data. In this paper, we propose an optical flow-aided recurrent neural network for dual video SCI systems, which provides high-quality decoding in seconds. Firstly, we develop a diversity amplification method to enlarge the differences between scenes of two FoVs, and design a deep convolutional neural network with dual branches to separate different scenes from the single measurement. Secondly, we integrate the bidirectional optical flow extracted from adjacent frames with the recurrent neural network to jointly reconstruct each video in a sequential manner. Extensive results on both simulation and real data demonstrate the superior performance of our proposed model in a short inference time. The code and data are available at https://github.com/RuiyingLu/OFaNet-for-Dual-view-SCI.
• Abstract（参考訳）: デュアルビュー・スナップショット圧縮画像(SCI)は、2次元センサ(検出器)を用いて2次元の視野(FoV)からの映像を単一のスナップショットでキャプチャし、共同FoVと時間的圧縮センシングを実現し、低帯域幅、低消費電力、低コストの利点を享受することを目的としている。 しかし、既存のモデルに基づくデコードアルゴリズムでは、大規模データに対して非常に長い実行時間を伴う徹底的なパラメータチューニングを必要とする個々のシーンを再構築することが困難である。 本稿では,2重ビデオSCIシステムのための光フロー支援型リカレントニューラルネットワークを提案する。 まず,2つのFoVのシーンの違いを拡大する多様性増幅法を開発し,両枝を持つ深部畳み込みニューラルネットワークを設計し,異なるシーンを単一の測定から分離する。 次に,隣接フレームから抽出した双方向光フローをリカレントニューラルネットワークと統合し,各映像を逐次的に再構成する。 シミュレーションと実データの両方の大規模な結果から,提案モデルの性能が短時間で向上したことを示す。 コードとデータはhttps://github.com/RuiyingLu/OFaNet-for-Dual-view-SCIで公開されている。

関連論文リスト

• Deep Optics for Video Snapshot Compressive Imaging [10.830072985735175]
  ビデオ・スナップショット・イメージング(SCI)は、2D検出器の1枚のショットだけでビデオ・フレームのシーケンスをキャプチャすることを目的としている。 本稿では,マスクと再構成ネットワークを協調的に最適化する枠組みを提案する。 これは、現実世界のビデオSCIのマイルストーンだ、と私たちは信じている。
  論文  参考訳（メタデータ） (2024-04-08T08:04:44Z)
• The R2D2 deep neural network series paradigm for fast precision imaging in radio astronomy [1.7249361224827533]
  最近の画像再構成技術は、CLEANの能力をはるかに超えて、画像の精度が著しく向上している。 高ダイナミックレンジイメージングのためのResidual-to-Residual DNNシリーズと呼ばれる新しいディープラーニング手法を導入する。 高精度を実現するためのR2D2の能力は、超大型アレイ(VLA)を用いた様々な画像観測環境においてシミュレーションで実証されている。
  論文  参考訳（メタデータ） (2024-03-08T16:57:54Z)
• Neuromorphic Synergy for Video Binarization [54.195375576583864]
  バイモーダルオブジェクトは視覚システムによって容易に認識できる情報を埋め込む視覚形式として機能する。 ニューロモルフィックカメラは、動きのぼかしを緩和する新しい機能を提供するが、最初にブルーを脱色し、画像をリアルタイムでバイナライズするのは簡単ではない。 本稿では,イベント空間と画像空間の両方で独立に推論を行うために,バイモーダル目標特性の事前知識を活用するイベントベースバイナリ再構築手法を提案する。 また、このバイナリ画像を高フレームレートバイナリビデオに伝搬する効率的な統合手法も開発している。
  論文  参考訳（メタデータ） (2024-02-20T01:43:51Z)
• EfficientSCI: Densely Connected Network with Space-time Factorization for Large-scale Video Snapshot Compressive Imaging [6.8372546605486555]
  圧縮率の高いUHDカラービデオは,PSNRが32dB以上である単一エンドツーエンドのディープラーニングモデルを用いて,スナップショット2次元計測から再構成可能であることを示す。 提案手法は,従来のSOTAアルゴリズムよりも性能が優れ,リアルタイム性能が向上した。
  論文  参考訳（メタデータ） (2023-05-17T07:28:46Z)
• Neural Data-Dependent Transform for Learned Image Compression [72.86505042102155]
  ニューラルデータに依存した変換を構築し,各画像の符号化効率を最適化する連続オンラインモード決定機構を導入する。 実験の結果,提案したニューラルシンタクス設計と連続オンラインモード決定機構の有効性が示された。
  論文  参考訳（メタデータ） (2022-03-09T14:56:48Z)
• Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
  オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。 本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。 我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
  論文  参考訳（メタデータ） (2022-02-09T18:48:02Z)
• Memory-Efficient Network for Large-scale Video Compressive Sensing [21.040260603729227]
  ビデオスナップショットイメージング(SCI)は、2D検出器を用いて1枚のショットで一連のビデオフレームをキャプチャする。 本稿では,マルチグループ可逆3次元畳み込みニューラルネットワークに基づく大規模映像SCIのためのメモリ効率の良いネットワークを開発する。
  論文  参考訳（メタデータ） (2021-03-04T15:14:58Z)
• Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
  我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。 次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。 最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。 本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2020-08-25T06:00:06Z)
• Temporal Distinct Representation Learning for Action Recognition [139.93983070642412]
  2次元畳み込みニューラルネットワーク (2D CNN) はビデオの特徴付けに用いられる。 ビデオの異なるフレームは同じ2D CNNカーネルを共有しており、繰り返し、冗長な情報利用をもたらす可能性がある。 本稿では,異なるフレームからの特徴の識別チャネルを段階的にエキサイティングにするためのシーケンシャルチャネルフィルタリング機構を提案し,繰り返し情報抽出を回避する。 本手法は,ベンチマーク時相推論データセットを用いて評価し,それぞれ2.4%,1.3%の可視性向上を実現している。
  論文  参考訳（メタデータ） (2020-07-15T11:30:40Z)
• W-Cell-Net: Multi-frame Interpolation of Cellular Microscopy Videos [1.7205106391379026]
  蛍光顕微鏡タイムラプス映画の時間分解能を高めるため,近年のディープ・ビデオ・コンボリューションを応用した。 我々の知る限り、2つの連続した顕微鏡画像間のフレームを生成するために、CNN(Conal Neural Networks)を用いた以前の研究はない。
  論文  参考訳（メタデータ） (2020-05-14T01:33:38Z)
• Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
  形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。 ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。 合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
  論文  参考訳（メタデータ） (2020-04-01T12:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。