論文の概要: Working memory inspired hierarchical video decomposition with
transformative representations
- arxiv url: http://arxiv.org/abs/2204.10105v2
- Date: Mon, 25 Apr 2022 10:40:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-26 10:34:04.058598
- Title: Working memory inspired hierarchical video decomposition with
transformative representations
- Title（参考訳）: 作業記憶による変換表現を用いた階層的ビデオ分解
- Authors: Binjie Qin, Haohao Mao, Ruipeng Zhang, Yueqi Zhu, Song Ding, Xu Chen
- Abstract要約: 本研究では,映像分解作業におけるフレキシブル・ヴィジュアル・ワーキング・メモリ・モデルを提案する。
視覚および認知神経科学の観点から、感覚層と制御層の間の変換表現を統合する。
実験により, 提案手法は, 正確な移動コントラスト充填槽抽出において, 最先端の手法を著しく上回っていることがわかった。
- 参考スコア（独自算出の注目度）: 12.755084687208731
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Video decomposition is very important to extract moving foreground objects
from complex backgrounds in computer vision, machine learning, and medical
imaging, e.g., extracting moving contrast-filled vessels from the complex and
noisy backgrounds of X-ray coronary angiography (XCA). However, the challenges
caused by dynamic backgrounds, overlapping heterogeneous environments and
complex noises still exist in video decomposition. To solve these problems,
this study is the first to introduce a flexible visual working memory model in
video decomposition tasks to provide interpretable and high-performance
hierarchical deep architecture, integrating the transformative representations
between sensory and control layers from the perspective of visual and cognitive
neuroscience. Specifically, robust PCA unrolling networks acting as a
structure-regularized sensor layer decompose XCA into sparse/low-rank
structured representations to separate moving contrast-filled vessels from
noisy and complex backgrounds. Then, patch recurrent convolutional LSTM
networks with a backprojection module embody unstructured random
representations of the control layer in working memory, recurrently projecting
spatiotemporally decomposed nonlocal patches into orthogonal subspaces for
heterogeneous vessel retrieval and interference suppression. This video
decomposition deep architecture effectively restores the heterogeneous profiles
of intensity and the geometries of moving objects against the complex
background interferences. Experiments show that the proposed method
significantly outperforms state-of-the-art methods in accurate moving
contrast-filled vessel extraction with excellent flexibility and computational
efficiency.
- Abstract（参考訳）: ビデオ分解は、コンピュータビジョン、機械学習、医用画像の複雑な背景から、例えばx線冠動脈造影(xca)の複雑でノイズの多い背景から、移動コントラストで満たされた血管を抽出するために非常に重要である。
しかし、動的背景、重なり合う異種環境、複雑なノイズによって生じる課題は、ビデオ分解にも存在する。
これらの問題を解決するために,視覚・認知神経科学の観点から感覚層と制御層間の変換表現を統合し,解釈可能かつ高性能な階層的深層構造を提供するために,ビデオ分解タスクにフレキシブルな視覚ワーキングメモリモデルを導入する。
具体的には、構造規則化センサ層として機能するロバストPCAアンローリングネットワークは、XCAをスパース/ローランク構造表現に分解し、ノイズと複雑な背景から移動コントラスト満載の容器を分離する。
その後、バックプロジェクションモジュールによるパッチ繰り返し畳み込みLSTMネットワークは、作業記憶における制御層の非構造的ランダム表現を具現化し、時空間的に分解された非局所パッチを、異種血管の検索と干渉抑制のために直交部分空間に繰り返し投影する。
このビデオ分解深層構造は、複雑な背景干渉に対する移動物体の不均一な強度プロファイルとジオメトリを効果的に復元する。
提案手法は, 高精度な移動コントラスト充填容器抽出において, 高い柔軟性と計算効率で, 最先端の手法を著しく上回ることを示す。
関連論文リスト
- Multi-Scale Texture Loss for CT denoising with GANs [0.9349653765341301]
GAN(Generative Adversarial Networks)は、医療画像の応用を認知するための強力なフレームワークとして証明されている。
本研究は,Gray-Level-Co-occurrence Matrix (GLCM) の内在的マルチスケール特性を利用した損失関数を提案する。
また,画像から抽出したマルチスケールテクスチャ情報を動的に集約する自己認識層を導入する。
論文 参考訳（メタデータ） (2024-03-25T11:28:52Z) - DiAD: A Diffusion-based Framework for Multi-class Anomaly Detection [55.48770333927732]
本稿では,拡散型異常検出(Difusion-based Anomaly Detection, DAD)フレームワークを提案する。
画素空間オートエンコーダ、安定拡散の復調ネットワークに接続する潜在空間セマンティックガイド(SG)ネットワーク、特徴空間事前学習機能抽出器から構成される。
MVTec-ADとVisAデータセットの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2023-12-11T18:38:28Z) - IntrinsicNeRF: Learning Intrinsic Neural Radiance Fields for Editable
Novel View Synthesis [90.03590032170169]
内在性ニューラルレンダリング法に内在性分解を導入した内在性ニューラルレイディアンス場(IntrinsicNeRF)を提案する。
そこで,本研究では,オブジェクト固有・ルームスケールシーンと合成・実単語データの両方を用いて,一貫した本質的な分解結果が得られることを示す。
論文 参考訳（メタデータ） (2022-10-02T22:45:11Z) - RetiFluidNet: A Self-Adaptive and Multi-Attention Deep Convolutional
Network for Retinal OCT Fluid Segmentation [3.57686754209902]
OCTガイド下治療には網膜液の定量化が必要である。
RetiFluidNetと呼ばれる新しい畳み込みニューラルアーキテクチャは、多クラス網膜流体セグメンテーションのために提案されている。
モデルは、テクスチャ、コンテキスト、エッジといった特徴の階層的な表現学習の恩恵を受ける。
論文 参考訳（メタデータ） (2022-09-26T07:18:00Z) - Hierarchical Similarity Learning for Aliasing Suppression Image
Super-Resolution [64.15915577164894]
エイリアスの影響を抑制するために階層画像超解像ネットワーク(HSRNet)を提案する。
HSRNetは、他の作品よりも定量的かつ視覚的なパフォーマンスを向上し、エイリアスをより効果的に再送信する。
論文 参考訳（メタデータ） (2022-06-07T14:55:32Z) - RISP: Rendering-Invariant State Predictor with Differentiable Simulation
and Rendering for Cross-Domain Parameter Estimation [110.4255414234771]
既存のソリューションでは、大量のトレーニングデータが必要か、未知のレンダリング設定への一般化性が欠如している。
本稿では、ドメインのランダム化と微分可能なレンダリング勾配を併用してこの問題に対処する手法を提案する。
提案手法は, 再構成誤差を大幅に低減し, 未知のレンダリング構成間の一般化性が向上する。
論文 参考訳（メタデータ） (2022-05-11T17:59:51Z) - Robust PCA Unrolling Network for Super-resolution Vessel Extraction in
X-ray Coronary Angiography [17.761868762702296]
超高分解能XCA血管イメージングのためのスパース特徴選択による新しいロバストPCAアンローリングネットワークを提案する。
提案手法は, 血管網及びその遠位血管の画像化において, 最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2022-04-16T08:19:03Z) - Spatially-Adaptive Image Restoration using Distortion-Guided Networks [51.89245800461537]
空間的に変化する劣化に苦しむ画像の復元のための学習ベースソリューションを提案する。
本研究では、歪み局所化情報を活用し、画像中の困難な領域に動的に適応するネットワーク設計であるSPAIRを提案する。
論文 参考訳（メタデータ） (2021-08-19T11:02:25Z) - Limited-angle tomographic reconstruction of dense layered objects by
dynamical machine learning [68.9515120904028]
強い散乱準透明物体の有限角トモグラフィーは困難で、非常に不適切な問題である。
このような問題の状況を改善することにより、アーティファクトの削減には、事前の定期化が必要である。
我々は,新しい分割畳み込みゲート再帰ユニット(SC-GRU)をビルディングブロックとして,リカレントニューラルネットワーク(RNN)アーキテクチャを考案した。
論文 参考訳（メタデータ） (2020-07-21T11:48:22Z) - Joint Frequency and Image Space Learning for MRI Reconstruction and
Analysis [7.821429746599738]
本稿では、周波数空間データから再構成するための汎用的なビルディングブロックとして、周波数と画像の特徴表現を明示的に組み合わせたニューラルネットワーク層が利用できることを示す。
提案した共同学習方式により、周波数空間に固有のアーティファクトの補正と画像空間表現の操作を両立させ、ネットワークのすべての層でコヒーレントな画像構造を再構築することができる。
論文 参考訳（メタデータ） (2020-07-02T23:54:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。