論文の概要: GaraMoSt: Parallel Multi-Granularity Motion and Structural Modeling for Efficient Multi-Frame Interpolation in DSA Images

• arxiv url: http://arxiv.org/abs/2412.14118v1
• Date: Wed, 18 Dec 2024 18:04:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:47:47.734098
• Title: GaraMoSt: Parallel Multi-Granularity Motion and Structural Modeling for Efficient Multi-Frame Interpolation in DSA Images
• Title（参考訳）: GaraMoSt:DSA画像における高能率マルチフレーム補間のための並列多角運動と構造モデリング
• Authors: Ziyang Xu, Huangxuan Zhao, Wenyu Liu, Xinggang Wang,
• Abstract要約: Digital Subtraction Angiography (DSA) 画像は複雑な血管構造と様々な動きを含んでいる。 自然シーンビデオフレーム補間法(VFI)を適用すると、動きのアーティファクト、構造的散逸、ぼやけが生じる。 MoSt-DSAはこれらの問題に初めて対処し、SOTAの結果を得た。 我々は,これらの問題に同じ計算時間スケールで対処するGalaMoStを提案する。
• 参考スコア（独自算出の注目度）: 35.42266460525047
• License:
• Abstract: The rapid and accurate direct multi-frame interpolation method for Digital Subtraction Angiography (DSA) images is crucial for reducing radiation and providing real-time assistance to physicians for precise diagnostics and treatment. DSA images contain complex vascular structures and various motions. Applying natural scene Video Frame Interpolation (VFI) methods results in motion artifacts, structural dissipation, and blurriness. Recently, MoSt-DSA has specifically addressed these issues for the first time and achieved SOTA results. However, MoSt-DSA's focus on real-time performance leads to insufficient suppression of high-frequency noise and incomplete filtering of low-frequency noise in the generated images. To address these issues within the same computational time scale, we propose GaraMoSt. Specifically, we optimize the network pipeline with a parallel design and propose a module named MG-MSFE. MG-MSFE extracts frame-relative motion and structural features at various granularities in a fully convolutional parallel manner and supports independent, flexible adjustment of context-aware granularity at different scales, thus enhancing computational efficiency and accuracy. Extensive experiments demonstrate that GaraMoSt achieves the SOTA performance in accuracy, robustness, visual effects, and noise suppression, comprehensively surpassing MoSt-DSA and other natural scene VFI methods. The code and models are available at https://github.com/ZyoungXu/GaraMoSt.
• Abstract（参考訳）: デジタルサブトラクション血管造影(DSA)画像の高速かつ高精度な多フレーム補間法は,放射線を低減し,正確な診断と治療のために医師にリアルタイムの補助を提供するために重要である。 DSA画像は複雑な血管構造と様々な動きを含んでいる。 自然シーンビデオフレーム補間法(VFI)を適用すると、動きのアーティファクト、構造的散逸、ぼやけが生じる。 最近、MoSt-DSAはこれらの問題に初めて対処し、SOTAの結果を得た。 しかし、MoSt-DSAのリアルタイム性能への焦点は、生成した画像における高周波ノイズの抑制と低周波ノイズの不完全フィルタリングに繋がる。 同じ計算時間スケールでこれらの問題に対処するため、GaraMoStを提案する。 具体的には、並列設計でネットワークパイプラインを最適化し、MG-MSFEというモジュールを提案する。 MG-MSFEは、フレーム相対運動と構造的特徴を、完全に畳み込み並列に抽出し、異なるスケールでコンテキスト認識の粒度の独立的かつ柔軟な調整をサポートし、計算効率と精度を向上させる。 広汎な実験により、GaraMoStは精度、堅牢性、視覚効果、騒音抑制のSOTA性能を達成し、MoSt-DSAや他の自然環境VFI法を網羅的に超越していることが示された。 コードとモデルはhttps://github.com/ZyoungXu/GaraMoSt.comで公開されている。

関連論文リスト

• Parsimonious Dynamic Mode Decomposition: A Robust and Automated Approach for Optimally Sparse Mode Selection in Complex Systems [0.40964539027092917]
  本稿では,Parsimonious Dynamic Mode Decomposition (parsDMD)を紹介する。 ParsDMDは、時間的および純粋に時間的データの両方に対して最適にスパースされた動的モードのサブセットを自動選択するように設計された新しいアルゴリズムである。 定在波信号、隠れ力学の同定、流体力学シミュレーション、大気表面温度(SST)データなど、さまざまなデータセットで検証されている。
  論文  参考訳（メタデータ） (2024-10-22T03:00:11Z)
• QMambaBSR: Burst Image Super-Resolution with Query State Space Model [55.56075874424194]
  バースト超解像度は、複数のバースト低解像度フレームからサブピクセル情報を融合することにより、高画質でよりリッチな細部で高解像度の画像を再構成することを目的としている。 BusrtSRにおいて鍵となる課題は、高周波ノイズ障害を同時に抑制しつつ、ベースフレームの補完的なサブピクセルの詳細を抽出することである。 本稿では,Query State Space Model (QSSM) とAdaptive Up-Sampling Module (AdaUp) を組み合わせた新しいQuery Mamba Burst Super-Resolution (QMambaBSR) ネットワークを紹介する。
  論文  参考訳（メタデータ） (2024-08-16T11:15:29Z)
• MoSt-DSA: Modeling Motion and Structural Interactions for Direct Multi-Frame Interpolation in DSA Images [31.357770667947907]
  我々は,デジタルサブトラクション・アンギオグラフィーフレームにディープラーニングを用いた最初の研究であるMoSt-DSAを提案する。 未知あるいは粗粒な特徴を抽出する自然シーンビデオフレーム補間(VFI)法とは異なり、フレーム間の動きと構造的コンテキストの相互作用を効率的な完全畳み込み方式でモデル化する汎用モジュールを考案する。 MoSt-DSAは470のDSA画像シーケンスで堅牢な結果を示し、平均SSIMは0.93以上、PSNRは38以上(それぞれ0.030未満、PSNRは3.6以下)、精度、速度、視覚効果を総合的に達成している。
  論文  参考訳（メタデータ） (2024-07-09T17:50:54Z)
• Image Deraining with Frequency-Enhanced State Space Model [2.9465623430708905]
  本研究では,画像デライニングによる画像デライニングにSSMを導入し,DFSSM(Deraining Frequency-Enhanced State Space Model)を提案する。 我々は,複数のカーネルサイズを持つ畳み込みを用いて,様々なスケールの劣化を効果的に捕捉する,新しい混合スケールゲート畳み込みブロックを開発した。 合成および実世界の雨天画像データセットの実験により,我々の手法が最先端の手法を超越していることが判明した。
  論文  参考訳（メタデータ） (2024-05-26T07:45:12Z)
• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• IFT: Image Fusion Transformer for Ghost-free High Dynamic Range Imaging [26.127764855477782]
  マルチフレームハイダイナミックレンジ(HDR)画像は、コンテンツ補完的ではあるが空間的に不一致な低ダイナミックレンジ(LDR)画像から、ゴーストフリー画像の写実的詳細を再構成することを目的としている。 既存のHDRアルゴリズムは、ダイナミックなシーンで大きな動きを持つLDRフレーム間の長距離依存関係をキャプチャできないため、ゴーストアーティファクトを生成する傾向にある。 我々は,高速グローバルパッチ探索(FGPS)モジュールと,ゴーストフリーHDRイメージングのためのセルフクロスフュージョンモジュール(SCF)を併用した新しい画像融合トランスフォーマ(IFT)を提案する。
  論文  参考訳（メタデータ） (2023-09-26T15:38:52Z)
• Unified Frequency-Assisted Transformer Framework for Detecting and Grounding Multi-Modal Manipulation [109.1912721224697]
  本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。 離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。 提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
  論文  参考訳（メタデータ） (2023-09-18T11:06:42Z)
• RingMo-lite: A Remote Sensing Multi-task Lightweight Network with CNN-Transformer Hybrid Framework [15.273362355253779]
  本稿では,CNN-Transformerハイブリッドフレームワークを用いたRSマルチタスク軽量ネットワークであるRingMo-liteを提案する。 提案したRingMo-liteは、様々なRS画像解釈タスクにおいて60%以上のパラメータを削減し、ほとんどのシーンで平均精度は2%以下に低下し、類似サイズのモデルと比較してSOTA性能が向上する。
  論文  参考訳（メタデータ） (2023-09-16T14:15:59Z)
• On Sensitivity and Robustness of Normalization Schemes to Input Distribution Shifts in Automatic MR Image Diagnosis [58.634791552376235]
  深層学習(DL)モデルは、再構成画像を入力として、複数の疾患の診断において最先端のパフォーマンスを達成した。 DLモデルは、トレーニングとテストフェーズ間の入力データ分布の変化につながるため、さまざまなアーティファクトに敏感である。 本稿では,グループ正規化やレイヤ正規化といった他の正規化手法を用いて,画像のさまざまなアーチファクトに対して,モデル性能にロバスト性を注入することを提案する。
  論文  参考訳（メタデータ） (2023-06-23T03:09:03Z)
• Diffusion Probabilistic Model Made Slim [128.2227518929644]
  軽量画像合成のためのスリム拡散確率モデル(DPM)のカスタマイズ設計を提案する。 一連の条件および非条件画像生成タスクにおける遅延拡散モデルと比較して,計算複雑性を8-18倍に削減する。
  論文  参考訳（メタデータ） (2022-11-27T16:27:28Z)
• Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
  深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。 本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
  論文  参考訳（メタデータ） (2020-02-15T13:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。