論文の概要: MoSt-DSA: Modeling Motion and Structural Interactions for Direct Multi-Frame Interpolation in DSA Images

• arxiv url: http://arxiv.org/abs/2407.07078v1
• Date: Tue, 9 Jul 2024 17:50:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 16:57:59.128083
• Title: MoSt-DSA: Modeling Motion and Structural Interactions for Direct Multi-Frame Interpolation in DSA Images
• Title（参考訳）: MoSt-DSA:DSA画像における直接多フレーム補間のための運動と構造相互作用のモデル化
• Authors: Ziyang Xu, Huangxuan Zhao, Ziwei Cui, Wenyu Liu, Chuansheng Zheng, Xinggang Wang,
• Abstract要約: 我々は,デジタルサブトラクション・アンギオグラフィーフレームにディープラーニングを用いた最初の研究であるMoSt-DSAを提案する。 未知あるいは粗粒な特徴を抽出する自然シーンビデオフレーム補間(VFI)法とは異なり、フレーム間の動きと構造的コンテキストの相互作用を効率的な完全畳み込み方式でモデル化する汎用モジュールを考案する。 MoSt-DSAは470のDSA画像シーケンスで堅牢な結果を示し、平均SSIMは0.93以上、PSNRは38以上(それぞれ0.030未満、PSNRは3.6以下)、精度、速度、視覚効果を総合的に達成している。
• 参考スコア（独自算出の注目度）: 31.357770667947907
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Artificial intelligence has become a crucial tool for medical image analysis. As an advanced cerebral angiography technique, Digital Subtraction Angiography (DSA) poses a challenge where the radiation dose to humans is proportional to the image count. By reducing images and using AI interpolation instead, the radiation can be cut significantly. However, DSA images present more complex motion and structural features than natural scenes, making interpolation more challenging. We propose MoSt-DSA, the first work that uses deep learning for DSA frame interpolation. Unlike natural scene Video Frame Interpolation (VFI) methods that extract unclear or coarse-grained features, we devise a general module that models motion and structural context interactions between frames in an efficient full convolution manner by adjusting optimal context range and transforming contexts into linear functions. Benefiting from this, MoSt-DSA is also the first method that directly achieves any number of interpolations at any time steps with just one forward pass during both training and testing. We conduct extensive comparisons with 7 representative VFI models for interpolating 1 to 3 frames, MoSt-DSA demonstrates robust results across 470 DSA image sequences (each typically 152 images), with average SSIM over 0.93, average PSNR over 38 (standard deviations of less than 0.030 and 3.6, respectively), comprehensively achieving state-of-the-art performance in accuracy, speed, visual effect, and memory usage. Our code is available at https://github.com/ZyoungXu/MoSt-DSA.
• Abstract（参考訳）: 人工知能は医療画像分析にとって重要なツールとなっている。 高度な脳血管造影技術として、DSA(Digital Subtraction Angiography)は、ヒトへの放射線照射量が画像数に比例する課題を提起する。 画像の削減と代わりにAI補間を使用することで、放射線を著しく切断することができる。 しかし、DSA画像は自然のシーンよりも複雑な動きと構造的特徴を示しており、補間をより困難にしている。 DSAフレーム補間のためのディープラーニングを用いた最初の研究であるMoSt-DSAを提案する。 未知あるいは粗粒な特徴を抽出する自然シーンビデオフレーム補間(VFI)法とは異なり、最適なコンテキスト範囲を調整し、コンテキストを線形関数に変換することにより、フレーム間の動きと構造的コンテキストの相互作用を効率的な完全畳み込み方式でモデル化する汎用モジュールを考案する。 この利点を生かして、MoSt-DSAは、トレーニングとテストの両方において、たった1つのフォワードパスで、任意のステップで任意の数の補間を直接達成する最初の方法である。 1フレームから3フレームを補間する7つの代表的なVFIモデルとの比較を行い、MoSt-DSAは470のDSA画像シーケンス(通常152画像)で堅牢な結果を示し、平均SSIMは0.93以上、平均PSNRは38以上(標準偏差は0.030以上、3.6以下)、精度、速度、視覚効果、メモリ使用率を総合的に達成している。 私たちのコードはhttps://github.com/ZyoungXu/MoSt-DSAで利用可能です。

関連論文リスト

• GaraMoSt: Parallel Multi-Granularity Motion and Structural Modeling for Efficient Multi-Frame Interpolation in DSA Images [35.42266460525047]
  Digital Subtraction Angiography (DSA) 画像は複雑な血管構造と様々な動きを含んでいる。 自然シーンビデオフレーム補間法(VFI)を適用すると、動きのアーティファクト、構造的散逸、ぼやけが生じる。 MoSt-DSAはこれらの問題に初めて対処し、SOTAの結果を得た。 我々は,これらの問題に同じ計算時間スケールで対処するGalaMoStを提案する。
  論文  参考訳（メタデータ） (2024-12-18T18:04:12Z)
• ViBiDSampler: Enhancing Video Interpolation Using Bidirectional Diffusion Sampler [53.98558445900626]
  現在の画像とビデオの拡散モデルは、単一のフレームからビデオを生成するのに強力だが、2フレーム条件付き生成に適応する必要がある。 我々は,これらのオフマンド問題に対処するために,広範囲な再ノイズや微調整を必要とせずに,新しい双方向サンプリング戦略を導入する。 提案手法では,それぞれ開始フレームと終了フレームに条件付き前方経路と後方経路の両方に沿って逐次サンプリングを行い,中間フレームの整合性を確保した。
  論文  参考訳（メタデータ） (2024-10-08T03:01:54Z)
• MLMT-CNN for Object Detection and Segmentation in Multi-layer and Multi-spectral Images [4.2623421577291225]
  画像バンド間の依存関係を利用して3次元ARローカライゼーションを生成するマルチタスク深層学習フレームワークを提案する。 我々のフレームワークは、すべてのモードで平均0.72 IoUと0.90 F1スコアを達成する。
  論文  参考訳（メタデータ） (2024-07-19T17:21:53Z)
• S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
  外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。 本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T11:40:49Z)
• Plug-and-Play Regularization on Magnitude with Deep Priors for 3D Near-Field MIMO Imaging [0.0]
  近接場レーダイメージングシステムは、隠蔽兵器の検出や医療診断など、幅広い用途で使用されている。 3次元複素数値反射率の問題は、その大きさに対して正則化を強制することによるものである。
  論文  参考訳（メタデータ） (2023-12-26T12:25:09Z)
• Video Frame Interpolation with Many-to-many Splatting and Spatial Selective Refinement [83.60486465697318]
  本稿では,フレームを効率的に補間するM2Mスプレイティングフレームワークを提案する。 入力フレームペアごとに、M2Mは任意の数のフレーム間を補間する際の計算オーバーヘッドが極小である。 フレキシブルな空間選択リファインメント(Spatial Selective Refinement)コンポーネントを導入して,M2M++フレームワークを拡張した。
  論文  参考訳（メタデータ） (2023-10-29T09:09:32Z)
• Improving Human-Object Interaction Detection via Virtual Image Learning [68.56682347374422]
  人間-物体相互作用(Human-Object Interaction、HOI)は、人間と物体の相互作用を理解することを目的としている。 本稿では,仮想画像学習(Virtual Image Leaning, VIL)による不均衡分布の影響を軽減することを提案する。 ラベルからイメージへの新たなアプローチであるMultiple Steps Image Creation (MUSIC)が提案され、実際の画像と一貫した分布を持つ高品質なデータセットを作成する。
  論文  参考訳（メタデータ） (2023-08-04T10:28:48Z)
• Unfolding Framework with Prior of Convolution-Transformer Mixture and Uncertainty Estimation for Video Snapshot Compressive Imaging [7.601695814245209]
  本稿では, 連続する高速フレームを異なるマスクで変調し, 単一の計測でキャプチャする, ビデオスナップショット圧縮画像(SCI)の問題点について考察する。 最適化アルゴリズムとニューラルネットワークを組み合わせることで、ディープ・アンフォールディング・ネットワーク(DUN)は、逆問題の解決において大きな成果を上げた。
  論文  参考訳（メタデータ） (2023-06-20T06:25:48Z)
• Multi-View Object Pose Refinement With Differentiable Renderer [22.040014384283378]
  本稿では,合成データの学習方法の改善に焦点をあてた,新しい多視点6 DoFオブジェクトポーズ改善手法を提案する。 これはDPOD検出器に基づいており、各フレーム内のモデル頂点と画像画素との間の密度の高い2D-3D対応を生成する。 合成および実データに基づいて訓練された最先端の手法と比較して優れた性能を報告した。
  論文  参考訳（メタデータ） (2022-07-06T17:02:22Z)
• Look Back and Forth: Video Super-Resolution with Explicit Temporal Difference Modeling [105.69197687940505]
  本稿では,LR空間とHR空間における時間差の明示的モデル化の役割について検討する。 超解像結果をさらに高めるために、空間残留特徴を抽出するだけでなく、高周波領域における連続フレーム間の差も計算する。
  論文  参考訳（メタデータ） (2022-04-14T17:07:33Z)
• Automatic size and pose homogenization with spatial transformer network to improve and accelerate pediatric segmentation [51.916106055115755]
  空間変換器ネットワーク(STN)を利用することにより、ポーズとスケール不変の新たなCNNアーキテクチャを提案する。 私たちのアーキテクチャは、トレーニング中に一緒に見積もられる3つのシーケンシャルモジュールで構成されています。 腹部CTスキャナーを用いた腎および腎腫瘍の分節法について検討した。
  論文  参考訳（メタデータ） (2021-07-06T14:50:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。