論文の概要: MoSt-DSA: Modeling Motion and Structural Interactions for Direct Multi-Frame Interpolation in DSA Images
- arxiv url: http://arxiv.org/abs/2407.07078v1
- Date: Tue, 9 Jul 2024 17:50:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-10 16:57:59.128083
- Title: MoSt-DSA: Modeling Motion and Structural Interactions for Direct Multi-Frame Interpolation in DSA Images
- Title（参考訳）: MoSt-DSA:DSA画像における直接多フレーム補間のための運動と構造相互作用のモデル化
- Authors: Ziyang Xu, Huangxuan Zhao, Ziwei Cui, Wenyu Liu, Chuansheng Zheng, Xinggang Wang,
- Abstract要約: 我々は,デジタルサブトラクション・アンギオグラフィーフレームにディープラーニングを用いた最初の研究であるMoSt-DSAを提案する。
未知あるいは粗粒な特徴を抽出する自然シーンビデオフレーム補間(VFI)法とは異なり、フレーム間の動きと構造的コンテキストの相互作用を効率的な完全畳み込み方式でモデル化する汎用モジュールを考案する。
MoSt-DSAは470のDSA画像シーケンスで堅牢な結果を示し、平均SSIMは0.93以上、PSNRは38以上(それぞれ0.030未満、PSNRは3.6以下)、精度、速度、視覚効果を総合的に達成している。
- 参考スコア（独自算出の注目度）: 31.357770667947907
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Artificial intelligence has become a crucial tool for medical image analysis. As an advanced cerebral angiography technique, Digital Subtraction Angiography (DSA) poses a challenge where the radiation dose to humans is proportional to the image count. By reducing images and using AI interpolation instead, the radiation can be cut significantly. However, DSA images present more complex motion and structural features than natural scenes, making interpolation more challenging. We propose MoSt-DSA, the first work that uses deep learning for DSA frame interpolation. Unlike natural scene Video Frame Interpolation (VFI) methods that extract unclear or coarse-grained features, we devise a general module that models motion and structural context interactions between frames in an efficient full convolution manner by adjusting optimal context range and transforming contexts into linear functions. Benefiting from this, MoSt-DSA is also the first method that directly achieves any number of interpolations at any time steps with just one forward pass during both training and testing. We conduct extensive comparisons with 7 representative VFI models for interpolating 1 to 3 frames, MoSt-DSA demonstrates robust results across 470 DSA image sequences (each typically 152 images), with average SSIM over 0.93, average PSNR over 38 (standard deviations of less than 0.030 and 3.6, respectively), comprehensively achieving state-of-the-art performance in accuracy, speed, visual effect, and memory usage. Our code is available at https://github.com/ZyoungXu/MoSt-DSA.
- Abstract（参考訳）: 人工知能は医療画像分析にとって重要なツールとなっている。
高度な脳血管造影技術として、DSA(Digital Subtraction Angiography)は、ヒトへの放射線照射量が画像数に比例する課題を提起する。
画像の削減と代わりにAI補間を使用することで、放射線を著しく切断することができる。
しかし、DSA画像は自然のシーンよりも複雑な動きと構造的特徴を示しており、補間をより困難にしている。
DSAフレーム補間のためのディープラーニングを用いた最初の研究であるMoSt-DSAを提案する。
未知あるいは粗粒な特徴を抽出する自然シーンビデオフレーム補間(VFI)法とは異なり、最適なコンテキスト範囲を調整し、コンテキストを線形関数に変換することにより、フレーム間の動きと構造的コンテキストの相互作用を効率的な完全畳み込み方式でモデル化する汎用モジュールを考案する。
この利点を生かして、MoSt-DSAは、トレーニングとテストの両方において、たった1つのフォワードパスで、任意のステップで任意の数の補間を直接達成する最初の方法である。
1フレームから3フレームを補間する7つの代表的なVFIモデルとの比較を行い、MoSt-DSAは470のDSA画像シーケンス(通常152画像)で堅牢な結果を示し、平均SSIMは0.93以上、平均PSNRは38以上(標準偏差は0.030以上、3.6以下)、精度、速度、視覚効果、メモリ使用率を総合的に達成している。
私たちのコードはhttps://github.com/ZyoungXu/MoSt-DSAで利用可能です。
関連論文リスト
- ViBiDSampler: Enhancing Video Interpolation Using Bidirectional Diffusion Sampler [53.98558445900626]
現在の画像とビデオの拡散モデルは、単一のフレームからビデオを生成するのに強力だが、2フレーム条件付き生成に適応する必要がある。
我々は,これらのオフマンド問題に対処するために,広範囲な再ノイズや微調整を必要とせずに,新しい双方向サンプリング戦略を導入する。
提案手法では,それぞれ開始フレームと終了フレームに条件付き前方経路と後方経路の両方に沿って逐次サンプリングを行い,中間フレームの整合性を確保した。
論文 参考訳（メタデータ） (2024-10-08T03:01:54Z) - MLMT-CNN for Object Detection and Segmentation in Multi-layer and Multi-spectral Images [4.2623421577291225]
画像バンド間の依存関係を利用して3次元ARローカライゼーションを生成するマルチタスク深層学習フレームワークを提案する。
我々のフレームワークは、すべてのモードで平均0.72 IoUと0.90 F1スコアを達成する。
論文 参考訳（メタデータ） (2024-07-19T17:21:53Z) - Plug-and-Play Regularization on Magnitude with Deep Priors for 3D Near-Field MIMO Imaging [0.0]
近接場レーダイメージングシステムは、隠蔽兵器の検出や医療診断など、幅広い用途で使用されている。
3次元複素数値反射率の問題は、その大きさに対して正則化を強制することによるものである。
論文 参考訳（メタデータ） (2023-12-26T12:25:09Z) - Video Frame Interpolation with Many-to-many Splatting and Spatial
Selective Refinement [83.60486465697318]
本稿では,フレームを効率的に補間するM2Mスプレイティングフレームワークを提案する。
入力フレームペアごとに、M2Mは任意の数のフレーム間を補間する際の計算オーバーヘッドが極小である。
フレキシブルな空間選択リファインメント(Spatial Selective Refinement)コンポーネントを導入して,M2M++フレームワークを拡張した。
論文 参考訳（メタデータ） (2023-10-29T09:09:32Z) - Improving Human-Object Interaction Detection via Virtual Image Learning [68.56682347374422]
人間-物体相互作用(Human-Object Interaction、HOI)は、人間と物体の相互作用を理解することを目的としている。
本稿では,仮想画像学習(Virtual Image Leaning, VIL)による不均衡分布の影響を軽減することを提案する。
ラベルからイメージへの新たなアプローチであるMultiple Steps Image Creation (MUSIC)が提案され、実際の画像と一貫した分布を持つ高品質なデータセットを作成する。
論文 参考訳（メタデータ） (2023-08-04T10:28:48Z) - Decoupled Diffusion Models: Simultaneous Image to Zero and Zero to Noise [53.04220377034574]
10機能未満の高画質(未条件)の画像生成のためのデカップリング拡散モデル(DDM)を提案する。
我々は,1) 画像から0遷移までをモデル化した解析的遷移確率に基づいて, 学習目標と(2) サンプリング式を逆時間に導出する。
1)無条件画像生成, CIFAR-10, CelebA-HQ-256, 2)超解像, 塩分検出, エッジ検出, 画像入力などの下流処理, テキスト処理, テキスト処理, テキスト処理, テキスト処理, 画像処理, 画像処理などと比較して, 非常に競争力のある性能が得られる。
論文 参考訳（メタデータ） (2023-06-23T18:08:00Z) - Unfolding Framework with Prior of Convolution-Transformer Mixture and
Uncertainty Estimation for Video Snapshot Compressive Imaging [7.601695814245209]
本稿では, 連続する高速フレームを異なるマスクで変調し, 単一の計測でキャプチャする, ビデオスナップショット圧縮画像(SCI)の問題点について考察する。
最適化アルゴリズムとニューラルネットワークを組み合わせることで、ディープ・アンフォールディング・ネットワーク(DUN)は、逆問題の解決において大きな成果を上げた。
論文 参考訳（メタデータ） (2023-06-20T06:25:48Z) - Multi-View Object Pose Refinement With Differentiable Renderer [22.040014384283378]
本稿では,合成データの学習方法の改善に焦点をあてた,新しい多視点6 DoFオブジェクトポーズ改善手法を提案する。
これはDPOD検出器に基づいており、各フレーム内のモデル頂点と画像画素との間の密度の高い2D-3D対応を生成する。
合成および実データに基づいて訓練された最先端の手法と比較して優れた性能を報告した。
論文 参考訳（メタデータ） (2022-07-06T17:02:22Z) - Look Back and Forth: Video Super-Resolution with Explicit Temporal
Difference Modeling [105.69197687940505]
本稿では,LR空間とHR空間における時間差の明示的モデル化の役割について検討する。
超解像結果をさらに高めるために、空間残留特徴を抽出するだけでなく、高周波領域における連続フレーム間の差も計算する。
論文 参考訳（メタデータ） (2022-04-14T17:07:33Z) - Deformable Image Registration using Neural ODEs [15.245085400790002]
ニューラル常微分方程式(NODE)を利用した汎用的で高速かつ高精度な微分型画像登録フレームワークを提案する。
従来の最適化手法と比較して、我々のフレームワークは実行時間を数十分から数十秒に短縮する。
実験の結果, 提案手法の登録結果は, 各種測定値において, 最先端技術よりも優れていた。
論文 参考訳（メタデータ） (2021-08-07T12:54:17Z) - Automatic size and pose homogenization with spatial transformer network
to improve and accelerate pediatric segmentation [51.916106055115755]
空間変換器ネットワーク(STN)を利用することにより、ポーズとスケール不変の新たなCNNアーキテクチャを提案する。
私たちのアーキテクチャは、トレーニング中に一緒に見積もられる3つのシーケンシャルモジュールで構成されています。
腹部CTスキャナーを用いた腎および腎腫瘍の分節法について検討した。
論文 参考訳（メタデータ） (2021-07-06T14:50:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。