論文の概要: From Diffusion to Resolution: Leveraging 2D Diffusion Models for 3D Super-Resolution Task

• arxiv url: http://arxiv.org/abs/2411.16792v1
• Date: Mon, 25 Nov 2024 09:12:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:35:35.198210
• Title: From Diffusion to Resolution: Leveraging 2D Diffusion Models for 3D Super-Resolution Task
• Title（参考訳）: 拡散から分解へ:3次元超解法課題における2次元拡散モデルを活用する
• Authors: Bohao Chen, Yanchao Zhang, Yanan Lv, Hua Han, Xi Chen,
• Abstract要約: 本稿では,3次元電子顕微鏡(vEM)の超解像性を高めるために,2次元拡散モデルと体積内の横方向の連続性を利用する新しい手法を提案する。 イオンビーム走査型電子顕微鏡(FIB-SEM)の2つのデータを用いて,本フレームワークのロバスト性と実用性を示した。
• 参考スコア（独自算出の注目度）: 19.56372155146739
• License:
• Abstract: Diffusion models have recently emerged as a powerful technique in image generation, especially for image super-resolution tasks. While 2D diffusion models significantly enhance the resolution of individual images, existing diffusion-based methods for 3D volume super-resolution often struggle with structure discontinuities in axial direction and high sampling costs. In this work, we present a novel approach that leverages the 2D diffusion model and lateral continuity within the volume to enhance 3D volume electron microscopy (vEM) super-resolution. We first simulate lateral degradation with slices in the XY plane and train a 2D diffusion model to learn how to restore the degraded slices. The model is then applied slice-by-slice in the lateral direction of low-resolution volume, recovering slices while preserving inherent lateral continuity. Following this, a high-frequency-aware 3D super-resolution network is trained on the recovery lateral slice sequences to learn spatial feature transformation across slices. Finally, the network is applied to infer high-resolution volumes in the axial direction, enabling 3D super-resolution. We validate our approach through comprehensive evaluations, including image similarity assessments, resolution analysis, and performance on downstream tasks. Our results on two publicly available focused ion beam scanning electron microscopy (FIB-SEM) datasets demonstrate the robustness and practical applicability of our framework for 3D volume super-resolution.
• Abstract（参考訳）: 拡散モデルは、特に画像超解像タスクにおいて、画像生成において強力な技術として最近登場した。 2次元拡散モデルは個々の画像の解像度を著しく向上させるが、既存の3次元体積超解法は軸方向の構造不連続と高サンプリングコストにしばしば苦労する。 本研究では,3次元電子顕微鏡(vEM)の超解像化のために,2次元拡散モデルと体積内の横方向の連続性を利用する新しい手法を提案する。 まず、XY平面のスライスによる横方向の劣化をシミュレートし、2次元拡散モデルを訓練し、劣化したスライスを復元する方法を学習する。 次に、低分解能ボリュームの側方方向にスライス・バイ・スライスを施し、固有の横連続性を保ちながらスライスを回収する。 その後、回復側スライスシーケンスに基づいて高周波対応3D超解像ネットワークを訓練し、スライス間の空間的特徴変換を学習する。 最後に、ネットワークを用いて軸方向の高分解能ボリュームを推定し、3次元超解像を実現する。 我々は、画像類似性評価、解像度分析、下流タスクのパフォーマンスなど、包括的な評価を通じてアプローチを検証する。 市販イオンビーム走査電子顕微鏡(FIB-SEM)の2つのデータを用いて,3次元超解像装置のロバスト性と実用性を示した。

関連論文リスト

• Reference-free Axial Super-resolution of 3D Microscopy Images using Implicit Neural Representation with a 2D Diffusion Prior [4.1326413814647545]
  学習に基づく3次元超解像モデルの訓練には、真理等方性ボリュームが必要であり、次元の呪いに苦しむ。 既存の方法では、2Dニューラルネットワークを使用して各軸スライスを再構築し、最終的には体積全体をまとめる。 独立軸スライスにより最適化された場合でも3次元コヒーレンシを実現する暗黙的ニューラル表現(INR)に基づく再構成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-16T09:14:12Z)
• GEOcc: Geometrically Enhanced 3D Occupancy Network with Implicit-Explicit Depth Fusion and Contextual Self-Supervision [49.839374549646884]
  本稿では,視覚のみのサラウンドビュー知覚に適したジオメトリ強化OccupancyネットワークであるGEOccについて述べる。 提案手法は,Occ3D-nuScenesデータセット上で,画像解像度が最小で,画像バックボーンが最大である状態-Of-The-Art性能を実現する。
  論文  参考訳（メタデータ） (2024-05-17T07:31:20Z)
• SC-Diff: 3D Shape Completion with Latent Diffusion Models [4.913210912019975]
  本稿では, 形状の完成に最適化された3次元潜在拡散モデルを用いて, 3次元形状完備化手法を提案する。 本手法は,空間的コンディショニングとクロスアテンションによる画像ベースコンディショニングを,キャプチャー部分スキャンからの3次元特徴の統合により組み合わせたものである。
  論文  参考訳（メタデータ） (2024-03-19T06:01:11Z)
• What You See is What You GAN: Rendering Every Pixel for High-Fidelity Geometry in 3D GANs [82.3936309001633]
  3D-aware Generative Adversarial Networks (GANs) は,マルチビュー一貫性画像と3Dジオメトリを生成する学習において,顕著な進歩を見せている。 しかし、ボリュームレンダリングにおける高密度サンプリングの大幅なメモリと計算コストにより、3D GANはパッチベースのトレーニングを採用するか、後処理の2Dスーパーレゾリューションで低解像度レンダリングを採用することを余儀なくされた。 ニューラルボリュームレンダリングをネイティブ2次元画像の高解像度化に拡張する手法を提案する。
  論文  参考訳（メタデータ） (2024-01-04T18:50:38Z)
• StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
  本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。 まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。 第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-02T02:27:58Z)
• Improving 3D Imaging with Pre-Trained Perpendicular 2D Diffusion Models [52.529394863331326]
  本稿では,2つの垂直2次元拡散モデルを用いて3次元逆問題の解法を提案する。 MRI Z軸超解像, 圧縮センシングMRI, スパースCTなどの3次元医用画像再構成作業に有効である。
  論文  参考訳（メタデータ） (2023-03-15T08:28:06Z)
• Neural Volume Super-Resolution [49.879789224455436]
  本稿では,シーンの体積表現を直接操作する超解像ネットワークを提案する。 提案手法を実現するために,複数の2次元特徴面にヒンジを付ける新しい3次元表現法を提案する。 多様な3Dシーンの多視点一貫したビューを超解し,提案手法の有効性を検証した。
  論文  参考訳（メタデータ） (2022-12-09T04:54:13Z)
• Solving 3D Inverse Problems using Pre-trained 2D Diffusion Models [33.343489006271255]
  拡散モデルは、高品質なサンプルを持つ新しい最先端の生成モデルとして登場した。 そこで本研究では, モデルに基づく2次元拡散を, 全次元にわたるコヒーレントな再構成を達成できるように, 実験時の残りの方向で先行する2次元拡散を拡大することを提案する。 提案手法は,1つのコモディティGPU上で動作可能であり,新しい最先端技術を確立する。
  論文  参考訳（メタデータ） (2022-11-19T10:32:21Z)
• Revisiting 3D Context Modeling with Supervised Pre-training for Universal Lesion Detection in CT Slices [48.85784310158493]
  CTスライスにおける普遍的病変検出のための3Dコンテキスト強化2D特徴を効率的に抽出するための修飾擬似3次元特徴ピラミッドネットワーク(MP3D FPN)を提案する。 新たな事前学習手法により,提案したMP3D FPNは,DeepLesionデータセット上での最先端検出性能を実現する。 提案された3Dプリトレーニングウェイトは、他の3D医療画像分析タスクのパフォーマンスを高めるために使用できる。
  論文  参考訳（メタデータ） (2020-12-16T07:11:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。