論文の概要: Self-Supervised Super-Resolution Approach for Isotropic Reconstruction
of 3D Electron Microscopy Images from Anisotropic Acquisition
- arxiv url: http://arxiv.org/abs/2309.10646v1
- Date: Tue, 19 Sep 2023 14:28:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 14:14:44.910581
- Title: Self-Supervised Super-Resolution Approach for Isotropic Reconstruction
of 3D Electron Microscopy Images from Anisotropic Acquisition
- Title(参考訳): 異方性獲得による3次元電子顕微鏡像の等方的再構成のための自己超解法
- Authors: Mohammad Khateri, Morteza Ghahremani, Alejandra Sierra, and Jussi
Tohka
- Abstract要約: 3次元電子顕微鏡(3DEM)は、体積組織の超微細構造を研究するための重要な技術である。
技術的制限と画像のコストが高いため、サンプルはしばしば異方性に撮像され、軸方向の分解能は横方向よりも低い。
この異方性3DEMは、その後の解析および可視化タスクを妨げることができる。
異方性獲得から等方性3DEMを計算的に再構成する,新しい深層学習(DL)に基づく自己教師型超解法を提案する。
- 参考スコア(独自算出の注目度): 43.53912137735094
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Three-dimensional electron microscopy (3DEM) is an essential technique to
investigate volumetric tissue ultra-structure. Due to technical limitations and
high imaging costs, samples are often imaged anisotropically, where resolution
in the axial direction ($z$) is lower than in the lateral directions $(x,y)$.
This anisotropy 3DEM can hamper subsequent analysis and visualization tasks. To
overcome this limitation, we propose a novel deep-learning (DL)-based
self-supervised super-resolution approach that computationally reconstructs
isotropic 3DEM from the anisotropic acquisition. The proposed DL-based
framework is built upon the U-shape architecture incorporating
vision-transformer (ViT) blocks, enabling high-capability learning of local and
global multi-scale image dependencies. To train the tailored network, we employ
a self-supervised approach. Specifically, we generate pairs of anisotropic and
isotropic training datasets from the given anisotropic 3DEM data. By feeding
the given anisotropic 3DEM dataset in the trained network through our proposed
framework, the isotropic 3DEM is obtained. Importantly, this isotropic
reconstruction approach relies solely on the given anisotropic 3DEM dataset and
does not require pairs of co-registered anisotropic and isotropic 3DEM training
datasets. To evaluate the effectiveness of the proposed method, we conducted
experiments using three 3DEM datasets acquired from brain. The experimental
results demonstrated that our proposed framework could successfully reconstruct
isotropic 3DEM from the anisotropic acquisition.
- Abstract(参考訳): 3次元電子顕微鏡(3dem)は、体積組織微細構造の研究に不可欠な技術である。
技術的制限と高い撮像コストのため、サンプルはしばしば異方性に撮像され、軸方向の解像度(z$)は横方向の$(x,y)$よりも低い。
この異方性3DEMは、その後の解析および可視化タスクを妨げる。
この制限を克服するために,異方性獲得から等方性3DEMを計算的に再構成する,新しい深層学習(DL)に基づく自己教師型超解法を提案する。
提案されたdlベースのフレームワークは、vision-transformer (vit)ブロックを組み込んだu字型アーキテクチャ上に構築されており、ローカルおよびグローバルマルチスケールイメージの高能力学習を可能にする。
調整ネットワークのトレーニングには,自己教師型アプローチを採用する。
具体的には,与えられた異方性3demデータから一対の異方性および等方性トレーニングデータセットを生成する。
提案手法を用いて, 与えられた異方性3DEMデータセットをトレーニングネットワークに供給することにより, 等方性3DEMを得る。
重要なことは、この等方的再構成アプローチは与えられた異方性3DEMデータセットのみに依存しており、共登録された異方性および等方性3DEMトレーニングデータセットのペアを必要としない。
提案手法の有効性を評価するため,脳から取得した3つの3DEMデータセットを用いて実験を行った。
実験の結果,提案手法が異方性獲得から等方性3demを再構築することに成功した。
関連論文リスト
- SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion
Classification Using 3D Multi-Phase Imaging [59.78761085714715]
本研究は肝病変分類のための新しいSDR-Formerフレームワークを提案する。
提案フレームワークは2つの臨床データセットに関する総合的な実験を通じて検証された。
科学コミュニティを支援するため,肝病変解析のための多段階MRデータセットを公開しています。
論文 参考訳(メタデータ) (2024-02-27T06:32:56Z) - A Generative Machine Learning Model for Material Microstructure 3D
Reconstruction and Performance Evaluation [4.169915659794567]
2次元から3次元への次元展開は、現在の技術的観点から非常に難しい逆問題と見なされている。
U-netのマルチスケール特性とGANの生成能力を統合する新しい生成モデルが提案されている。
さらに、画像正規化損失とワッサーシュタイン距離損失を組み合わせることにより、モデルの精度をさらに向上する。
論文 参考訳(メタデータ) (2024-02-24T13:42:34Z) - SD-MVS: Segmentation-Driven Deformation Multi-View Stereo with Spherical
Refinement and EM optimization [6.886220026399106]
テクスチャレス領域の3次元再構成における課題を解決するために,多視点ステレオ (SD-MVS) を導入する。
私たちは、シーン内のセグメンテーションインスタンスを区別するためにSAM(Segment Anything Model)を採用した最初の人です。
球面座標と正規点の勾配勾配と深度の画素方向探索間隔を組み合わせた独自の精細化戦略を提案する。
論文 参考訳(メタデータ) (2024-01-12T05:25:57Z) - Learning transformer-based heterogeneously salient graph representation
for multimodal fusion classification of hyperspectral image and LiDAR data [47.380355116934005]
本稿では,変圧器を用いたヘテロジニアサリエントグラフ表現法(THSGR)を提案する。
まず、多モード不均一グラフエンコーダを用いて、非ユークリッド構造の特徴を異種データから符号化する。
自己アテンションフリーなマルチ畳み込み変調器は、効果的かつ効率的な長期依存性モデリングのために設計されている。
論文 参考訳(メタデータ) (2023-11-17T04:06:20Z) - Using convolutional neural networks for stereological characterization
of 3D hetero-aggregates based on synthetic STEM data [0.0]
パラメトリックな3Dモデルが提示され、そこから多数の仮想ヘテロアグリゲートが生成される。
仮想構造は、仮想走査透過電子顕微鏡(STEM)画像を生成するために物理シミュレーションツールに渡される。
畳み込みニューラルネットワークは、2次元STEM画像からヘテロアグリゲートの3次元構造を予測するために訓練される。
論文 参考訳(メタデータ) (2023-10-27T22:49:08Z) - Reference-Free Isotropic 3D EM Reconstruction using Diffusion Models [8.590026259176806]
本稿では、参照データや劣化過程に関する事前知識の制限を克服する拡散モデルに基づくフレームワークを提案する。
提案手法では, 2次元拡散モデルを用いて連続的に3次元ボリュームを再構成し, 高精度なサンプルデータに適している。
論文 参考訳(メタデータ) (2023-08-03T07:57:02Z) - SGM3D: Stereo Guided Monocular 3D Object Detection [62.11858392862551]
SGM3Dと呼ばれるステレオ誘導単分子物体検出ネットワークを提案する。
ステレオ画像から抽出したロバストな3次元特徴を利用して、モノクル画像から得られた特徴を強化する。
本手法は,余分な計算コストを伴わずに性能を向上させるために,他の多くの単分子的手法に統合することができる。
論文 参考訳(メタデータ) (2021-12-03T13:57:14Z) - SelfVoxeLO: Self-supervised LiDAR Odometry with Voxel-based Deep Neural
Networks [81.64530401885476]
本稿では,これら2つの課題に対処するために,自己教師型LiDARオドメトリー法(SelfVoxeLO)を提案する。
具体的には、生のLiDARデータを直接処理する3D畳み込みネットワークを提案し、3D幾何パターンをよりよく符号化する特徴を抽出する。
我々は,KITTIとApollo-SouthBayという2つの大規模データセット上での手法の性能を評価する。
論文 参考訳(メタデータ) (2020-10-19T09:23:39Z) - Learning Local Neighboring Structure for Robust 3D Shape Representation [143.15904669246697]
3Dメッシュの表現学習は多くのコンピュータビジョンやグラフィックスアプリケーションにおいて重要である。
局所構造認識型異方性畳み込み操作(LSA-Conv)を提案する。
本モデルでは,3次元形状復元において最先端の手法に比べて顕著な改善が得られた。
論文 参考訳(メタデータ) (2020-04-21T13:40:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。