論文の概要: Programmable 3D snapshot microscopy with Fourier convolutional networks
- arxiv url: http://arxiv.org/abs/2104.10611v1
- Date: Wed, 21 Apr 2021 16:09:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-22 14:30:32.479079
- Title: Programmable 3D snapshot microscopy with Fourier convolutional networks
- Title(参考訳): フーリエ畳み込みネットワークを用いたプログラマブル3dスナップショット顕微鏡
- Authors: Diptodip Deb, Zhenfei Jiao, Alex B. Chen, Misha B. Ahrens, Kaspar
Podgorski, Srinivas C. Turaga
- Abstract要約: 3Dスナップショット顕微鏡は、単一の2Dカメラ画像で3Dボリュームをキャプチャすることにより、カメラと同じくらい高速なボリュームイメージングを可能にします。
3Dスナップショット画像にエンコードされたグローバル混合情報を効率的に統合できるグローバルカーネルフーリエ畳み込みニューラルネットワークのクラスを紹介します。
- 参考スコア(独自算出の注目度): 3.2156268397508314
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D snapshot microscopy enables volumetric imaging as fast as a camera allows
by capturing a 3D volume in a single 2D camera image, and has found a variety
of biological applications such as whole brain imaging of fast neural activity
in larval zebrafish. The optimal microscope design for this optical 3D-to-2D
encoding to preserve as much 3D information as possible is generally unknown
and sample-dependent. Highly-programmable optical elements create new
possibilities for sample-specific computational optimization of microscope
parameters, e.g. tuning the collection of light for a given sample structure,
especially using deep learning. This involves a differentiable simulation of
light propagation through the programmable microscope and a neural network to
reconstruct volumes from the microscope image. We introduce a class of global
kernel Fourier convolutional neural networks which can efficiently integrate
the globally mixed information encoded in a 3D snapshot image. We show in
silico that our proposed global Fourier convolutional networks succeed in large
field-of-view volume reconstruction and microscope parameter optimization where
traditional networks fail.
- Abstract(参考訳): 3Dスナップショット顕微鏡は、単一の2Dカメライメージで3Dボリュームをキャプチャすることで、カメラと同じくらいの速さでボリュームイメージングを可能にし、幼魚ゼブラフィッシュの高速神経活動の脳全体のイメージングのような様々な生物学的応用を発見した。
できるだけ多くの3d情報を保存するための光学的3d-to-2d符号化の最適顕微鏡設計は一般に未知であり、サンプル依存である。
高プログラマブル光学素子は、顕微鏡パラメータのサンプル特異的な計算最適化のための新しい可能性を生み出す。
特定のサンプル構造、特にディープラーニングを使って、光の収集をチューニングする。
これには、プログラマブル顕微鏡による光伝搬の微分可能なシミュレーションと、顕微鏡画像からボリュームを再構成するニューラルネットワークが含まれる。
本研究では,3次元スナップショット画像に符号化されたグローバル混合情報を効率的に統合できるグローバルカーネルフーリエ畳み込みニューラルネットワークのクラスを提案する。
提案するグローバルなフーリエ畳み込みネットワークは,従来のネットワークが失敗する大規模視野のボリューム再構成と顕微鏡パラメータ最適化に成功していることを示す。
関連論文リスト
- Large Spatial Model: End-to-end Unposed Images to Semantic 3D [79.94479633598102]
大空間モデル(LSM)は、RGB画像を直接意味的放射場に処理する。
LSMは、単一のフィードフォワード操作における幾何学、外観、意味を同時に推定する。
新しい視点で言語と対話することで、多目的ラベルマップを生成することができる。
論文 参考訳(メタデータ) (2024-10-24T17:54:42Z) - VFMM3D: Releasing the Potential of Image by Vision Foundation Model for Monocular 3D Object Detection [80.62052650370416]
モノクル3Dオブジェクト検出は、自律運転やロボティクスなど、さまざまなアプリケーションにおいて重要な役割を担っている。
本稿では,VFMM3Dを提案する。VFMM3Dは,ビジョンファウンデーションモデル(VFM)の機能を利用して,単一ビュー画像を正確にLiDARポイントクラウド表現に変換する,革新的なフレームワークである。
論文 参考訳(メタデータ) (2024-04-15T03:12:12Z) - Learning Multimodal Volumetric Features for Large-Scale Neuron Tracing [72.45257414889478]
オーバーセグメントニューロン間の接続を予測し,人間の作業量を削減することを目的としている。
最初はFlyTracingという名前のデータセットを構築しました。
本稿では,高密度なボリュームEM画像の埋め込みを生成するための,新しい接続性を考慮したコントラスト学習手法を提案する。
論文 参考訳(メタデータ) (2024-01-05T19:45:12Z) - MinD-3D: Reconstruct High-quality 3D objects in Human Brain [50.534007259536715]
Recon3DMindは、fMRI(Functional Magnetic Resonance Imaging)信号から3次元視覚を再構成するための革新的なタスクである。
このデータセットは14人の参加者のデータを含み、3Dオブジェクトの360度ビデオが特徴である。
我々は,脳の3次元視覚情報をfMRI信号から復号化するための,新規で効果的な3段階フレームワークMinD-3Dを提案する。
論文 参考訳(メタデータ) (2023-12-12T18:21:36Z) - Fast light-field 3D microscopy with out-of-distribution detection and
adaptation through Conditional Normalizing Flows [16.928404625892625]
リアルタイム3次元蛍光顕微鏡は生物の分析に不可欠である。
そこで我々は,生きた固定化ゼブラフィッシュ神経活動の高速な3次元再構成を行う新しいアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-06-10T10:42:49Z) - Computational 3D topographic microscopy from terabytes of data per
sample [2.4657541547959387]
我々は6ギガピクセルのプロファイログラフィー3Dイメージングをミクロンスケールの解像度で行うことができる大規模3Dトポグラフィー顕微鏡を提案する。
我々は、オールインフォーカス光度合成と3次元高さマップを共同で推定する3次元再構成と縫合のための自己教師型ニューラルネットワークベースのアルゴリズムを開発した。
計算顕微鏡の汎用性を実証するため,STARCAMを様々なデシメータスケールの物体に適用した。
論文 参考訳(メタデータ) (2023-06-05T07:09:21Z) - 3D Reconstruction of Curvilinear Structures with Stereo Matching
DeepConvolutional Neural Networks [52.710012864395246]
本稿では,立体対における曲線構造の検出とマッチングのための完全自動パイプラインを提案する。
主に、TEM画像のステレオ対から転位を3次元再構成することに焦点を当てる。
論文 参考訳(メタデータ) (2021-10-14T23:05:47Z) - 3D fluorescence microscopy data synthesis for segmentation and
benchmarking [0.9922927990501083]
3次元蛍光顕微鏡のための現実的な画像データを生成するために、条件付き生成対向ネットワークを利用することができる。
細胞構造のさらなる位置条件付けにより、位置依存的な強度特性の再構築が可能となる。
パッチワイド動作原理とその後のフルサイズ再組み立て戦略を用いて、任意のサイズと異なる生物の画像データを生成する。
論文 参考訳(メタデータ) (2021-07-21T16:08:56Z) - Model-inspired Deep Learning for Light-Field Microscopy with Application
to Neuron Localization [27.247818386065894]
光フィールド顕微鏡画像を用いた高速かつ堅牢なソースの3Dローカリゼーションを実現するモデルに基づくディープラーニング手法を提案する。
これは畳み込みスパース符号化問題を効率的に解くディープネットワークを開発することによって実現される。
光場からのほ乳類ニューロンの局在化実験により,提案手法が性能,解釈性,効率の向上をもたらすことが示された。
論文 参考訳(メタデータ) (2021-03-10T16:24:47Z) - Recurrent neural network-based volumetric fluorescence microscopy [0.30586855806896046]
本稿では,標準広視野蛍光顕微鏡でわずかに捉えた2次元画像を用いた深層学習に基づく画像推測フレームワークについて報告する。
再帰的畳み込みニューラルネットワーク(Recurrent-MZ)により、サンプル内のいくつかの軸方向平面からの2次元蛍光情報を明示的に組み込んでサンプル体積をデジタル的に再構成する。
リカレントMZは63xNA対物レンズの被写界深度を約50倍にし、同じサンプル体積を撮像するのに必要となる軸走査数を30倍に削減することを示した。
論文 参考訳(メタデータ) (2020-10-21T06:17:38Z) - Global Voxel Transformer Networks for Augmented Microscopy [54.730707387866076]
本稿では,拡張顕微鏡のための高度な深層学習ツールであるグローバルボクセルトランスフォーマーネットワーク(GVTNets)を紹介する。
GVTNetはグローバルな情報収集が可能なグローバルなボクセル変換演算子(GVTO)上に構築されている。
提案手法を既存のデータセットに適用し,様々な環境下での3種類の拡張顕微鏡タスクについて検討する。
論文 参考訳(メタデータ) (2020-08-05T20:11:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。