論文の概要: Spatio-temporal Vision Transformer for Super-resolution Microscopy
- arxiv url: http://arxiv.org/abs/2203.00030v1
- Date: Mon, 28 Feb 2022 19:01:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-02 15:38:03.880362
- Title: Spatio-temporal Vision Transformer for Super-resolution Microscopy
- Title（参考訳）: 超高分解能顕微鏡のための時空間視覚トランスフォーマ
- Authors: Charles N. Christensen, Meng Lu, Edward N. Ward, Pietro Lio, Clemens
F. Kaminski
- Abstract要約: 構造照明顕微鏡(Structured illumination microscopy, SIM)は、光学的超解像技術であり、回折限界を超えるライブセルイメージングを可能にする。
シフトした3次元ウィンドウマルチヘッドアテンションを用いたトランスフォーマーベースの新しい再構成手法 VSR-SIM を提案する。
SIMの時間分解能を9倍に向上させるローリングSIM画像と呼ばれるVSR-SIMのユースケースを実演する。
- 参考スコア（独自算出の注目度）: 2.8348950186890467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Structured illumination microscopy (SIM) is an optical super-resolution
technique that enables live-cell imaging beyond the diffraction limit.
Reconstruction of SIM data is prone to artefacts, which becomes problematic
when imaging highly dynamic samples because previous methods rely on the
assumption that samples are static. We propose a new transformer-based
reconstruction method, VSR-SIM, that uses shifted 3-dimensional window
multi-head attention in addition to channel attention mechanism to tackle the
problem of video super-resolution (VSR) in SIM. The attention mechanisms are
found to capture motion in sequences without the need for common motion
estimation techniques such as optical flow. We take an approach to training the
network that relies solely on simulated data using videos of natural scenery
with a model for SIM image formation. We demonstrate a use case enabled by
VSR-SIM referred to as rolling SIM imaging, which increases temporal resolution
in SIM by a factor of 9. Our method can be applied to any SIM setup enabling
precise recordings of dynamic processes in biomedical research with high
temporal resolution.
- Abstract（参考訳）: structuredluminumination microscope (sim) は、回折限界を超えるライブセルイメージングを可能にする光学的超解像技術である。
SIMデータの再構成は, 試料が静的であるという仮定に依存するため, 高ダイナミックな試料を撮像する場合に問題が発生する。
SIMにおけるビデオ超解像(VSR)問題に対処するチャネルアテンション機構に加えて,シフトした3次元ウィンドウマルチヘッドアテンションを利用するトランスフォーマーベースの新しい再構成手法VSR-SIMを提案する。
注意機構は、光学フローのような一般的な動き推定技術を必要としない連続した動きを捉えることができる。
シミュレートされたデータのみに依存するネットワークをシミュレートする手法として,シミュレート画像生成モデルを用いた自然景観映像を用いて学習する。
そこで本研究では,vsr-sim によるローリング sim イメージング (rolling sim imaging) の応用例を示し,sim の時間分解能を 9。
本手法は, 時間分解能の高いバイオメディカル研究において, 動的プロセスの正確な記録を可能にするSIM設定に適用できる。
関連論文リスト
- A Unified Model for Compressed Sensing MRI Across Undersampling Patterns [69.19631302047569]
ディープニューラルネットワークは、アンダーサンプル計測から高忠実度画像を再構成する大きな可能性を示している。
我々のモデルは、離散化に依存しないアーキテクチャであるニューラル演算子に基づいている。
我々の推論速度は拡散法よりも1,400倍速い。
論文 参考訳（メタデータ） (2024-10-05T20:03:57Z) - Efficient Visual State Space Model for Image Deblurring [83.57239834238035]
畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、画像復元において優れた性能を発揮している。
本稿では,画像のデブロアに対する簡易かつ効果的な視覚状態空間モデル(EVSSM)を提案する。
論文 参考訳（メタデータ） (2024-05-23T09:13:36Z) - Physics-guided Shape-from-Template: Monocular Video Perception through Neural Surrogate Models [4.529832252085145]
トレーニング済みニューラルネットワークを用いた布のSfT再構成アルゴリズムを提案する。
シミュレーションメッシュの異なるレンダリングにより、再構成と対象のビデオシーケンスの画素ワイズ比較が可能になる。
これにより、$phi$-SfTに比べて400-500の係数でランタイムを削減しつつ、正確で安定した、スムーズな再構築された幾何を維持することができる。
論文 参考訳（メタデータ） (2023-11-21T18:59:58Z) - Dynamic Structured Illumination Microscopy with a Neural Space-time
Model [5.048742886625779]
超高解像度で動的シーンを再構成するために,データキャプチャ中のサンプル動作をモデル化する新しい手法,Speckle Flow SIMを提案する。
変形可能な動きと1.88倍の時間分解能を持つ動的シーンを実験で再現できることを実証した。
論文 参考訳（メタデータ） (2022-06-03T05:24:06Z) - Fast and Light-Weight Network for Single Frame Structured Illumination
Microscopy Super-Resolution [22.953512091536663]
深層学習に基づく単一フレーム構造照明顕微鏡(SF-SIM)を提案する。
提案手法は, 従来のSIM法に比べてほぼ14倍高速である。
論文 参考訳（メタデータ） (2021-11-17T13:39:41Z) - Adaptive Gradient Balancing for UndersampledMRI Reconstruction and
Image-to-Image Translation [60.663499381212425]
本研究では,新しい適応勾配バランス手法を併用したwasserstein生成逆ネットワークを用いて,画質の向上を図る。
MRIでは、他の技術よりも鮮明な画像を生成する高品質の再構築を維持しながら、アーティファクトを最小限に抑えます。
論文 参考訳（メタデータ） (2021-04-05T13:05:22Z) - Machine learning for rapid discovery of laminar flow channel wall
modifications that enhance heat transfer [56.34005280792013]
任意の, 平坦な, 非平坦なチャネルの正確な数値シミュレーションと, ドラッグ係数とスタントン数を予測する機械学習モデルを組み合わせる。
畳み込みニューラルネットワーク(CNN)は,数値シミュレーションのわずかな時間で,目標特性を正確に予測できることを示す。
論文 参考訳（メタデータ） (2021-01-19T16:14:02Z) - Learning a Generative Motion Model from Image Sequences based on a
Latent Motion Matrix [8.774604259603302]
画像列の時間的登録をシミュレートして確率的動きモデルを学ぶ。
3つの最先端登録アルゴリズムと比較して,登録精度と時間的にスムーズな整合性が改善された。
また, フレームの欠落のあるシーケンスからの動作再構成を改良し, 動作解析, シミュレーション, 超解像に対するモデルの適用性を実証した。
論文 参考訳（メタデータ） (2020-11-03T14:44:09Z) - Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial
Observability in Visual Navigation [62.22058066456076]
強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。
RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。
本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
論文 参考訳（メタデータ） (2020-07-27T17:46:59Z) - Limited-angle tomographic reconstruction of dense layered objects by
dynamical machine learning [68.9515120904028]
強い散乱準透明物体の有限角トモグラフィーは困難で、非常に不適切な問題である。
このような問題の状況を改善することにより、アーティファクトの削減には、事前の定期化が必要である。
我々は,新しい分割畳み込みゲート再帰ユニット(SC-GRU)をビルディングブロックとして,リカレントニューラルネットワーク(RNN)アーキテクチャを考案した。
論文 参考訳（メタデータ） (2020-07-21T11:48:22Z) - ML-SIM: A deep neural network for reconstruction of structured
illumination microscopy images [0.0]
構造照明顕微鏡 (SIM) は, 光学超高分解能イメージングにおいて重要な技術となっている。
本稿では機械学習を利用した多目的再構成手法ML-SIMを提案する。
したがって、ML-SIMは生のSIM入力フレームの照明パターンにおけるノイズや不規則に対して堅牢である。
論文 参考訳（メタデータ） (2020-03-24T18:42:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。