論文の概要: Recurrent Neural Network-coupled SPAD TCSPC System for Real-time Fluorescence Lifetime Imaging

• arxiv url: http://arxiv.org/abs/2306.15599v1
• Date: Tue, 27 Jun 2023 16:37:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-28 12:44:32.112834
• Title: Recurrent Neural Network-coupled SPAD TCSPC System for Real-time Fluorescence Lifetime Imaging
• Title（参考訳）: リアルタイム蛍光時間イメージングのための繰り返しニューラルネットワーク結合SPAD TCSPCシステム
• Authors: Yang Lin, Paul Mos, Andrei Ardelean, Claudio Bruschini, Edoardo Charbon
• Abstract要約: ヒストグラムの代わりに生のタイムスタンプから直接フライ蛍光寿命を正確に推定するFLIのためのリカレントニューラルネットワーク(RNN)を提案する。 提案したFLIシステムは、高速移動細胞の生物学的イメージングから蛍光支援診断・手術まで、多くの重要なバイオメディカル応用に期待されている。
• 参考スコア（独自算出の注目度）: 4.49533352963549
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fluorescence lifetime imaging (FLI) has been receiving increased attention in recent years as a powerful imaging technique in biological and medical research. However, existing FLI systems often suffer from a tradeoff between processing speed, accuracy, and robustness. In this paper, we propose a SPAD TCSPC system coupled to a recurrent neural network (RNN) for FLI that accurately estimates on the fly fluorescence lifetime directly from raw timestamps instead of histograms, which drastically reduces the data transfer rate and hardware resource utilization. We train two variants of the RNN on a synthetic dataset and compare the results to those obtained using the center-of-mass method (CMM) and least squares fitting (LS fitting) methods. The results demonstrate that two RNN variants, gated recurrent unit (GRU) and long short-term memory (LSTM), are comparable to CMM and LS fitting in terms of accuracy and outperform CMM and LS fitting by a large margin in the presence of background noise. We also look at the Cramer-Rao lower bound and detailed analysis showed that the RNN models are close to the theoretical optima. The analysis of experimental data shows that our model, which is purely trained on synthetic datasets, works well on real-world data. We build a FLI microscope setup for evaluation based on Piccolo, a 32$\times$32 SPAD sensor developed in our lab. Four quantized GRU cores, capable of processing up to 4 million photons per second, are deployed on a Xilinx Kintex-7 FPGA. Powered by the GRU, the FLI setup can retrieve real-time fluorescence lifetime images at up to 10 frames per second. The proposed FLI system is promising for many important biomedical applications, ranging from biological imaging of fast-moving cells to fluorescence-assisted diagnosis and surgery.
• Abstract（参考訳）: 近年,生物・医学研究における強力なイメージング技術として,蛍光寿命イメージング(FLI)が注目されている。 しかし、既存のFLIシステムは処理速度、精度、堅牢性のトレードオフに悩まされることが多い。 本稿では,FLI用リカレントニューラルネットワーク(RNN)に結合したSPAD TCSPCシステムを提案する。これはヒストグラムの代わりに生のタイムスタンプから直接フライ蛍光寿命を正確に推定し,データ転送速度とハードウェアリソースの利用を大幅に削減する。 合成データセット上でRNNの2つの変種を訓練し,CMM法とLSフィッティング法を用いて得られた変種と比較した。 その結果, ゲートリカレント・ユニット (GRU) と長短期記憶 (LSTM) の2つのRNN変種は, CMM と LS に匹敵し, 背景雑音の存在下でのCMM と LS の適合性に優れていた。 また, クレーマー・ラオ下界を考察し, RNNモデルが理論的最適値に近いことを示した。 実験データの解析結果から,本モデルは合成データセット上でトレーニングされ,実世界のデータでうまく機能することが示された。 実験室で開発された32ドルのSPADセンサであるPiccoloに基づく評価のためのFLI顕微鏡のセットアップを構築した。 最大400万光子を毎秒処理できる4つの量子化GRUコアがXilinx Kintex-7 FPGA上に展開されている。 GRUにより、FLIセットアップは、毎秒10フレームまでのリアルタイム蛍光寿命画像を取得することができる。 提案したFLIシステムは、高速移動細胞の生物学的イメージングから蛍光支援診断・手術まで、多くの重要なバイオメディカル応用に期待されている。

関連論文リスト

• Enhancing Fluorescence Lifetime Parameter Estimation Accuracy with Differential Transformer Based Deep Learning Model Incorporating Pixelwise Instrument Response Function [0.3441582801949978]
  本稿では,最新の微分変換器エンコーダ・デコーダアーキテクチャであるMFliNetを用いた新しいDLアーキテクチャを提案する。 本モデルの性能は, 慎重に設計し, 複雑な組織模倣ファントムと前臨床内癌異種移植実験により実証した。
  論文  参考訳（メタデータ） (2024-11-25T20:03:41Z)
• Unlocking Real-Time Fluorescence Lifetime Imaging: Multi-Pixel Parallelism for FPGA-Accelerated Processing [2.369919866595525]
  FPGAベースのハードウェアアクセラレーターを用いてリアルタイムFLIを実現する手法を提案する。 我々は、時間分解カメラと互換性のあるFPGAボード上に、GRUベースのシーケンス・ツー・シーケンス(Seq2Seq)モデルを実装した。 GRUベースのSeq2Seqモデルと、Seq2SeqLiteと呼ばれる圧縮されたバージョンを統合することで、複数のピクセルを並列に処理することができ、シーケンシャル処理と比較して遅延を低減できた。
  論文  参考訳（メタデータ） (2024-10-09T18:24:23Z)
• Compressing Recurrent Neural Networks for FPGA-accelerated Implementation in Fluorescence Lifetime Imaging [3.502427552446068]
  ディープラーニングモデルはリアルタイム推論を可能にするが、複雑なアーキテクチャと大規模な行列演算のために計算的に要求される。 これにより、フィールドプログラマブルゲートアレイ(FPGA)ベースのカメラハードウェアの直接実装に不適なDLモデルが得られる。 本研究では,FLI時系列データ処理に適したリカレントニューラルネットワーク(RNN)の圧縮に着目し,資源制約付きFPGAボードへの展開を実現する。
  論文  参考訳（メタデータ） (2024-10-01T17:23:26Z)
• rule4ml: An Open-Source Tool for Resource Utilization and Latency Estimation for ML Models on FPGA [0.0]
  本稿では、FPGA上での合成と実装に先立って、ニューラルネットワーク(NN)のリソース利用と推論遅延を予測する新しい手法を提案する。 NNを高レベル合成(HLS)コードに変換するツールフローであるHLS4MLを活用している。 本手法では, 即時前合成予測に適応した回帰モデルを用いる。
  論文  参考訳（メタデータ） (2024-08-09T19:35:10Z)
• Empowering Snapshot Compressive Imaging: Spatial-Spectral State Space Model with Across-Scanning and Local Enhancement [51.557804095896174]
  AsLE-SSMという,グローバルな局所的バランスの取れたコンテキストエンコーディングとチャネル間相互作用の促進に空間スペクトルSSMを用いる状態空間モデルを導入する。 実験の結果,ASLE-SSMは既存の最先端手法よりも優れており,推定速度はTransformerベースのMSTより2.4倍速く,パラメータの0.12(M)を節約できることがわかった。
  論文  参考訳（メタデータ） (2024-08-01T15:14:10Z)
• Theoretical framework for real time sub-micron depth monitoring using quantum inline coherent imaging [55.2480439325792]
  インラインコヒーレントイメージング(ICI)は、キーホール溶接、添加物製造、マイクロ加工など、様々なレーザプロセスのリアルタイム監視のための信頼性の高い手法である。 軸方向分解能は2m以上に限定されており、ICIはサブミクロンプロセスの監視には適さない。 量子光コヒーレンス・トモグラフィ(Q OCT)の進歩は、1m以上の奥行き分解能を達成してこの問題に対処する可能性がある。
  論文  参考訳（メタデータ） (2023-09-17T17:05:21Z)
• Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
  長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。 本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
  論文  参考訳（メタデータ） (2022-08-28T17:50:19Z)
• Optical-Flow-Reuse-Based Bidirectional Recurrent Network for Space-Time Video Super-Resolution [52.899234731501075]
  時空間ビデオ超解像(ST-VSR)は、与えられたビデオの空間解像度とフレームレートを同時に増加させる。 既存の手法は通常、近隣の幅広いフレームからの情報を効率的に活用する方法の難しさに悩まされる。 本稿では,隣接するフレーム間の知識を活用するために,ConvLSTMの代わりに粗大な双方向リカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T15:21:30Z)
• Accelerating Recurrent Neural Networks for Gravitational Wave Experiments [1.9263019320519579]
  LIGO検出器から時系列データを解析するためのRNN推論を高速化する新しいアーキテクチャを開発した。 このアーキテクチャのためのカスタマイズ可能なテンプレートが設計され、低遅延FPGAの設計が作成できるようになった。
  論文  参考訳（メタデータ） (2021-06-26T20:44:02Z)
• Learning representations with end-to-end models for improved remaining useful life prognostics [64.80885001058572]
  残りの設備の実用寿命(RUL)は、現在の時刻と故障までの期間として定義される。 マルチ層パーセプトロンと長期メモリ層(LSTM)に基づくエンドツーエンドのディープラーニングモデルを提案し、RULを予測する。 提案するエンド・ツー・エンドのモデルがこのような優れた結果を達成し、他のディープラーニングや最先端の手法と比較する方法について論じる。
  論文  参考訳（メタデータ） (2021-04-11T16:45:18Z)
• Unlimited Resolution Image Generation with R2D2-GANs [69.90258455164513]
  本稿では,任意の解像度の高品質な画像を生成するための新しいシミュレーション手法を提案する。 この方法では、フル長のミッション中に収集したソナースキャンと同等の大きさのソナースキャンを合成することができる。 生成されたデータは、連続的で、現実的に見え、また、取得の実際の速度の少なくとも2倍の速さで生成される。
  論文  参考訳（メタデータ） (2020-03-02T17:49:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。