論文の概要: Towards Robust and Generalizable Lensless Imaging with Modular Learned Reconstruction

• arxiv url: http://arxiv.org/abs/2502.01102v1
• Date: Mon, 03 Feb 2025 06:46:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:56:48.760529
• Title: Towards Robust and Generalizable Lensless Imaging with Modular Learned Reconstruction
• Title（参考訳）: モジュラーラーニングレコンストラクションを用いたロバスト・一般化可能なレンズレスイメージング
• Authors: Eric Bezzam, Yohann Perron, Martin Vetterli,
• Abstract要約: 最先端のレンズレスイメージング技術は、物理モデリングとニューラルネットワークを組み合わせている。 新たなマスクのレンズレス測定に対する学習手法の一般化は研究されていない。 画像回復に先立って、重要なコンポーネントがプリプロセッサとなるモジュラー学習された再構成を用いる。
• 参考スコア（独自算出の注目度）: 7.368155086339779
• License:
• Abstract: Lensless cameras disregard the conventional design that imaging should mimic the human eye. This is done by replacing the lens with a thin mask, and moving image formation to the digital post-processing. State-of-the-art lensless imaging techniques use learned approaches that combine physical modeling and neural networks. However, these approaches make simplifying modeling assumptions for ease of calibration and computation. Moreover, the generalizability of learned approaches to lensless measurements of new masks has not been studied. To this end, we utilize a modular learned reconstruction in which a key component is a pre-processor prior to image recovery. We theoretically demonstrate the pre-processor's necessity for standard image recovery techniques (Wiener filtering and iterative algorithms), and through extensive experiments show its effectiveness for multiple lensless imaging approaches and across datasets of different mask types (amplitude and phase). We also perform the first generalization benchmark across mask types to evaluate how well reconstructions trained with one system generalize to others. Our modular reconstruction enables us to use pre-trained components and transfer learning on new systems to cut down weeks of tedious measurements and training. As part of our work, we open-source four datasets, and software for measuring datasets and for training our modular reconstruction.
• Abstract（参考訳）: レンズレスカメラは、画像が人間の目に似ているという従来のデザインを無視している。 これは、レンズを薄いマスクに置き換え、画像形成をデジタル後処理に移行することで実現される。 最先端のレンズレスイメージング技術は、物理モデリングとニューラルネットワークを組み合わせた学習アプローチを使用している。 しかし、これらの手法はキャリブレーションと計算の容易さを前提としたモデリングの仮定を単純化する。 さらに、新しいマスクのレンズレス測定に対する学習手法の一般化性は研究されていない。 この目的のために、画像復元に先立って、鍵成分が前処理器となるモジュラー学習再構成を利用する。 理論的には、標準的な画像回復技術(ウィナーフィルタと反復アルゴリズム)に対するプリプロセッサの必要性を実証し、広範にわたる実験を通じて、複数のレンズレスイメージングアプローチと異なるマスクタイプ(振幅と位相)のデータセット間で、その有効性を示す。 また、マスクタイプ間での最初の一般化ベンチマークを行い、あるシステムでトレーニングした再構築がいかに他のシステムに一般化されたかを評価する。 モジュール構造の再構築により、トレーニング済みのコンポーネントを使用して、新しいシステムで学習を転送することで、退屈な測定とトレーニングの数週間を削減できます。 当社の作業の一環として,4つのデータセットと,データセットの測定とモジュール再構築のトレーニングを行うソフトウェアをオープンソースとして公開しています。

関連論文リスト

• Enhancing Low-dose CT Image Reconstruction by Integrating Supervised and Unsupervised Learning [13.17680480211064]
  X線CT画像再構成のためのハイブリッド教師なし学習フレームワークを提案する。 提案された各訓練ブロックは、決定論的MBIRソルバとニューラルネットワークで構成されている。 限られた訓練データを用いた低用量CT画像再構成における本学習ハイブリッドモデルの有効性を実証する。
  論文  参考訳（メタデータ） (2023-11-19T20:23:59Z)
• Disruptive Autoencoders: Leveraging Low-level features for 3D Medical Image Pre-training [51.16994853817024]
  本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。 ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。 提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-07-31T17:59:42Z)
• Not All Image Regions Matter: Masked Vector Quantization for Autoregressive Image Generation [78.13793505707952]
  既存の自己回帰モデルは、まず画像再構成のための潜伏空間のコードブックを学習し、学習したコードブックに基づいて自己回帰的に画像生成を完了する2段階生成パラダイムに従っている。 そこで本研究では,Masked Quantization VAE (MQ-VAE) Stackモデルを用いた2段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-23T02:15:53Z)
• PixMIM: Rethinking Pixel Reconstruction in Masked Image Modeling [83.67628239775878]
  Masked Image Modeling (MIM) は Masked Autoencoders (MAE) と BEiT の出現によって有望な進歩を遂げた。 本稿では,画素再構成の観点からMIMの基本解析を行う。 我々は,2つの戦略を包含する極めて単純で効果的な方法,weelmethodを提案する。
  論文  参考訳（メタデータ） (2023-03-04T13:38:51Z)
• The Devil is in the Frequency: Geminated Gestalt Autoencoder for Self-Supervised Visual Pre-Training [13.087987450384036]
  視覚前訓練のための新しいMasked Image Modeling (MIM) をGeminated Autoencoder (Ge$2-AE) と呼ぶ。 具体的には、画素と周波数空間の両方から画像内容を再構成するgeminated decoderをモデルに装備する。
  論文  参考訳（メタデータ） (2022-04-18T09:22:55Z)
• Unrolled Primal-Dual Networks for Lensless Cameras [0.45880283710344055]
  教師付き原始二重再構成法を学習することで,文献における画像品質の整合性が得られることを示す。 この改善は、学習可能な前方モデルと随伴モデルとを学習された原始双対最適化フレームワークに組み込むことで、再構成画像の品質を向上できるという発見に起因している。
  論文  参考訳（メタデータ） (2022-03-08T19:21:39Z)
• Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
  画像再構成に有効な先行画像として, 奥行き画像が導入された。 その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。 計算課題に対処する2段階の学習パラダイムを開発する。
  論文  参考訳（メタデータ） (2021-11-23T15:08:26Z)
• Model-based Reconstruction with Learning: From Unsupervised to Supervised and Beyond [8.847248042144681]
  古典的モデルに基づく再構成手法を簡潔に議論し、モデルベースと学習ベースのパラダイムの交差点で再構成手法を詳細に検討する。 このレビューには、教師なし学習、監督なし学習に基づく多くの最近の方法、および複数のタイプの学習モデルを組み合わせるためのフレームワークが含まれています。
  論文  参考訳（メタデータ） (2021-03-26T15:33:59Z)
• SIR: Self-supervised Image Rectification via Seeing the Same Scene from Multiple Different Lenses [82.56853587380168]
  本稿では、異なるレンズからの同一シーンの歪み画像の補正結果が同一であるべきという重要な知見に基づいて、新しい自己監督画像補正法を提案する。 我々は、歪みパラメータから修正画像を生成し、再歪み画像を生成するために、微分可能なワープモジュールを利用する。 本手法は,教師付きベースライン法や代表的最先端手法と同等あるいはそれ以上の性能を実現する。
  論文  参考訳（メタデータ） (2020-11-30T08:23:25Z)
• FlatNet: Towards Photorealistic Scene Reconstruction from Lensless Measurements [31.353395064815892]
  レンズレス再構成における画像品質の大幅な向上を図った非定位深層学習に基づく再構成手法を提案する。 われわれのアプローチは、$textitFlatNet$と呼ばれ、マスクベースのレンズレスカメラから高品質のフォトリアリスティック画像を再構成するためのフレームワークを定めている。
  論文  参考訳（メタデータ） (2020-10-29T09:20:22Z)
• NAS-DIP: Learning Deep Image Prior with Neural Architecture Search [65.79109790446257]
  近年の研究では、深部畳み込みニューラルネットワークの構造が、以前に構造化された画像として利用できることが示されている。 我々は,より強い画像の先行を捉えるニューラルネットワークの探索を提案する。 既存のニューラルネットワーク探索アルゴリズムを利用して,改良されたネットワークを探索する。
  論文  参考訳（メタデータ） (2020-08-26T17:59:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。