論文の概要: MetaFormer: High-fidelity Metalens Imaging via Aberration Correcting Transformers
- arxiv url: http://arxiv.org/abs/2412.04591v1
- Date: Thu, 05 Dec 2024 20:11:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-09 15:55:27.900527
- Title: MetaFormer: High-fidelity Metalens Imaging via Aberration Correcting Transformers
- Title（参考訳）: MetaFormer: 収差補正変換器による高密度金属線イメージング
- Authors: Byeonghyeon Lee, Youbin Kim, Yongjae Jo, Hyunsu Kim, Hyemi Park, Yangkyu Kim, Debabrata Mandal, Praneeth Chakravarthula, Inki Kim, Eunbyung Park,
- Abstract要約: メタレンス(Metalens)は、超薄型でコンパクトなサイズで製造できる新しい光学系である。
それまでの芸術は様々な種類の収差に対処しようと試みてきたが、そのほとんどは伝統的なかさばるレンズのために設計されている。
本稿ではメタフォーマーを提案する。メタフォーマーはメタレン捕獲画像の収差補正フレームワークである。
- 参考スコア（独自算出の注目度）: 9.564105840199502
- License:
- Abstract: Metalens is an emerging optical system with an irreplaceable merit in that it can be manufactured in ultra-thin and compact sizes, which shows great promise of various applications such as medical imaging and augmented/virtual reality (AR/VR). Despite its advantage in miniaturization, its practicality is constrained by severe aberrations and distortions, which significantly degrade the image quality. Several previous arts have attempted to address different types of aberrations, yet most of them are mainly designed for the traditional bulky lens and not convincing enough to remedy harsh aberrations of the metalens. While there have existed aberration correction methods specifically for metalens, they still fall short of restoration quality. In this work, we propose MetaFormer, an aberration correction framework for metalens-captured images, harnessing Vision Transformers (ViT) that has shown remarkable restoration performance in diverse image restoration tasks. Specifically, we devise a Multiple Adaptive Filters Guidance (MAFG), where multiple Wiener filters enrich the degraded input images with various noise-detail balances, enhancing output restoration quality. In addition, we introduce a Spatial and Transposed self-Attention Fusion (STAF) module, which aggregates features from spatial self-attention and transposed self-attention modules to further ameliorate aberration correction. We conduct extensive experiments, including correcting aberrated images and videos, and clean 3D reconstruction from the degraded images. The proposed method outperforms the previous arts by a significant margin. We further fabricate a metalens and verify the practicality of MetaFormer by restoring the images captured with the manufactured metalens in the wild. Code and pre-trained models are available at https://benhenryl.github.io/MetaFormer
- Abstract（参考訳）: メタエンスは、医療画像やAR/VR(AR/VR)などの様々な用途において、非常に薄型でコンパクトなサイズで製造できるという、相応のメリットを持つ新興光学系である。
小型化の利点にもかかわらず、その実用性は厳しい収差と歪みによって制約され、画質は著しく低下する。
以前のいくつかの芸術は異なる種類の収差に対処しようと試みてきたが、そのほとんどは従来のかさばるレンズ用に設計されており、金属製の厳密な収差を補うには不十分である。
金属の収差補正法は存在するが、修復性には乏しい。
本研究では,視覚変換器(ViT)を用いたメタホルマーを提案する。
具体的には、多重適応フィルタ誘導(MAFG)を考案し、複数のワイナーフィルタが劣化した入力画像を様々なノイズ-詳細バランスで強化し、出力回復品質を向上する。
さらに,空間的自己アテンションから特徴を集約し,自己アテンションモジュールを変換することで,収差補正をさらに改善する,空間的自己アテンション融合(STAF)モジュールを導入する。
劣化画像やビデオの補正,劣化画像からのクリーンな3D再構成など,広範囲にわたる実験を行った。
提案手法は,先行技術よりも有意な差で優れていた。
我々はさらにメタフォーマーを製作し、製造したメタフォーマーで撮影した画像を野生で復元することで、MetaFormerの実用性を検証する。
コードと事前訓練されたモデルはhttps://benhenryl.github.io/MetaFormer.comで入手できる。
関連論文リスト
- AdaIR: Adaptive All-in-One Image Restoration via Frequency Mining and Modulation [99.57024606542416]
周波数マイニングと変調に基づく適応的なオールインワン画像復元ネットワークを提案する。
我々のアプローチは、異なる周波数サブバンド上の画像内容に異なる劣化タイプが影響を及ぼすという観察によって動機付けられている。
提案モデルでは,入力劣化に応じて情報周波数サブバンドをアクセントすることで適応的再構成を実現する。
論文 参考訳（メタデータ） (2024-03-21T17:58:14Z) - MetaCloak: Preventing Unauthorized Subject-driven Text-to-image Diffusion-based Synthesis via Meta-learning [59.988458964353754]
テキストから画像への拡散モデルにより、スキャンされた参照写真からパーソナライズされた画像をシームレスに生成できる。
既存のアプローチは、悪意のある使用から"学習不能"なイメージをレンダリングするために、知覚不可能な方法でユーザーイメージを摂動させる。
メタ学習フレームワークを用いて,バイレベル中毒の問題を解決するメタクラックを提案する。
論文 参考訳（メタデータ） (2023-11-22T03:31:31Z) - MARformer: An Efficient Metal Artifact Reduction Transformer for Dental CBCT Images [53.62335292022492]
金属歯のインプラントはCBCTイメージングの過程で不愉快な金属加工物をもたらす可能性がある。
歯科用CBCT画像から金属アーティファクト低減(MAR)を実現するための効率的なトランスフォーマーを開発した。
P2FFN (Patch-wise Perceptive Feed Forward Network) も提案されている。
論文 参考訳（メタデータ） (2023-11-16T06:02:03Z) - Adaptation of the super resolution SOTA for Art Restoration in camera
capture images [0.0]
我々は、拡散モデル(DM)に基づく画像超解像の現況に適応し、画像復元のための微調整を行う。
以上の結果から, 異なる種類の劣化に対して複数のモデルを微調整する代わりに, 超解像を微調整することがわかった。
論文 参考訳（メタデータ） (2023-09-24T14:47:29Z) - Dense Transformer based Enhanced Coding Network for Unsupervised Metal
Artifact Reduction [27.800525536048944]
本稿では,非教師付き金属アーティファクト削減のための新しいDense Transformer based Enhanced Coding Network (DTEC-Net)を提案する。
具体的には,高次密度プロセスに支えられた階層型ディペンタングと,高次エンコードされたシーケンスを得るトランスフォーマーを導入する。
DTEC-Netの有効性は、ベンチマークデータセットにおける従来の最先端メソッドよりも優れている。
論文 参考訳（メタデータ） (2023-07-24T11:58:58Z) - On Sensitivity and Robustness of Normalization Schemes to Input
Distribution Shifts in Automatic MR Image Diagnosis [58.634791552376235]
深層学習(DL)モデルは、再構成画像を入力として、複数の疾患の診断において最先端のパフォーマンスを達成した。
DLモデルは、トレーニングとテストフェーズ間の入力データ分布の変化につながるため、さまざまなアーティファクトに敏感である。
本稿では,グループ正規化やレイヤ正規化といった他の正規化手法を用いて,画像のさまざまなアーチファクトに対して,モデル性能にロバスト性を注入することを提案する。
論文 参考訳（メタデータ） (2023-06-23T03:09:03Z) - Metal Inpainting in CBCT Projections Using Score-based Generative Model [8.889876750552615]
本研究は, 膝投射を模擬したスコアベース生成モデルを訓練し, 条件付き再サンプリングプロセスにおいて, ノイズを取り除き, インペインテッド画像を得る。
その結果, スコアベース生成モデルによるインペイント画像は, より詳細な情報を持ち, 平均絶対誤差が最も低く, ピーク信号対雑音比が最も高いことが示唆された。
論文 参考訳（メタデータ） (2022-09-20T14:07:39Z) - MAT: Mask-Aware Transformer for Large Hole Image Inpainting [79.67039090195527]
本稿では, 変圧器と畳み込みの利点を統一する, 大穴塗装の新しいモデルを提案する。
実験では、複数のベンチマークデータセット上で、新しいモデルの最先端のパフォーマンスを示す。
論文 参考訳（メタデータ） (2022-03-29T06:36:17Z) - Restormer: Efficient Transformer for High-Resolution Image Restoration [118.9617735769827]
畳み込みニューラルネットワーク(CNN)は、大規模データから一般化可能な画像の事前学習をうまく行う。
トランスフォーマーは、自然言語とハイレベルな視覚タスクにおいて、顕著なパフォーマンス向上を示している。
我々のモデルであるRecovery Transformer (Restormer) は、いくつかの画像復元タスクにおいて最先端の結果を得る。
論文 参考訳（メタデータ） (2021-11-18T18:59:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。