論文の概要: Aberration Correcting Vision Transformers for High-Fidelity Metalens Imaging
- arxiv url: http://arxiv.org/abs/2412.04591v2
- Date: Tue, 25 Mar 2025 05:29:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-26 20:13:24.517236
- Title: Aberration Correcting Vision Transformers for High-Fidelity Metalens Imaging
- Title（参考訳）: 高密度金属線イメージングのための収差補正型視覚変換器
- Authors: Byeonghyeon Lee, Youbin Kim, Yongjae Jo, Hyunsu Kim, Hyemi Park, Yangkyu Kim, Debabrata Mandal, Praneeth Chakravarthula, Inki Kim, Eunbyung Park,
- Abstract要約: メタレンス(Metalens)は、超薄型でコンパクトなサイズで製造できる新しい光学系である。
それまでの芸術は様々な種類の収差に対処しようと試みてきたが、そのほとんどは伝統的なかさばるレンズのために設計されている。
非一様収差でメタエンス像を復元する可能性を秘めた視覚変換器(ViT)を用いたメタエンスキャプチャ画像の収差補正フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 9.564105840199502
- License:
- Abstract: Metalens is an emerging optical system with an irreplaceable merit in that it can be manufactured in ultra-thin and compact sizes, which shows great promise in various applications. Despite its advantage in miniaturization, its practicality is constrained by spatially varying aberrations and distortions, which significantly degrade the image quality. Several previous arts have attempted to address different types of aberrations, yet most of them are mainly designed for the traditional bulky lens and ineffective to remedy harsh aberrations of the metalens. While there have existed aberration correction methods specifically for metalens, they still fall short of restoration quality. In this work, we propose a novel aberration correction framework for metalens-captured images, harnessing Vision Transformers (ViT) that have the potential to restore metalens images with non-uniform aberrations. Specifically, we devise a Multiple Adaptive Filters Guidance (MAFG), where multiple Wiener filters enrich the degraded input images with various noise-detail balances and a cross-attention module reweights the features considering the different degrees of aberrations. In addition, we introduce a Spatial and Transposed self-Attention Fusion (STAF) module, which aggregates features from spatial self-attention and transposed self-attention modules to further ameliorate aberration correction. We conduct extensive experiments, including correcting aberrated images and videos, and clean 3D reconstruction. The proposed method outperforms the previous arts by a significant margin. We further fabricate a metalens and verify the practicality of our method by restoring the images captured with the manufactured metalens. Code and pre-trained models are available at https://benhenryl.github.io/Metalens-Transformer.
- Abstract（参考訳）: メタレンス(Metalens)は、超薄型でコンパクトなサイズで製造でき、様々な用途で大きな可能性を秘めている新しい光学システムである。
小型化の利点にもかかわらず、その実用性は空間的に異なる収差と歪みによって制約され、画質は著しく低下する。
以前のいくつかの芸術は様々な種類の収差に対処しようと試みてきたが、そのほとんどは伝統的にかさばるレンズのために設計されており、金属製の厳密な収差の修復には効果がない。
金属の収差補正法は存在するが、修復性には乏しい。
本研究では,非一様収差でメタエンス像を復元する可能性を秘めた視覚変換器(ViT)を用いたメタエンスキャプチャ画像の収差補正フレームワークを提案する。
具体的には、多重適応フィルタ誘導(MAFG)を考案し、複数のワイナーフィルタが様々なノイズ-ディーテールバランスで劣化した入力画像を豊かにし、クロスアテンションモジュールが異なる収差度を考慮した特徴を再重み付けする。
さらに,空間的自己アテンションから特徴を集約し,自己アテンションモジュールを変換することで,収差補正をさらに改善する,空間的自己アテンション融合(STAF)モジュールを導入する。
我々は、収差のある画像やビデオの修正や、クリーンな3D再構成など、広範な実験を行っている。
提案手法は,先行技術よりも有意な差で優れていた。
我々はさらにメタレンを作製し,製造したメタレンで撮影した画像の復元により,本手法の実用性を検証する。
コードと事前トレーニングされたモデルは、https://benhenryl.github.io/Metalens-Transformer.comで入手できる。
関連論文リスト
- AdaIR: Adaptive All-in-One Image Restoration via Frequency Mining and Modulation [99.57024606542416]
周波数マイニングと変調に基づく適応的なオールインワン画像復元ネットワークを提案する。
我々のアプローチは、異なる周波数サブバンド上の画像内容に異なる劣化タイプが影響を及ぼすという観察によって動機付けられている。
提案モデルでは,入力劣化に応じて情報周波数サブバンドをアクセントすることで適応的再構成を実現する。
論文 参考訳（メタデータ） (2024-03-21T17:58:14Z) - MetaCloak: Preventing Unauthorized Subject-driven Text-to-image Diffusion-based Synthesis via Meta-learning [59.988458964353754]
テキストから画像への拡散モデルにより、スキャンされた参照写真からパーソナライズされた画像をシームレスに生成できる。
既存のアプローチは、悪意のある使用から"学習不能"なイメージをレンダリングするために、知覚不可能な方法でユーザーイメージを摂動させる。
メタ学習フレームワークを用いて,バイレベル中毒の問題を解決するメタクラックを提案する。
論文 参考訳（メタデータ） (2023-11-22T03:31:31Z) - MARformer: An Efficient Metal Artifact Reduction Transformer for Dental CBCT Images [53.62335292022492]
金属歯のインプラントはCBCTイメージングの過程で不愉快な金属加工物をもたらす可能性がある。
歯科用CBCT画像から金属アーティファクト低減(MAR)を実現するための効率的なトランスフォーマーを開発した。
P2FFN (Patch-wise Perceptive Feed Forward Network) も提案されている。
論文 参考訳（メタデータ） (2023-11-16T06:02:03Z) - Adaptation of the super resolution SOTA for Art Restoration in camera
capture images [0.0]
我々は、拡散モデル(DM)に基づく画像超解像の現況に適応し、画像復元のための微調整を行う。
以上の結果から, 異なる種類の劣化に対して複数のモデルを微調整する代わりに, 超解像を微調整することがわかった。
論文 参考訳（メタデータ） (2023-09-24T14:47:29Z) - Dense Transformer based Enhanced Coding Network for Unsupervised Metal
Artifact Reduction [27.800525536048944]
本稿では,非教師付き金属アーティファクト削減のための新しいDense Transformer based Enhanced Coding Network (DTEC-Net)を提案する。
具体的には,高次密度プロセスに支えられた階層型ディペンタングと,高次エンコードされたシーケンスを得るトランスフォーマーを導入する。
DTEC-Netの有効性は、ベンチマークデータセットにおける従来の最先端メソッドよりも優れている。
論文 参考訳（メタデータ） (2023-07-24T11:58:58Z) - On Sensitivity and Robustness of Normalization Schemes to Input
Distribution Shifts in Automatic MR Image Diagnosis [58.634791552376235]
深層学習(DL)モデルは、再構成画像を入力として、複数の疾患の診断において最先端のパフォーマンスを達成した。
DLモデルは、トレーニングとテストフェーズ間の入力データ分布の変化につながるため、さまざまなアーティファクトに敏感である。
本稿では,グループ正規化やレイヤ正規化といった他の正規化手法を用いて,画像のさまざまなアーチファクトに対して,モデル性能にロバスト性を注入することを提案する。
論文 参考訳（メタデータ） (2023-06-23T03:09:03Z) - Metal Inpainting in CBCT Projections Using Score-based Generative Model [8.889876750552615]
本研究は, 膝投射を模擬したスコアベース生成モデルを訓練し, 条件付き再サンプリングプロセスにおいて, ノイズを取り除き, インペインテッド画像を得る。
その結果, スコアベース生成モデルによるインペイント画像は, より詳細な情報を持ち, 平均絶対誤差が最も低く, ピーク信号対雑音比が最も高いことが示唆された。
論文 参考訳（メタデータ） (2022-09-20T14:07:39Z) - MAT: Mask-Aware Transformer for Large Hole Image Inpainting [79.67039090195527]
本稿では, 変圧器と畳み込みの利点を統一する, 大穴塗装の新しいモデルを提案する。
実験では、複数のベンチマークデータセット上で、新しいモデルの最先端のパフォーマンスを示す。
論文 参考訳（メタデータ） (2022-03-29T06:36:17Z) - Restormer: Efficient Transformer for High-Resolution Image Restoration [118.9617735769827]
畳み込みニューラルネットワーク(CNN)は、大規模データから一般化可能な画像の事前学習をうまく行う。
トランスフォーマーは、自然言語とハイレベルな視覚タスクにおいて、顕著なパフォーマンス向上を示している。
我々のモデルであるRecovery Transformer (Restormer) は、いくつかの画像復元タスクにおいて最先端の結果を得る。
論文 参考訳（メタデータ） (2021-11-18T18:59:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。