論文の概要: Minimalist and High-Quality Panoramic Imaging with PSF-aware Transformers
- arxiv url: http://arxiv.org/abs/2306.12992v2
- Date: Fri, 5 Jul 2024 00:03:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 01:21:29.056477
- Title: Minimalist and High-Quality Panoramic Imaging with PSF-aware Transformers
- Title（参考訳）: PSF対応変圧器を用いたミニマリスト・高画質パノラマイメージング
- Authors: Qi Jiang, Shaohua Gao, Yao Gao, Kailun Yang, Zhonghua Yi, Hao Shi, Lei Sun, Kaiwei Wang,
- Abstract要約: 360degの視野(FoV)を持つ高画質パノラマ画像は、現代のパノラマコンピュータビジョンタスクに不可欠である。
従来のイメージングシステムは、高度なレンズデザインと重い光学部品を備えている。
パノラマイメージングエンジン(PCIE)を提案する。
- 参考スコア（独自算出の注目度）: 17.703369689643882
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High-quality panoramic images with a Field of View (FoV) of 360{\deg} are essential for contemporary panoramic computer vision tasks. However, conventional imaging systems come with sophisticated lens designs and heavy optical components. This disqualifies their usage in many mobile and wearable applications where thin and portable, minimalist imaging systems are desired. In this paper, we propose a Panoramic Computational Imaging Engine (PCIE) to achieve minimalist and high-quality panoramic imaging. With less than three spherical lenses, a Minimalist Panoramic Imaging Prototype (MPIP) is constructed based on the design of the Panoramic Annular Lens (PAL), but with low-quality imaging results due to aberrations and small image plane size. We propose two pipelines, i.e. Aberration Correction (AC) and Super-Resolution and Aberration Correction (SR&AC), to solve the image quality problems of MPIP, with imaging sensors of small and large pixel size, respectively. To leverage the prior information of the optical system, we propose a Point Spread Function (PSF) representation method to produce a PSF map as an additional modality. A PSF-aware Aberration-image Recovery Transformer (PART) is designed as a universal network for the two pipelines, in which the self-attention calculation and feature extraction are guided by the PSF map. We train PART on synthetic image pairs from simulation and put forward the PALHQ dataset to fill the gap of real-world high-quality PAL images for low-level vision. A comprehensive variety of experiments on synthetic and real-world benchmarks demonstrates the impressive imaging results of PCIE and the effectiveness of the PSF representation. We further deliver heuristic experimental findings for minimalist and high-quality panoramic imaging. Our dataset and code will be available at https://github.com/zju-jiangqi/PCIE-PART.
- Abstract（参考訳）: ファイン・オブ・ビュー(FoV)の360{\deg}の高画質パノラマ画像は、現代のパノラマコンピュータビジョンタスクに不可欠である。
しかし、従来の撮像システムは高度なレンズ設計と重い光学部品を備えている。
これは、薄くポータブルで最小限のイメージングシステムが望まれる多くのモバイルおよびウェアラブルアプリケーションでの使用が不適格である。
本稿では,パノラマ画像の最小化と高画質化を実現するために,パノラマ計算イメージングエンジン(PCIE)を提案する。
球面レンズが3つ未満のミニマリストパノラマイメージングプロトタイプ (MPIP) はパノラマ環状レンズ (PAL) の設計に基づいて構築されているが、収差と画像平面サイズが小さいため、低画質の撮像結果が得られる。
我々は,MPIPの画質問題に対して,小型と大型の画像センサを用いて,収差補正 (AC) と超解差補正 (SR&AC) の2つのパイプラインを提案する。
光学系の先行情報を活用するために,PSFマップを付加モータリティとして生成するポイントスプレッド関数(PSF)表現法を提案する。
PSF対応収差回復変換器 (PART) は2つのパイプラインの普遍的ネットワークとして設計され, 自己注意計算と特徴抽出をPSFマップで導く。
シミュレーションから合成画像対をトレーニングし、PALHQデータセットを作成し、低レベルビジョンのための現実世界の高品質なPALイメージのギャップを埋める。
合成および実世界のベンチマークに関する総合的な実験は、PCIEの印象的な画像結果とPSF表現の有効性を実証している。
また,ミニマリスト,高画質パノラマ画像に対するヒューリスティックな実験結果も報告した。
データセットとコードはhttps://github.com/zju-jiangqi/PCIE-PART.comで公開されます。
関連論文リスト
- Parameter-Inverted Image Pyramid Networks [49.35689698870247]
Inverted Image Pyramid Networks (PIIP) と呼ばれる新しいネットワークアーキテクチャを提案する。
私たちの中核となる考え方は、パラメータサイズの異なるモデルを使用して、画像ピラミッドの解像度の異なるレベルを処理することです。
PIIPは、オブジェクト検出、セグメンテーション、画像分類などのタスクにおいて優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-06-06T17:59:10Z) - MMPI: a Flexible Radiance Field Representation by Multiple Multi-plane
Images Blending [61.45757368117578]
本稿では,多平面画像(MPI)に基づく神経放射場のフレキシブルな表現について述べる。
MPIは、単純な定義、簡単な計算、非有界シーンを表現する強力な能力のために、NeRF学習で広く使われている。
MPIは複雑なシーンを多種多様なカメラ分布と視野方向で合成できることを示す。
論文 参考訳（メタデータ） (2023-09-30T04:36:43Z) - MS-PS: A Multi-Scale Network for Photometric Stereo With a New
Comprehensive Training Dataset [0.0]
光度ステレオ(PS)問題は、物体の3次元表面を再構成することである。
そこで我々は,PSのマルチスケールアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-11-25T14:01:54Z) - Annular Computational Imaging: Capture Clear Panoramic Images through
Simple Lens [11.255938737465952]
パノラマ Annular Lens (PAL) は、モバイルおよびウェアラブル機器のパノラマ周囲検知タスクにおいて大きな可能性を秘めている。
小容量PALの画質は収差補正用レンズの欠如により光学限界に制限される。
軽量PAL設計の光学的限界を破るAnnular Computational Imagingフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T11:57:57Z) - Compound eye inspired flat lensless imaging with spatially-coded
Voronoi-Fresnel phase [32.914536774672925]
空間符号化されたVoronoi-Fresnel相を有するレンズレスカメラを,生体共役複合眼に触発されて,優れた画質を実現するために報告する。
1.6メガピクセル画像センサの試作型Voronoi-Fresnelレンズレスカメラを用いて,様々な照明条件下での撮像性能を実証および検証した。
論文 参考訳（メタデータ） (2021-09-28T13:13:58Z) - Interaction-free imaging of multi-pixel objects [58.720142291102135]
量子イメージングは、生物学的組織のような低照度な条件を必要とする敏感なサンプルを研究するのに適している。
この文脈では、相互作用のない測定(IFM)により、試料と相互作用する光子なしで不透明な物体の存在を推測することができる。
ここでは、画素に関する情報を内部自由度に符号化することにより、ICMイメージングスキームを多画素半透明オブジェクトに拡張する。
論文 参考訳（メタデータ） (2021-06-08T06:49:19Z) - Removing Diffraction Image Artifacts in Under-Display Camera via Dynamic
Skip Connection Network [80.67717076541956]
アンダーディスプレイカメラ(UDC)システムは、スマートフォン上で真のベゼルレスおよびノッチフリーの視聴体験を提供します。
典型的なUDCシステムでは、ピクセルアレイはカメラ上の入射光を減衰および回折し、画像品質の大幅な低下をもたらす。
本研究では,前述の劣化問題の解析と対処を目的とする。
論文 参考訳（メタデータ） (2021-04-19T18:41:45Z) - Universal and Flexible Optical Aberration Correction Using Deep-Prior
Based Deconvolution [51.274657266928315]
そこで本研究では,収差画像とpsfマップを入力とし,レンズ固有深層プリエントを組み込んだ潜在高品質版を生成する,psf対応プラグイン・アンド・プレイ深層ネットワークを提案する。
具体的には、多彩なレンズの集合からベースモデルを事前訓練し、パラメータを迅速に精製して特定のレンズに適応させる。
論文 参考訳（メタデータ） (2021-04-07T12:00:38Z) - PlenoptiCam v1.0: A light-field imaging framework [8.467466998915018]
光界カメラは狭帯域深度センシングアプリケーションにおいてリッチな3次元情報検索において重要な役割を担っている。
レンズカメラによる露光から光フィールドを構成する際の重要な障害は、4次元画像データを計算的に調整し、調整し、再配置することである。
特定の望遠カメラ専用のパイプラインを調整することで、全体的な画質を向上させるためのいくつかの試みが提案されている。
論文 参考訳（メタデータ） (2020-10-14T09:23:18Z) - Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。
ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。
合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
論文 参考訳（メタデータ） (2020-04-01T12:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。