論文の概要: Learning Lens Blur Fields
- arxiv url: http://arxiv.org/abs/2310.11535v2
- Date: Thu, 17 Jul 2025 03:42:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-18 20:10:24.13202
- Title: Learning Lens Blur Fields
- Title(参考訳): レンズブラー場を学習する
- Authors: Esther Y. H. Lin, Zhecheng Wang, Rebecca Lin, Daniel Miau, Florian Kainz, Jiawen Chen, Xuaner Cecilia Zhang, David B. Lindell, Kiriakos N. Kutulakos,
- Abstract要約: 本稿では、ブラーの高次元神経表現を$-$ittheレンズブラー場を$-$で導入し、それを取得するための実用的な方法を提案する。
得られた5Dブラーフィールドは,同じメイクとモデルのスマートフォンデバイスの光学的挙動の違いを初めて明らかにするために,表現力と精度が十分であることを示す。
- 参考スコア(独自算出の注目度): 15.452926532440296
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Optical blur is an inherent property of any lens system and is challenging to model in modern cameras because of their complex optical elements. To tackle this challenge, we introduce a high-dimensional neural representation of blur$-$$\textit{the lens blur field}$$-$and a practical method for acquiring it. The lens blur field is a multilayer perceptron (MLP) designed to (1) accurately capture variations of the lens 2D point spread function over image plane location, focus setting and, optionally, depth and (2) represent these variations parametrically as a single, sensor-specific function. The representation models the combined effects of defocus, diffraction, aberration, and accounts for sensor features such as pixel color filters and pixel-specific micro-lenses. To learn the real-world blur field of a given device, we formulate a generalized non-blind deconvolution problem that directly optimizes the MLP weights using a small set of focal stacks as the only input. We also provide a first-of-its-kind dataset of 5D blur fields$-$for smartphone cameras, camera bodies equipped with a variety of lenses, etc. Lastly, we show that acquired 5D blur fields are expressive and accurate enough to reveal, for the first time, differences in optical behavior of smartphone devices of the same make and model. Code and data can be found at blur-fields.github.io.
- Abstract(参考訳): 光ぼかしは、どのレンズシステムにも固有の性質であり、複雑な光学素子のため、現代のカメラではモデル化が困難である。
この課題に対処するために、ブラーの高次元神経表現を-$$\textit{the lens blur field}$$-$およびそれを取得するための実用的な方法を導入する。
レンズぼけ場は、(1)画像平面上のレンズ2D点拡散関数、焦点設定、およびオプションで、奥行き、(2)これらの変動を1つのセンサ固有関数としてパラメトリックに表現する多層パーセプトロン(MLP)である。
この表現は、デフォーカス、回折、収差の複合効果をモデル化し、ピクセルカラーフィルタやピクセル固有のマイクロレンズのようなセンサーの特徴を考慮に入れている。
実世界のブラーフィールドを学習するために,MLP重みを直接最適化する一般化された非ブラインドデコンボリューション問題を,最小限の焦点スタックを入力として定式化する。
また、スマートフォンカメラ、さまざまなレンズを備えたカメラ本体などのために、5Dブラーフィールドのファースト・オブ・ザ・キンドのデータセットも提供しています。
最後に、取得した5Dブラーフィールドが表現力が高く正確であることを示し、同じメイクとモデルのスマートフォンデバイスの光学的挙動の違いを初めて明らかにした。
コードとデータは blur-fields.github.io で見ることができる。
関連論文リスト
- Efficient Depth- and Spatially-Varying Image Simulation for Defocus Deblur [16.9629875455607]
既存のオープンソースデータセットでトレーニングされたディープラーニングモデルは、多くの場合、ドメインギャップに直面し、現実世界の設定ではうまく機能しない。
実世界のデータによる微調整に依存しない,効率的でスケーラブルなデータセットアプローチを提案する。
提案手法は深度に依存したデフォーカスと空間的に変化する光学収差を同時にモデル化し、計算複雑性と高品質なRGB-Dデータセットの不足に対処する。
論文 参考訳(メタデータ) (2025-07-01T02:03:04Z) - Adaptive Camera Sensor for Vision Models [4.566795168995489]
Lensは、モデルの観点から高品質な画像をキャプチャすることで、モデル性能を向上させる新しいカメラセンサ制御方法である。
LensのコアとなるVisiTは、トレーニング不要で、モデル固有の品質指標で、テスト時に個々の未ラベルのサンプルを評価する。
Lensを検証するために、様々なセンサと照明条件から自然摂動をキャプチャする新しいベンチマークデータセットであるImageNet-ES Diverseを紹介する。
論文 参考訳(メタデータ) (2025-03-04T01:20:23Z) - Camera-Independent Single Image Depth Estimation from Defocus Blur [6.516967182213821]
光物理方程式を用いて、複数のカメラ関連パラメータがデフォーカスのぼかしにどのように影響するかを示す。
我々は、デフォーカスブラーモデルから奥行きのカメラ独立性能をテストするために、合成データセットを作成する。
論文 参考訳(メタデータ) (2023-11-21T23:14:42Z) - ExBluRF: Efficient Radiance Fields for Extreme Motion Blurred Images [58.24910105459957]
極端運動ぼかし画像の新しいビュー合成法であるExBluRFを提案する。
提案手法は,6-DOFカメラトラジェクトリをベースとしたモーションブラー定式化と,ボクセルをベースとした放射場からなる。
既存の作業と比較して、トレーニング時間とGPUメモリ使用量の10倍の順序で、よりシャープな3Dシーンを復元する。
論文 参考訳(メタデータ) (2023-09-16T11:17:25Z) - Thin On-Sensor Nanophotonic Array Cameras [36.981384762023794]
本稿では,コモディティカメラの代替として,エフフラット型ナノフォトニクス計算カメラを紹介する。
光アレイは、700nmの高さで平らで、センサーから2.5mmの距離のセンサーカバーガラスの上に埋め込まれている。
提案手法では, 生成拡散モデルを用いて, 暗黙の先行画像のサンプル化を行い, 平面画像からメガピクセル画像の再構成を行う。
論文 参考訳(メタデータ) (2023-08-05T06:04:07Z) - MonoGraspNet: 6-DoF Grasping with a Single RGB Image [73.96707595661867]
6-DoFロボットの把握は長続きするが未解決の問題だ。
近年の手法では3次元ネットワークを用いて深度センサから幾何的把握表現を抽出している。
我々はMonoGraspNetと呼ばれるRGBのみの6-DoFグルーピングパイプラインを提案する。
論文 参考訳(メタデータ) (2022-09-26T21:29:50Z) - Learning Depth from Focus in the Wild [16.27391171541217]
単一焦点スタックからの畳み込みニューラルネットワークによる深度推定を提案する。
本手法では,画像アライメントにおいても,奥行きマップをエンドツーエンドで推定することができる。
提案するネットワークの一般化のために,商用カメラの特徴を現実的に再現するシミュレータを開発した。
論文 参考訳(メタデータ) (2022-07-20T05:23:29Z) - Leveraging blur information for plenoptic camera calibration [6.0982543764998995]
本稿では,光学カメラ,特にマルチフォーカス構成のための新しいキャリブレーションアルゴリズムを提案する。
マルチフォーカス構成では、シーンの同じ部分がマイクロレンズ焦点長に応じて異なる量のぼやけを示す。
通常、最小限のぼやけたマイクロイメージしか使われない。
我々は,新たに導入されたBlur Aware Plenoptic機能を利用して,新しいカメラモデルにおけるデフォーカスのぼかしを明示的にモデル化することを提案する。
論文 参考訳(メタデータ) (2021-11-09T16:07:07Z) - Single image deep defocus estimation and its applications [82.93345261434943]
画像パッチを20レベルの曖昧さの1つに分類するために、ディープニューラルネットワークをトレーニングします。
トレーニングされたモデルは、反復重み付きガイドフィルタを適用して改善するパッチのぼかしを決定するために使用される。
その結果、デフォーカスマップは各ピクセルのぼやけた度合いの情報を運ぶ。
論文 参考訳(メタデータ) (2021-07-30T06:18:16Z) - Universal and Flexible Optical Aberration Correction Using Deep-Prior
Based Deconvolution [51.274657266928315]
そこで本研究では,収差画像とpsfマップを入力とし,レンズ固有深層プリエントを組み込んだ潜在高品質版を生成する,psf対応プラグイン・アンド・プレイ深層ネットワークを提案する。
具体的には、多彩なレンズの集合からベースモデルを事前訓練し、パラメータを迅速に精製して特定のレンズに適応させる。
論文 参考訳(メタデータ) (2021-04-07T12:00:38Z) - A learning-based view extrapolation method for axial super-resolution [52.748944517480155]
軸光界分解能は、再焦点によって異なる深さで特徴を区別する能力を指します。
せん断エピポーラ平面画像の軸体積から新しい視点を推定する学習に基づく手法を提案する。
論文 参考訳(メタデータ) (2021-03-11T07:22:13Z) - Rendering Natural Camera Bokeh Effect with Deep Learning [95.86933125733673]
ボケ(Bokeh)は、写真に焦点をあてる重要な芸術効果である。
モバイルカメラは、光学の直径が非常に小さいため、被写界深度が浅い写真を作ることができない。
本稿では,デジタル一眼レフカメラで撮影された写真から直接,現実的な浅層焦点技術を学ぶことを提案する。
論文 参考訳(メタデータ) (2020-06-10T07:28:06Z) - Defocus Deblurring Using Dual-Pixel Data [41.201653787083735]
デフォーカスのぼかしは、広い開口部の使用により被写界深度が浅い画像に現れる。
最新のカメラで検出されるデュアルピクセル(DP)センサで利用可能なデータを活用する,効果的なデフォーカスデブロリング手法を提案する。
論文 参考訳(メタデータ) (2020-05-01T10:38:00Z) - Multi-View Photometric Stereo: A Robust Solution and Benchmark Dataset
for Spatially Varying Isotropic Materials [65.95928593628128]
多視点光度ステレオ技術を用いて3次元形状と空間的に異なる反射率の両方をキャプチャする手法を提案する。
我々のアルゴリズムは、遠近点光源と遠近点光源に適している。
論文 参考訳(メタデータ) (2020-01-18T12:26:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。