論文の概要: Defocus to focus: Photo-realistic bokeh rendering by fusing defocus and radiance priors

• arxiv url: http://arxiv.org/abs/2306.04506v1
• Date: Wed, 7 Jun 2023 15:15:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 13:53:49.474708
• Title: Defocus to focus: Photo-realistic bokeh rendering by fusing defocus and radiance priors
• Title（参考訳）: defocus to focus:defocusとradiance priorsを融合したphoto-realistic bokehレンダリング
• Authors: Xianrui Luo, Juewen Peng, Ke Xian, Zijin Wu, Zhiguo Cao
• Abstract要約: Bokehレンダリングは、プロの写真における美的浅層深度(DoF)を模倣している。 既存の手法は、単純な平坦な背景のぼやけと、焦点内領域のぼやけに悩まされている。 本稿では,現実的なボケレンダリングを学習するためのD2Fフレームワークについて述べる。
• 参考スコア（独自算出の注目度）: 26.38833313692807
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We consider the problem of realistic bokeh rendering from a single all-in-focus image. Bokeh rendering mimics aesthetic shallow depth-of-field (DoF) in professional photography, but these visual effects generated by existing methods suffer from simple flat background blur and blurred in-focus regions, giving rise to unrealistic rendered results. In this work, we argue that realistic bokeh rendering should (i) model depth relations and distinguish in-focus regions, (ii) sustain sharp in-focus regions, and (iii) render physically accurate Circle of Confusion (CoC). To this end, we present a Defocus to Focus (D2F) framework to learn realistic bokeh rendering by fusing defocus priors with the all-in-focus image and by implementing radiance priors in layered fusion. Since no depth map is provided, we introduce defocus hallucination to integrate depth by learning to focus. The predicted defocus map implies the blur amount of bokeh and is used to guide weighted layered rendering. In layered rendering, we fuse images blurred by different kernels based on the defocus map. To increase the reality of the bokeh, we adopt radiance virtualization to simulate scene radiance. The scene radiance used in weighted layered rendering reassigns weights in the soft disk kernel to produce the CoC. To ensure the sharpness of in-focus regions, we propose to fuse upsampled bokeh images and original images. We predict the initial fusion mask from our defocus map and refine the mask with a deep network. We evaluate our model on a large-scale bokeh dataset. Extensive experiments show that our approach is capable of rendering visually pleasing bokeh effects in complex scenes. In particular, our solution receives the runner-up award in the AIM 2020 Rendering Realistic Bokeh Challenge.
• Abstract（参考訳）: 単焦点画像からの現実的なボケレンダリングの問題を考える。 ボケのレンダリングは、プロの撮影における美的浅層被写界深度(dof)を模倣するが、既存の方法によって生成された視覚効果は、単純な背景ぼやけとフォーカス領域のぼやけたぼやけに苦しみ、非現実的なレンダリング結果をもたらす。 この研究では、現実的なボケレンダリングはすべきである、と論じる。 (i)被写界深度関係のモデル化と被写界領域の識別 (ii)鋭い焦点内領域を維持すること、及び (iii)物理的に正確な混乱円(coc)をレンダリングする。 この目的のために,全焦点画像とデフォーカス先行画像とを融合させ,層融合における放射前処理を実装することで,現実的なボケレンダリングを学習するためのD2Fフレームワークを提案する。 深度マップは提供されないため、焦点の学習により深度を統合するためにデフォーカス幻覚を導入する。 予測されたデフォーカスマップはボケのぼやけ量を示し、重み付けされたレイヤーレンダリングのガイドに使用される。 階層化レンダリングでは、デフォーカスマップに基づいて異なるカーネルによってぼやけた画像を融合する。 ボケの現実性を高めるため,シーンラディアンスをシミュレートするためのラディアンス仮想化を採用した。 重み付け層レンダリングで使用されるシーンの輝度は、ソフトディスクカーネル内で重み付けを再割り当ててcocを生成する。 焦点内領域のシャープさを確保するため,アップサンプリングされたボケ画像とオリジナル画像の融合を提案する。 我々はデフォーカスマップから初期核融合マスクを予測し、深層ネットワークでマスクを精査する。 大規模ボケデータセットを用いたモデルの評価を行った。 広範な実験により,複雑なシーンで視覚に訴えるボケ効果を表現できることを示した。 特に、私たちのソリューションは、AIM 2020 Rendering Realistic Bokeh Challengeで優勝賞を受賞しています。

関連論文リスト

• Variable Aperture Bokeh Rendering via Customized Focal Plane Guidance [18.390543681127976]
  提案手法は,主流のボケモデルよりもはるかに軽量な4.4Mパラメータで,最先端の競合性能を実現している。 提案手法は,主流のボケモデルよりもはるかに軽量な4.4Mパラメータで,最先端の競合性能を実現している。
  論文  参考訳（メタデータ） (2024-10-18T12:04:23Z)
• Towards Real-World Focus Stacking with Deep Learning [97.34754533628322]
  焦点ブラケットを用いた94個の高解像度原画像のバーストからなる新しいデータセットを提案する。 このデータセットは、現実世界のアプリケーションに十分な長さのバーストを処理できるフォーカススタックのための最初のディープラーニングアルゴリズムをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2023-11-29T17:49:33Z)
• Bokeh-Loss GAN: Multi-Stage Adversarial Training for Realistic Edge-Aware Bokeh [3.8811606213997587]
  我々は単分子ボケ合成の問題に取り組み、単一のオールインフォーカス画像から被写界画像の浅い深さを描画しようと試みる。 DSLRカメラとは異なり、この効果は移動体開口の物理的制約のため、移動体カメラでは直接キャプチャできない。 本稿では,単一の画像入力から現実的なモノクロボケをレンダリングできるネットワークベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2022-08-25T20:57:07Z)
• Natural & Adversarial Bokeh Rendering via Circle-of-Confusion Predictive Network [25.319666328268116]
  Bokeh効果は被写界深度が浅い現象で、写真では焦点がぼやけている。 我々は、全く新しい問題、すなわち自然と敵対的なボケのレンダリングについて研究する。 本稿では,データ駆動方式と物理認識方式のそれぞれの利点を生かして,ハイブリッドな代替案を提案する。
  論文  参考訳（メタデータ） (2021-11-25T09:08:45Z)
• Selective Light Field Refocusing for Camera Arrays Using Bokeh Rendering and Superresolution [27.944215174962995]
  カメラアレイの撮像品質を向上させるための光場再焦点法を提案する。 本手法では,深度に基づく異方性フィルタを用いて非焦点領域(bokeh)を描画する。 提案手法は,他の最先端手法と比較して,計算コストが許容できる優れた視覚性能を実現する。
  論文  参考訳（メタデータ） (2021-08-09T10:19:21Z)
• Single image deep defocus estimation and its applications [82.93345261434943]
  画像パッチを20レベルの曖昧さの1つに分類するために、ディープニューラルネットワークをトレーニングします。 トレーニングされたモデルは、反復重み付きガイドフィルタを適用して改善するパッチのぼかしを決定するために使用される。 その結果、デフォーカスマップは各ピクセルのぼやけた度合いの情報を運ぶ。
  論文  参考訳（メタデータ） (2021-07-30T06:18:16Z)
• Geometric Scene Refocusing [9.198471344145092]
  本研究では,焦点スタックの文脈における浅層深度画像の微視的特徴について検討する。 焦点内画素、二重焦点画素、焦点スライス間のボケと空間的に異なるぼやけたカーネルを示す画素を同定する。 幾何的に正しい方法で捕獲後再フォーカスのための包括的アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-20T06:33:55Z)
• AIM 2020 Challenge on Rendering Realistic Bokeh [95.87775182820518]
  本稿では,第2回AIM現実ボケ効果レンダリングチャレンジをレビューする。 目標は、大規模なESB! bokehデータセットを使用して、現実的な浅いフォーカステクニックを学ぶことだった。 参加者は、他のカメラやセンサーからの追加データなしで、単一のフレームのみに基づいてボケ効果をレンダリングしなければならなかった。
  論文  参考訳（メタデータ） (2020-11-10T09:15:38Z)
• Defocus Blur Detection via Depth Distillation [64.78779830554731]
  初めてDBDに深度情報を導入します。 より詳しくは, 地底の真理と, 十分に訓練された深度推定ネットワークから抽出した深度から, デフォーカスのぼかしを学習する。 我々の手法は、2つの一般的なデータセット上で11の最先端の手法より優れています。
  論文  参考訳（メタデータ） (2020-07-16T04:58:09Z)
• Rendering Natural Camera Bokeh Effect with Deep Learning [95.86933125733673]
  ボケ(Bokeh)は、写真に焦点をあてる重要な芸術効果である。 モバイルカメラは、光学の直径が非常に小さいため、被写界深度が浅い写真を作ることができない。 本稿では,デジタル一眼レフカメラで撮影された写真から直接,現実的な浅層焦点技術を学ぶことを提案する。
  論文  参考訳（メタデータ） (2020-06-10T07:28:06Z)
• Rapid Whole Slide Imaging via Learning-based Two-shot Virtual Autofocusing [57.90239401665367]
  ホイルスライドイメージング(WSI)は、デジタル病理の新たな技術である。 本稿では,リフォーカスを行うための機械的調整に依存しないテキスト仮想オートフォーカスの概念を提案する。
  論文  参考訳（メタデータ） (2020-03-14T13:40:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。