論文の概要: Bokeh Rendering Based on Adaptive Depth Calibration Network

• arxiv url: http://arxiv.org/abs/2302.10808v1
• Date: Tue, 21 Feb 2023 16:33:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-22 14:27:28.076617
• Title: Bokeh Rendering Based on Adaptive Depth Calibration Network
• Title（参考訳）: 適応的深さ校正ネットワークに基づくbokehレンダリング
• Authors: Lu Liu, Lei Zhou, Yuhan Dong
• Abstract要約: ボケレンダリングは、美的な効果を生み出すために写真で使われる一般的なテクニックである。 携帯電話では、フィールドの浅い写真は撮れません。 本稿では,最新の強力なディープラーニングアーキテクチャであるVision Transformerを用いたボケレンダリング手法を提案する。
• 参考スコア（独自算出の注目度）: 13.537088629080122
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Bokeh rendering is a popular and effective technique used in photography to create an aesthetically pleasing effect. It is widely used to blur the background and highlight the subject in the foreground, thereby drawing the viewer's attention to the main focus of the image. In traditional digital single-lens reflex cameras (DSLRs), this effect is achieved through the use of a large aperture lens. This allows the camera to capture images with shallow depth-of-field, in which only a small area of the image is in sharp focus, while the rest of the image is blurred. However, the hardware embedded in mobile phones is typically much smaller and more limited than that found in DSLRs. Consequently, mobile phones are not able to capture natural shallow depth-of-field photos, which can be a significant limitation for mobile photography. To address this challenge, in this paper, we propose a novel method for bokeh rendering using the Vision Transformer, a recent and powerful deep learning architecture. Our approach employs an adaptive depth calibration network that acts as a confidence level to compensate for errors in monocular depth estimation. This network is used to supervise the rendering process in conjunction with depth information, allowing for the generation of high-quality bokeh images at high resolutions. Our experiments demonstrate that our proposed method outperforms state-of-the-art methods, achieving about 24.7% improvements on LPIPS and obtaining higher PSNR scores.
• Abstract（参考訳）: ボケレンダリング(英: Bokeh rendering)は、写真において美的な効果を生み出すために使われる、人気があり効果的なテクニックである。 背景をぼかし、被写体を前景で強調するために広く用いられており、映像の主焦点に視聴者の注意を向けている。 従来のデジタル一眼レフカメラ(DSLR)では、この効果は大きな開口レンズを用いて達成される。 これにより、カメラは浅い被写界深度で画像を撮影でき、画像のわずかな領域だけが鋭い焦点で撮影され、残りの部分がぼやけられる。 しかし、携帯電話に埋め込まれたハードウェアは、一般的にDSLRよりもずっと小さく、より限定的である。 そのため、携帯電話は自然に浅い被写界深度の写真を撮影できないため、モバイル写真には大きな制限がある。 本稿では,この課題に対処するために,最新の強力なディープラーニングアーキテクチャである vision transformer を用いたbokeh レンダリング手法を提案する。 本手法は,単眼深度推定における誤差を補償するための信頼度レベルとして機能する適応的深さ校正ネットワークを用いる。 このネットワークは、深度情報と共にレンダリング処理を監督するために使用され、高解像度で高品質なボケ画像を生成することができる。 実験により,提案手法は最先端の手法よりも優れ,LPIPSの約24.7%の改善とPSNRスコアの向上が得られた。

関連論文リスト

• Realistic Bokeh Effect Rendering on Mobile GPUs, Mobile AI & AIM 2022 challenge: Report [75.79829464552311]
  この課題は、最新のスマートフォンモデルで実行できる効率的なエンドツーエンドのAIベースのレンダリングアプローチを開発することだった。 得られたモデルはKirin 9000のMali GPUで評価され、多くのディープラーニングオプティマスに対して優れた加速結果が得られた。
  論文  参考訳（メタデータ） (2022-11-07T22:42:02Z)
• Bokeh-Loss GAN: Multi-Stage Adversarial Training for Realistic Edge-Aware Bokeh [3.8811606213997587]
  我々は単分子ボケ合成の問題に取り組み、単一のオールインフォーカス画像から被写界画像の浅い深さを描画しようと試みる。 DSLRカメラとは異なり、この効果は移動体開口の物理的制約のため、移動体カメラでは直接キャプチャできない。 本稿では,単一の画像入力から現実的なモノクロボケをレンダリングできるネットワークベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2022-08-25T20:57:07Z)
• Direct Handheld Burst Imaging to Simulated Defocus [1.7403133838762446]
  被写界深度の浅い画像は被写体を焦点に保ち、前景と背景のコンテキストはぼやけている。 ハンドヘルドバーストからの浅部深度画像におけるデフォーカスのぼかしを合成する学習手法を提案する。 本手法は,不正確な,不明瞭な深さ推定による工芸品の被害を受けず,肖像画に適している。
  論文  参考訳（メタデータ） (2022-07-09T01:59:36Z)
• Single image deep defocus estimation and its applications [82.93345261434943]
  画像パッチを20レベルの曖昧さの1つに分類するために、ディープニューラルネットワークをトレーニングします。 トレーニングされたモデルは、反復重み付きガイドフィルタを適用して改善するパッチのぼかしを決定するために使用される。 その結果、デフォーカスマップは各ピクセルのぼやけた度合いの情報を運ぶ。
  論文  参考訳（メタデータ） (2021-07-30T06:18:16Z)
• Stacked Deep Multi-Scale Hierarchical Network for Fast Bokeh Effect Rendering from a Single Image [9.010261475120627]
  ボケ効果は、芸術的および審美的な写真をレンダリングするための写真で最も望ましい効果の1つです。 本稿では,モノクロカメラから撮影した画像のボケ効果の直接レンダリングに,エンドツーエンドのDeep Multi-Scale Hierarchical Network (DMSHN) モデルを用いた。 積み重ねられたDMSHNは大規模EBBで最先端の結果を達成! HD画質画像の処理における現在の最新モデルと比較して、ランタイムが約6倍少ないデータセット。
  論文  参考訳（メタデータ） (2021-05-15T08:45:20Z)
• AIM 2020 Challenge on Rendering Realistic Bokeh [95.87775182820518]
  本稿では,第2回AIM現実ボケ効果レンダリングチャレンジをレビューする。 目標は、大規模なESB! bokehデータセットを使用して、現実的な浅いフォーカステクニックを学ぶことだった。 参加者は、他のカメラやセンサーからの追加データなしで、単一のフレームのみに基づいてボケ効果をレンダリングしなければならなかった。
  論文  参考訳（メタデータ） (2020-11-10T09:15:38Z)
• Deep Photo Cropper and Enhancer [65.11910918427296]
  画像に埋め込まれた画像を収穫する新しいタイプの画像強調問題を提案する。 提案手法をディープ・フォト・クリーパーとディープ・イメージ・エンハンサーの2つのディープ・ネットワークに分割した。 フォトクロッパーネットワークでは,埋め込み画像の抽出に空間変換器を用いる。 フォトエンハンサーでは、埋め込み画像中の画素数を増やすために超解像を用いる。
  論文  参考訳（メタデータ） (2020-08-03T03:50:20Z)
• Defocus Blur Detection via Depth Distillation [64.78779830554731]
  初めてDBDに深度情報を導入します。 より詳しくは, 地底の真理と, 十分に訓練された深度推定ネットワークから抽出した深度から, デフォーカスのぼかしを学習する。 我々の手法は、2つの一般的なデータセット上で11の最先端の手法より優れています。
  論文  参考訳（メタデータ） (2020-07-16T04:58:09Z)
• Rendering Natural Camera Bokeh Effect with Deep Learning [95.86933125733673]
  ボケ(Bokeh)は、写真に焦点をあてる重要な芸術効果である。 モバイルカメラは、光学の直径が非常に小さいため、被写界深度が浅い写真を作ることができない。 本稿では,デジタル一眼レフカメラで撮影された写真から直接,現実的な浅層焦点技術を学ぶことを提案する。
  論文  参考訳（メタデータ） (2020-06-10T07:28:06Z)
• Depth-aware Blending of Smoothed Images for Bokeh Effect Generation [10.790210744021072]
  本稿では,画像から高品質なボケ効果を生成するために,エンドツーエンドのディープラーニングフレームワークを提案する。 ネットワークは軽量で、HD画像を0.03秒で処理できる。 このアプローチは、AIM 2019 Bokeh effect Challenge-Perceptual Trackで2位にランクインした。
  論文  参考訳（メタデータ） (2020-05-28T18:11:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。