論文の概要: Variable Aperture Bokeh Rendering via Customized Focal Plane Guidance

• arxiv url: http://arxiv.org/abs/2410.14400v1
• Date: Fri, 18 Oct 2024 12:04:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:25:10.447412
• Title: Variable Aperture Bokeh Rendering via Customized Focal Plane Guidance
• Title（参考訳）: カスタマイズされた焦点平面誘導による可変開口ボケレンダリング
• Authors: Kang Chen, Shijun Yan, Aiwen Jiang, Han Li, Zhifeng Wang,
• Abstract要約: 提案手法は,主流のボケモデルよりもはるかに軽量な4.4Mパラメータで,最先端の競合性能を実現している。 提案手法は,主流のボケモデルよりもはるかに軽量な4.4Mパラメータで,最先端の競合性能を実現している。
• 参考スコア（独自算出の注目度）: 18.390543681127976
• License:
• Abstract: Bokeh rendering is one of the most popular techniques in photography. It can make photographs visually appealing, forcing users to focus their attentions on particular area of image. However, achieving satisfactory bokeh effect usually presents significant challenge, since mobile cameras with restricted optical systems are constrained, while expensive high-end DSLR lens with large aperture should be needed. Therefore, many deep learning-based computational photography methods have been developed to mimic the bokeh effect in recent years. Nevertheless, most of these methods were limited to rendering bokeh effect in certain single aperture. There lacks user-friendly bokeh rendering method that can provide precise focal plane control and customised bokeh generation. There as well lacks authentic realistic bokeh dataset that can potentially promote bokeh learning on variable apertures. To address these two issues, in this paper, we have proposed an effective controllable bokeh rendering method, and contributed a Variable Aperture Bokeh Dataset (VABD). In the proposed method, user can customize focal plane to accurately locate concerned subjects and select target aperture information for bokeh rendering. Experimental results on public EBB! benchmark dataset and our constructed dataset VABD have demonstrated that the customized focal plane together aperture prompt can bootstrap model to simulate realistic bokeh effect. The proposed method has achieved competitive state-of-the-art performance with only 4.4M parameters, which is much lighter than mainstream computational bokeh models. The contributed dataset and source codes will be released on github https://github.com/MoTong-AI-studio/VABM.
• Abstract（参考訳）: ボケレンダリングは写真でもっとも人気のある技法の1つである。 写真が視覚的に魅力的になるので、ユーザーは特定の画像領域に注意を集中せざるを得ない。 しかし、光学系に制限のある移動体カメラは制約されているため、良好なボケ効果を達成するには、大きな開口部を持つ高価なハイエンドDSLRレンズが必要であるため、通常は大きな課題となる。 そのため,近年,ボケ効果を模倣する深層学習型計算撮影法が数多く開発されている。 しかしながら、これらの手法のほとんどは、特定の単一開口部におけるボケ効果のレンダリングに限られていた。 正確な焦点平面制御とカスタマイズされたボケ生成を提供する、ユーザフレンドリーなボケレンダリング方法がない。 また、可変開口部でのボケ学習を促進することのできる、真の現実的なボケデータセットも欠如している。 本稿では,この2つの問題に対処するため,有効な制御可能なボケレンダリング手法を提案し,可変開口ボケデータセット(VABD)に寄与した。 提案手法では、焦点面をカスタマイズして被写体を正確に特定し、ボケレンダリングのためのターゲット開口情報を選択することができる。 実際のボケ効果をシミュレートするブートストラップモデルを実現するために,提案手法を組み合わした焦点面を開口プロンプトと組み合わせて構築したVABDとBBB!ベンチマークデータセットの実験結果が得られた。 提案手法は,主流のボケモデルよりもはるかに軽量な4.4Mパラメータで,最先端の競合性能を実現している。 コントリビュートされたデータセットとソースコードはgithub https://github.com/MoTong-AI-studio/VABMでリリースされる。

関連論文リスト

• BokehOrNot: Transforming Bokeh Effect with Image Transformer and Lens Metadata Embedding [2.3784282912975345]
  Bokeh効果(ボケエフェクト、英: Bokeh effect)は、広角レンズを備えたハイエンドカメラが生み出す、快適な視覚体験を提供する光学現象である。 本稿では,このモデルにレンズメタデータを埋め込み,アルファマスクを用いた損失計算手法を提案する。 以上の手法に基づいて,ブラープ・トゥ・シャープとシャープ・トゥ・ブルーのボケ効果を両立できるボケオルノットモデルを提案する。
  論文  参考訳（メタデータ） (2023-06-06T21:49:56Z)
• Realistic Bokeh Effect Rendering on Mobile GPUs, Mobile AI & AIM 2022 challenge: Report [75.79829464552311]
  この課題は、最新のスマートフォンモデルで実行できる効率的なエンドツーエンドのAIベースのレンダリングアプローチを開発することだった。 得られたモデルはKirin 9000のMali GPUで評価され、多くのディープラーニングオプティマスに対して優れた加速結果が得られた。
  論文  参考訳（メタデータ） (2022-11-07T22:42:02Z)
• MC-Blur: A Comprehensive Benchmark for Image Deblurring [127.6301230023318]
  ほとんどの実世界の画像では、ブラーは動きやデフォーカスなど様々な要因によって引き起こされる。 我々は,MC-Blurと呼ばれる大規模マルチライク画像デブロアリングデータセットを新たに構築する。 MC-Blurデータセットに基づいて,異なるシナリオにおけるSOTA法の比較を行う。
  論文  参考訳（メタデータ） (2021-12-01T02:10:42Z)
• Single image deep defocus estimation and its applications [82.93345261434943]
  画像パッチを20レベルの曖昧さの1つに分類するために、ディープニューラルネットワークをトレーニングします。 トレーニングされたモデルは、反復重み付きガイドフィルタを適用して改善するパッチのぼかしを決定するために使用される。 その結果、デフォーカスマップは各ピクセルのぼやけた度合いの情報を運ぶ。
  論文  参考訳（メタデータ） (2021-07-30T06:18:16Z)
• AIM 2020 Challenge on Rendering Realistic Bokeh [95.87775182820518]
  本稿では,第2回AIM現実ボケ効果レンダリングチャレンジをレビューする。 目標は、大規模なESB! bokehデータセットを使用して、現実的な浅いフォーカステクニックを学ぶことだった。 参加者は、他のカメラやセンサーからの追加データなしで、単一のフレームのみに基づいてボケ効果をレンダリングしなければならなかった。
  論文  参考訳（メタデータ） (2020-11-10T09:15:38Z)
• BGGAN: Bokeh-Glass Generative Adversarial Network for Rendering Realistic Bokeh [19.752904494597328]
  本稿では,複雑なハードウェアに依存しないボケ画像を生成するGlass-Netという新しいジェネレータを提案する。 実験の結果,この方法は高品質なボケ効果を示し,全スマートフォンチップセットで1.9秒で1,1024倍の1536$の画像を処理可能であることがわかった。
  論文  参考訳（メタデータ） (2020-11-04T11:56:34Z)
• Defocus Blur Detection via Depth Distillation [64.78779830554731]
  初めてDBDに深度情報を導入します。 より詳しくは, 地底の真理と, 十分に訓練された深度推定ネットワークから抽出した深度から, デフォーカスのぼかしを学習する。 我々の手法は、2つの一般的なデータセット上で11の最先端の手法より優れています。
  論文  参考訳（メタデータ） (2020-07-16T04:58:09Z)
• Rendering Natural Camera Bokeh Effect with Deep Learning [95.86933125733673]
  ボケ(Bokeh)は、写真に焦点をあてる重要な芸術効果である。 モバイルカメラは、光学の直径が非常に小さいため、被写界深度が浅い写真を作ることができない。 本稿では,デジタル一眼レフカメラで撮影された写真から直接,現実的な浅層焦点技術を学ぶことを提案する。
  論文  参考訳（メタデータ） (2020-06-10T07:28:06Z)
• Depth-aware Blending of Smoothed Images for Bokeh Effect Generation [10.790210744021072]
  本稿では,画像から高品質なボケ効果を生成するために,エンドツーエンドのディープラーニングフレームワークを提案する。 ネットワークは軽量で、HD画像を0.03秒で処理できる。 このアプローチは、AIM 2019 Bokeh effect Challenge-Perceptual Trackで2位にランクインした。
  論文  参考訳（メタデータ） (2020-05-28T18:11:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。