論文の概要: Natural & Adversarial Bokeh Rendering via Circle-of-Confusion Predictive
Network
- arxiv url: http://arxiv.org/abs/2111.12971v2
- Date: Wed, 7 Jun 2023 10:28:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-08 20:43:08.792849
- Title: Natural & Adversarial Bokeh Rendering via Circle-of-Confusion Predictive
Network
- Title（参考訳）: 循環型予測ネットワークによる自然・敵対的ボケレンダリング
- Authors: Yihao Huang, Felix Juefei-Xu, Qing Guo, Geguang Pu, Yang Liu
- Abstract要約: Bokeh効果は被写界深度が浅い現象で、写真では焦点がぼやけている。
我々は、全く新しい問題、すなわち自然と敵対的なボケのレンダリングについて研究する。
本稿では,データ駆動方式と物理認識方式のそれぞれの利点を生かして,ハイブリッドな代替案を提案する。
- 参考スコア（独自算出の注目度）: 19.233930372590226
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bokeh effect is a natural shallow depth-of-field phenomenon that blurs the
out-of-focus part in photography. In recent years, a series of works have
proposed automatic and realistic bokeh rendering methods for artistic and
aesthetic purposes. They usually employ cutting-edge data-driven deep
generative networks with complex training strategies and network architectures.
However, these works neglect that the bokeh effect, as a real phenomenon, can
inevitably affect the subsequent visual intelligent tasks like recognition, and
their data-driven nature prevents them from studying the influence of
bokeh-related physical parameters (i.e., depth-of-the-field) on the intelligent
tasks. To fill this gap, we study a totally new problem, i.e., natural &
adversarial bokeh rendering, which consists of two objectives: rendering
realistic and natural bokeh and fooling the visual perception models (i.e.,
bokeh-based adversarial attack). To this end, beyond the pure data-driven
solution, we propose a hybrid alternative by taking the respective advantages
of data-driven and physical-aware methods. Specifically, we propose the
circle-of-confusion predictive network (CoCNet) by taking the all-in-focus
image and depth image as inputs to estimate circle-of-confusion parameters for
each pixel, which are employed to render the final image through a well-known
physical model of bokeh. With the hybrid solution, our method could achieve
more realistic rendering results with the naive training strategy and a much
lighter network. Moreover, we propose the adversarial bokeh attack by fixing
the CoCNet while optimizing the depth map w.r.t the visual perception tasks.
Then, we are able to study the vulnerability of deep neural networks according
to the depth variations in the real world.
- Abstract（参考訳）: ボケ効果(bokeh effect)は、被写界深度の浅い自然現象である。
近年,芸術的,美的目的で,ボケの自動的,現実的ボケレンダリング手法が提案されている。
彼らは通常、複雑なトレーニング戦略とネットワークアーキテクチャを持つ最先端のデータ駆動型深層生成ネットワークを使用している。
しかし、これらの研究はボケ効果が実際の現象として、その後の視覚的知性タスク(認識など)に必然的に影響を及ぼすことを無視し、そのデータ駆動性はボケに関連する物理的パラメータ(すなわち深度)が知的タスクに与える影響を研究することを妨げている。
このギャップを埋めるために,我々は,現実的かつ自然なボケのレンダリングと,視覚知覚モデル(すなわちボケに基づく敵対的攻撃)の騙しという2つの目的からなる,自然と敵対的なボケのレンダリングという,まったく新しい問題の研究を行った。
この目的のために,データ駆動方式と物理認識方式のそれぞれの利点を生かしてハイブリッドな代替案を提案する。
具体的には、全焦点画像と深度画像を入力として、ボケの物理モデルによる最終画像のレンダリングに使用される各画素の輪郭パラメータを推定することにより、コンフュージョン予測ネットワーク(CoCNet)を提案する。
ハイブリッドソリューションにより,本手法はよりリアルなレンダリングを,より簡単なトレーニング戦略とより軽量なネットワークで実現することができる。
さらに,認識タスクの深度マップを最適化しながら,CoCNetを固定した逆ボケ攻撃を提案する。
そして, 深層ニューラルネットワークの脆弱性を, 現実世界の深さ変化に応じて調査することができる。
関連論文リスト
- GBSD: Generative Bokeh with Stage Diffusion [16.189787907983106]
ボケ効果(ボケエフェクト、bokeh effect)は、写真の中の焦点領域をぼかす芸術技法である。
我々は、ボケスタイルでフォトリアリスティックな画像を合成する最初の生成テキスト・画像モデルであるGBSDを提案する。
論文 参考訳（メタデータ） (2023-06-14T05:34:02Z) - Defocus to focus: Photo-realistic bokeh rendering by fusing defocus and
radiance priors [26.38833313692807]
Bokehレンダリングは、プロの写真における美的浅層深度(DoF)を模倣している。
既存の手法は、単純な平坦な背景のぼやけと、焦点内領域のぼやけに悩まされている。
本稿では,現実的なボケレンダリングを学習するためのD2Fフレームワークについて述べる。
論文 参考訳（メタデータ） (2023-06-07T15:15:13Z) - Bokeh-Loss GAN: Multi-Stage Adversarial Training for Realistic
Edge-Aware Bokeh [3.8811606213997587]
我々は単分子ボケ合成の問題に取り組み、単一のオールインフォーカス画像から被写界画像の浅い深さを描画しようと試みる。
DSLRカメラとは異なり、この効果は移動体開口の物理的制約のため、移動体カメラでは直接キャプチャできない。
本稿では,単一の画像入力から現実的なモノクロボケをレンダリングできるネットワークベースのアプローチを提案する。
論文 参考訳（メタデータ） (2022-08-25T20:57:07Z) - Single image deep defocus estimation and its applications [82.93345261434943]
画像パッチを20レベルの曖昧さの1つに分類するために、ディープニューラルネットワークをトレーニングします。
トレーニングされたモデルは、反復重み付きガイドフィルタを適用して改善するパッチのぼかしを決定するために使用される。
その結果、デフォーカスマップは各ピクセルのぼやけた度合いの情報を運ぶ。
論文 参考訳（メタデータ） (2021-07-30T06:18:16Z) - BaMBNet: A Blur-aware Multi-branch Network for Defocus Deblurring [74.34263243089688]
畳み込みニューラルネットワーク(CNN)は、デフォーカス劣化問題に導入され、大きな進歩を遂げた。
本研究では,異なる領域(ブラー量が異なる)を区別して扱う新しいマルチブランチネットワーク(BaMBNet)を設計する。
定量的および定性的な実験は、BaMBNetが最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2021-05-31T07:55:30Z) - AIM 2020 Challenge on Rendering Realistic Bokeh [95.87775182820518]
本稿では,第2回AIM現実ボケ効果レンダリングチャレンジをレビューする。
目標は、大規模なESB! bokehデータセットを使用して、現実的な浅いフォーカステクニックを学ぶことだった。
参加者は、他のカメラやセンサーからの追加データなしで、単一のフレームのみに基づいてボケ効果をレンダリングしなければならなかった。
論文 参考訳（メタデータ） (2020-11-10T09:15:38Z) - Defocus Blur Detection via Depth Distillation [64.78779830554731]
初めてDBDに深度情報を導入します。
より詳しくは, 地底の真理と, 十分に訓練された深度推定ネットワークから抽出した深度から, デフォーカスのぼかしを学習する。
我々の手法は、2つの一般的なデータセット上で11の最先端の手法より優れています。
論文 参考訳（メタデータ） (2020-07-16T04:58:09Z) - Rendering Natural Camera Bokeh Effect with Deep Learning [95.86933125733673]
ボケ(Bokeh)は、写真に焦点をあてる重要な芸術効果である。
モバイルカメラは、光学の直径が非常に小さいため、被写界深度が浅い写真を作ることができない。
本稿では,デジタル一眼レフカメラで撮影された写真から直接,現実的な浅層焦点技術を学ぶことを提案する。
論文 参考訳（メタデータ） (2020-06-10T07:28:06Z) - Depth-aware Blending of Smoothed Images for Bokeh Effect Generation [10.790210744021072]
本稿では,画像から高品質なボケ効果を生成するために,エンドツーエンドのディープラーニングフレームワークを提案する。
ネットワークは軽量で、HD画像を0.03秒で処理できる。
このアプローチは、AIM 2019 Bokeh effect Challenge-Perceptual Trackで2位にランクインした。
論文 参考訳（メタデータ） (2020-05-28T18:11:05Z) - Self-Supervised Linear Motion Deblurring [112.75317069916579]
深層畳み込みニューラルネットワークは、画像の劣化の最先端技術である。
本稿では,自己監督型動作遅延に対する識別可能なreblurモデルを提案する。
我々の実験は、自己監督された単一画像の劣化が本当に実現可能であることを実証した。
論文 参考訳（メタデータ） (2020-02-10T20:15:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。