論文の概要: GBSD: Generative Bokeh with Stage Diffusion
- arxiv url: http://arxiv.org/abs/2306.08251v1
- Date: Wed, 14 Jun 2023 05:34:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-16 20:29:36.959115
- Title: GBSD: Generative Bokeh with Stage Diffusion
- Title（参考訳）: GBSD: ステージ拡散による生成型ボケ
- Authors: Jieren Deng, Xin Zhou, Hao Tian, Zhihong Pan, and Derek Aguiar
- Abstract要約: ボケ効果(ボケエフェクト、bokeh effect)は、写真の中の焦点領域をぼかす芸術技法である。
我々は、ボケスタイルでフォトリアリスティックな画像を合成する最初の生成テキスト・画像モデルであるGBSDを提案する。
- 参考スコア（独自算出の注目度）: 10.658275157468932
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The bokeh effect is an artistic technique that blurs out-of-focus areas in a
photograph and has gained interest due to recent developments in text-to-image
synthesis and the ubiquity of smart-phone cameras and photo-sharing apps. Prior
work on rendering bokeh effects have focused on post hoc image manipulation to
produce similar blurring effects in existing photographs using classical
computer graphics or neural rendering techniques, but have either depth
discontinuity artifacts or are restricted to reproducing bokeh effects that are
present in the training data. More recent diffusion based models can synthesize
images with an artistic style, but either require the generation of
high-dimensional masks, expensive fine-tuning, or affect global image
characteristics. In this paper, we present GBSD, the first generative
text-to-image model that synthesizes photorealistic images with a bokeh style.
Motivated by how image synthesis occurs progressively in diffusion models, our
approach combines latent diffusion models with a 2-stage conditioning algorithm
to render bokeh effects on semantically defined objects. Since we can focus the
effect on objects, this semantic bokeh effect is more versatile than classical
rendering techniques. We evaluate GBSD both quantitatively and qualitatively
and demonstrate its ability to be applied in both text-to-image and
image-to-image settings.
- Abstract（参考訳）: ボケ効果(ボケエフェクト、bokeh effect)は、写真中の焦点領域をぼかす芸術的手法であり、テキストから画像への合成や、スマートフォンカメラや写真共有アプリの普及により関心を集めている。
ボケ効果のレンダリングに関する以前の研究は、古典的なコンピュータグラフィックスやニューラルレンダリング技術を用いて既存の写真に類似したぼやけた効果を生み出すために、ポストホック画像操作に焦点を合わせてきたが、深度不連続アーティファクトを持つか、トレーニングデータに存在するボケ効果の再生に制限されている。
より最近の拡散モデルでは、イメージを芸術的なスタイルで合成することができるが、高次元マスクの生成、高価な微調整、あるいはグローバルなイメージ特性に影響を与える必要がある。
本稿では,フォトリアリスティックな画像をボケスタイルで合成する最初の画像生成モデルであるgbsdを提案する。
拡散モデルにおける画像合成の進行に動機づけられ, 潜在拡散モデルと2段階のコンディショニングアルゴリズムを組み合わせることで, 意味論的に定義された物体に対するボケ効果を表現できる。
オブジェクトに効果を集中することができるので、このセマンティックボケ効果は古典的なレンダリング技術よりも汎用性が高い。
我々は,gbsdを定量的かつ質的に評価し,テキストから画像への設定と画像から画像への設定の両方に適用できることを実証する。
関連論文リスト
- Variable Aperture Bokeh Rendering via Customized Focal Plane Guidance [18.390543681127976]
提案手法は,主流のボケモデルよりもはるかに軽量な4.4Mパラメータで,最先端の競合性能を実現している。
提案手法は,主流のボケモデルよりもはるかに軽量な4.4Mパラメータで,最先端の競合性能を実現している。
論文 参考訳（メタデータ） (2024-10-18T12:04:23Z) - Curved Diffusion: A Generative Model With Optical Geometry Control [56.24220665691974]
最終シーンの外観に対する異なる光学系の影響は、しばしば見過ごされる。
本研究では,画像レンダリングに使用される特定のレンズとテキスト画像拡散モデルを密接に統合するフレームワークを提案する。
論文 参考訳（メタデータ） (2023-11-29T13:06:48Z) - BokehOrNot: Transforming Bokeh Effect with Image Transformer and Lens
Metadata Embedding [2.3784282912975345]
Bokeh効果(ボケエフェクト、英: Bokeh effect)は、広角レンズを備えたハイエンドカメラが生み出す、快適な視覚体験を提供する光学現象である。
本稿では,このモデルにレンズメタデータを埋め込み,アルファマスクを用いた損失計算手法を提案する。
以上の手法に基づいて,ブラープ・トゥ・シャープとシャープ・トゥ・ブルーのボケ効果を両立できるボケオルノットモデルを提案する。
論文 参考訳（メタデータ） (2023-06-06T21:49:56Z) - Hybrid Neural Rendering for Large-Scale Scenes with Motion Blur [68.24599239479326]
画像ベース表現とニューラル3D表現を結合して高品質なビュー一貫性のある画像をレンダリングするハイブリッドなニューラルレンダリングモデルを開発した。
我々のモデルは、新しいビュー合成のための最先端のポイントベース手法を超越している。
論文 参考訳（メタデータ） (2023-04-25T08:36:33Z) - Natural & Adversarial Bokeh Rendering via Circle-of-Confusion Predictive
Network [25.319666328268116]
Bokeh効果は被写界深度が浅い現象で、写真では焦点がぼやけている。
我々は、全く新しい問題、すなわち自然と敵対的なボケのレンダリングについて研究する。
本稿では,データ駆動方式と物理認識方式のそれぞれの利点を生かして,ハイブリッドな代替案を提案する。
論文 参考訳（メタデータ） (2021-11-25T09:08:45Z) - Multi-View Motion Synthesis via Applying Rotated Dual-Pixel Blur Kernels [48.063176079878055]
ポートレートモードで撮影された画像に適用される主な効果の1つは、合成浅層深度(DoF)である。
本研究は, ポートレートモードにおけるぼやけた合成手順の変更を導入することで, NIMAT効果のレンダリングの傾向を追究するものである。
我々の修正により、回転するぼやけたカーネルを適用して、単一の画像から多視点ボケを高品質に合成することができる。
論文 参考訳（メタデータ） (2021-11-15T15:23:55Z) - AIM 2020 Challenge on Rendering Realistic Bokeh [95.87775182820518]
本稿では,第2回AIM現実ボケ効果レンダリングチャレンジをレビューする。
目標は、大規模なESB! bokehデータセットを使用して、現実的な浅いフォーカステクニックを学ぶことだった。
参加者は、他のカメラやセンサーからの追加データなしで、単一のフレームのみに基づいてボケ効果をレンダリングしなければならなかった。
論文 参考訳（メタデータ） (2020-11-10T09:15:38Z) - BGGAN: Bokeh-Glass Generative Adversarial Network for Rendering
Realistic Bokeh [19.752904494597328]
本稿では,複雑なハードウェアに依存しないボケ画像を生成するGlass-Netという新しいジェネレータを提案する。
実験の結果,この方法は高品質なボケ効果を示し,全スマートフォンチップセットで1.9秒で1,1024倍の1536$の画像を処理可能であることがわかった。
論文 参考訳（メタデータ） (2020-11-04T11:56:34Z) - Rendering Natural Camera Bokeh Effect with Deep Learning [95.86933125733673]
ボケ(Bokeh)は、写真に焦点をあてる重要な芸術効果である。
モバイルカメラは、光学の直径が非常に小さいため、被写界深度が浅い写真を作ることができない。
本稿では,デジタル一眼レフカメラで撮影された写真から直接,現実的な浅層焦点技術を学ぶことを提案する。
論文 参考訳（メタデータ） (2020-06-10T07:28:06Z) - Depth-aware Blending of Smoothed Images for Bokeh Effect Generation [10.790210744021072]
本稿では,画像から高品質なボケ効果を生成するために,エンドツーエンドのディープラーニングフレームワークを提案する。
ネットワークは軽量で、HD画像を0.03秒で処理できる。
このアプローチは、AIM 2019 Bokeh effect Challenge-Perceptual Trackで2位にランクインした。
論文 参考訳（メタデータ） (2020-05-28T18:11:05Z) - Deblurring by Realistic Blurring [110.54173799114785]
本稿では,BGAN(Learning-to-blurr GAN)とDBGAN(Learning-to-DeBlur GAN)の2つのモデルを組み合わせた新しい手法を提案する。
第1のモデルであるBGANは、未ペアのシャープでぼやけた画像セットでシャープな画像をぼやかす方法を学習し、第2のモデルであるDBGANをガイドして、そのような画像を正しくデブロアする方法を学ぶ。
さらなる貢献として,多様なぼやけた画像を含むRWBIデータセットについても紹介する。
論文 参考訳（メタデータ） (2020-04-04T05:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。