論文の概要: Adaptive Mask-based Pyramid Network for Realistic Bokeh Rendering

• arxiv url: http://arxiv.org/abs/2210.16078v1
• Date: Fri, 28 Oct 2022 11:57:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 16:34:59.947813
• Title: Adaptive Mask-based Pyramid Network for Realistic Bokeh Rendering
• Title（参考訳）: 実写ボケレンダリングのための適応マスク型ピラミッドネットワーク
• Authors: Konstantinos Georgiadis, Albert Sa\`a-Garriga, Mehmet Kerim Yucel, Anastasios Drosou, Bruno Manganelli
• Abstract要約: 適応型マスクベースのピラミッドネットワーク(AMPN)は、マスク誘導ボケジェネレータ(MGBG)ブロックとラプラシアンピラミッドリファインメント(LPR)ブロックで構成されている。 AMPNは、ESB!データセットの既存のメソッドと比較して、競合的あるいはより良い結果を生成する。
• 参考スコア（独自算出の注目度）: 3.841107756803987
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bokeh effect highlights an object (or any part of the image) while blurring the rest of the image, and creates a visually pleasant artistic effect. Due to the sensor-based limitations on mobile devices, machine learning (ML) based bokeh rendering has gained attention as a reliable alternative. In this paper, we focus on several improvements in ML-based bokeh rendering; i) on-device performance with high-resolution images, ii) ability to guide bokeh generation with user-editable masks and iii) ability to produce varying blur strength. To this end, we propose Adaptive Mask-based Pyramid Network (AMPN), which is formed of a Mask-Guided Bokeh Generator (MGBG) block and a Laplacian Pyramid Refinement (LPR) block. MGBG consists of two lightweight networks stacked to each other to generate the bokeh effect, and LPR refines and upsamples the output of MGBG to produce the high-resolution bokeh image. We achieve i) via our lightweight, mobile-friendly design choices, ii) via the stacked-network design of MGBG and the weakly-supervised mask prediction scheme and iii) via manually or automatically editing the intensity values of the mask that guide the bokeh generation. In addition to these features, our results show that AMPN produces competitive or better results compared to existing methods on the EBB! dataset, while being faster and smaller than the alternatives.
• Abstract（参考訳）: ボケ効果は、画像の残りの部分をぼやかしながら物体(または画像の一部)を強調し、視覚的に楽しい芸術効果を生み出す。 モバイルデバイスにおけるセンサベースの制限のため、機械学習(ML)ベースのボケレンダリングは信頼できる代替手段として注目を集めている。 本稿ではMLベースのボケレンダリングにおけるいくつかの改善に焦点を当てる。 一 高解像度画像のオンデバイス性能 二 ユーザが編集可能なマスクでボケ世代を誘導する能力 三 ぼやけた強さを異にする能力 そこで本稿では,Mask-Guided Bokeh Generator (MGBG) ブロックと Laplacian Pyramid Refinement (LPR) ブロックで構成されるAdaptive Mask-based Pyramid Network (AMPN) を提案する。 MGBGは2つの軽量ネットワークを積み重ねてボケ効果を発生させ、LPRはMGBGの出力を精細化し、高解像度のボケ画像を生成する。 達成する i) 軽量でモバイルフレンドリーなデザイン選択を通じて ii)mgbgのスタックネットワーク設計と弱教師付きマスク予測方式、及び 三 ボケ発生を誘導するマスクの強度値を手動又は自動で編集すること。 これらの特徴に加えて, AMPN は EBB! データセットの既存手法と比較して, 競合的, より良い結果が得られる一方で, 代替手法よりも高速で小さくなっていることを示す。

関連論文リスト

• Variable Aperture Bokeh Rendering via Customized Focal Plane Guidance [18.390543681127976]
  提案手法は,主流のボケモデルよりもはるかに軽量な4.4Mパラメータで,最先端の競合性能を実現している。 提案手法は,主流のボケモデルよりもはるかに軽量な4.4Mパラメータで,最先端の競合性能を実現している。
  論文  参考訳（メタデータ） (2024-10-18T12:04:23Z)
• Adaptive Window Pruning for Efficient Local Motion Deblurring [81.35217764881048]
  局所的な動きのぼかしは、露光中の移動物体と静止背景との混合により、実世界の写真で一般的に発生する。 既存の画像のデブロアリング手法は主にグローバルなデブロアリングに焦点を当てている。 本稿では,高解像度の局所的ぼやけた画像を適応的かつ効率的に復元することを目的とする。
  論文  参考訳（メタデータ） (2023-06-25T15:24:00Z)
• BokehOrNot: Transforming Bokeh Effect with Image Transformer and Lens Metadata Embedding [2.3784282912975345]
  Bokeh効果(ボケエフェクト、英: Bokeh effect)は、広角レンズを備えたハイエンドカメラが生み出す、快適な視覚体験を提供する光学現象である。 本稿では,このモデルにレンズメタデータを埋め込み,アルファマスクを用いた損失計算手法を提案する。 以上の手法に基づいて,ブラープ・トゥ・シャープとシャープ・トゥ・ブルーのボケ効果を両立できるボケオルノットモデルを提案する。
  論文  参考訳（メタデータ） (2023-06-06T21:49:56Z)
• Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
  マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。 本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。 実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
  論文  参考訳（メタデータ） (2023-03-12T05:28:55Z)
• Realistic Bokeh Effect Rendering on Mobile GPUs, Mobile AI & AIM 2022 challenge: Report [75.79829464552311]
  この課題は、最新のスマートフォンモデルで実行できる効率的なエンドツーエンドのAIベースのレンダリングアプローチを開発することだった。 得られたモデルはKirin 9000のMali GPUで評価され、多くのディープラーニングオプティマスに対して優れた加速結果が得られた。
  論文  参考訳（メタデータ） (2022-11-07T22:42:02Z)
• MPIB: An MPI-Based Bokeh Rendering Framework for Realistic Partial Occlusion Effects [39.74503734260885]
  我々はMPIBと呼ばれる新しいMPPIベースの高解像度ボケレンダリングフレームワークを提案する。 MPI表現モジュールと背景塗装モジュールを組み合わせることで,高解像度シーン表現を実現する。 この表現は、制御パラメータに従って様々なボケ効果をレンダリングするために再利用することができる。
  論文  参考訳（メタデータ） (2022-07-18T06:27:24Z)
• Layered Depth Refinement with Mask Guidance [61.10654666344419]
  汎用マスクを用いてSIDEモデルの深度予測を洗練させるマスク誘導深度改善の新しい問題を定式化する。 本フレームワークは,奥行きマップをマスクと逆マスクで表される2つの別々の層に分解し,層状改質・塗装・塗装を行う。 本手法は,内面境界領域と外面境界領域の深度を正確に補正し,異なる種類のマスクや初期深度予測に対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-06-07T06:42:44Z)
• Image Inpainting with Edge-guided Learnable Bidirectional Attention Maps [85.67745220834718]
  不規則な穴の画像インペインティングを改善するためのエッジガイド学習可能な双方向注意マップ(Edge-LBAM)を紹介します。 当社のEdge-LBAMメソッドには、予測エッジによる構造認識マスク更新を含むデュアルプロシージャが含まれています。 広範な実験により,エッジlbamはコヒーレントな画像構造を生成し,色差やぼやけを防止できることがわかった。
  論文  参考訳（メタデータ） (2021-04-25T07:25:16Z)
• AIM 2020 Challenge on Rendering Realistic Bokeh [95.87775182820518]
  本稿では,第2回AIM現実ボケ効果レンダリングチャレンジをレビューする。 目標は、大規模なESB! bokehデータセットを使用して、現実的な浅いフォーカステクニックを学ぶことだった。 参加者は、他のカメラやセンサーからの追加データなしで、単一のフレームのみに基づいてボケ効果をレンダリングしなければならなかった。
  論文  参考訳（メタデータ） (2020-11-10T09:15:38Z)
• BGGAN: Bokeh-Glass Generative Adversarial Network for Rendering Realistic Bokeh [19.752904494597328]
  本稿では,複雑なハードウェアに依存しないボケ画像を生成するGlass-Netという新しいジェネレータを提案する。 実験の結果,この方法は高品質なボケ効果を示し,全スマートフォンチップセットで1.9秒で1,1024倍の1536$の画像を処理可能であることがわかった。
  論文  参考訳（メタデータ） (2020-11-04T11:56:34Z)
• Depth-aware Blending of Smoothed Images for Bokeh Effect Generation [10.790210744021072]
  本稿では,画像から高品質なボケ効果を生成するために,エンドツーエンドのディープラーニングフレームワークを提案する。 ネットワークは軽量で、HD画像を0.03秒で処理できる。 このアプローチは、AIM 2019 Bokeh effect Challenge-Perceptual Trackで2位にランクインした。
  論文  参考訳（メタデータ） (2020-05-28T18:11:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。