論文の概要: Stacked Deep Multi-Scale Hierarchical Network for Fast Bokeh Effect Rendering from a Single Image

• arxiv url: http://arxiv.org/abs/2105.07174v1
• Date: Sat, 15 May 2021 08:45:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-18 15:08:42.232891
• Title: Stacked Deep Multi-Scale Hierarchical Network for Fast Bokeh Effect Rendering from a Single Image
• Title（参考訳）: 単一画像からの高速ボケ効果レンダリングのための階層型マルチスケール階層ネットワーク
• Authors: Saikat Dutta, Sourya Dipta Das, Nisarg A. Shah, Anil Kumar Tiwari
• Abstract要約: ボケ効果は、芸術的および審美的な写真をレンダリングするための写真で最も望ましい効果の1つです。 本稿では,モノクロカメラから撮影した画像のボケ効果の直接レンダリングに,エンドツーエンドのDeep Multi-Scale Hierarchical Network (DMSHN) モデルを用いた。 積み重ねられたDMSHNは大規模EBBで最先端の結果を達成! HD画質画像の処理における現在の最新モデルと比較して、ランタイムが約6倍少ないデータセット。
• 参考スコア（独自算出の注目度）: 9.010261475120627
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The Bokeh Effect is one of the most desirable effects in photography for rendering artistic and aesthetic photos. Usually, it requires a DSLR camera with different aperture and shutter settings and certain photography skills to generate this effect. In smartphones, computational methods and additional sensors are used to overcome the physical lens and sensor limitations to achieve such effect. Most of the existing methods utilized additional sensor's data or pretrained network for fine depth estimation of the scene and sometimes use portrait segmentation pretrained network module to segment salient objects in the image. Because of these reasons, networks have many parameters, become runtime intensive and unable to run in mid-range devices. In this paper, we used an end-to-end Deep Multi-Scale Hierarchical Network (DMSHN) model for direct Bokeh effect rendering of images captured from the monocular camera. To further improve the perceptual quality of such effect, a stacked model consisting of two DMSHN modules is also proposed. Our model does not rely on any pretrained network module for Monocular Depth Estimation or Saliency Detection, thus significantly reducing the size of model and run time. Stacked DMSHN achieves state-of-the-art results on a large scale EBB! dataset with around 6x less runtime compared to the current state-of-the-art model in processing HD quality images.
• Abstract（参考訳）: ボケ効果(bokeh effect)は、芸術的および美的写真のレンダリングにおいて、最も望ましい効果の一つである。 通常、この効果を得るためには、異なる開口とシャッター設定と特定の撮影スキルを備えたDSLRカメラが必要である。 スマートフォンでは、物理レンズやセンサーの制限を克服し、そのような効果を達成するために計算方法と追加のセンサーが使用される。 既存の手法の多くは、シーンの奥行きを詳細に推定するために追加のセンサーのデータまたは事前訓練ネットワークを使用し、時にはポートレートセグメンテーション事前訓練ネットワークモジュールを使用して画像中の有能なオブジェクトを分割する。 これらの理由から、ネットワークには多くのパラメータがあり、ランタイム集約化され、ミッドレンジデバイスでは実行できない。 本稿では,モノクロカメラから撮影した画像のボケ効果の直接レンダリングに,エンドツーエンドのDeep Multi-Scale Hierarchical Network (DMSHN) モデルを用いた。 このような効果の知覚的品質をさらに向上するために、2つのdmshnモジュールからなる積み重ねモデルも提案されている。 我々のモデルは単眼深度推定や残差検出のために事前訓練されたネットワークモジュールに頼らず、モデルのサイズと実行時間を著しく削減する。 積み重ねDMSHNは、大規模EMB! HD品質画像の処理における現在の最先端モデルと比較して、実行時のデータセットは約6倍少ない。

関連論文リスト

• Inverting the Imaging Process by Learning an Implicit Camera Model [73.81635386829846]
  本稿では,ディープニューラルネットワークとしてのカメラの物理画像処理を表現した,新しい暗黙カメラモデルを提案する。 本稿では,この暗黙カメラモデルが2つの逆撮像タスクに与える影響を実演する。
  論文  参考訳（メタデータ） (2023-04-25T11:55:03Z)
• Bokeh Rendering Based on Adaptive Depth Calibration Network [13.537088629080122]
  ボケレンダリングは、美的な効果を生み出すために写真で使われる一般的なテクニックである。 携帯電話では、フィールドの浅い写真は撮れません。 本稿では,最新の強力なディープラーニングアーキテクチャであるVision Transformerを用いたボケレンダリング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-21T16:33:51Z)
• Robustifying the Multi-Scale Representation of Neural Radiance Fields [86.69338893753886]
  実世界の画像の両問題を克服するために,頑健なマルチスケールニューラルラジアンス場表現手法を提案する。 提案手法は,NeRFにインスパイアされたアプローチを用いて,マルチスケール画像効果とカメラ位置推定問題に対処する。 例えば、日常的に取得したマルチビュー画像からオブジェクトの正確な神経表現を行うためには、カメラの正確な位置推定が不可欠であることを示す。
  論文  参考訳（メタデータ） (2022-10-09T11:46:45Z)
• Learning Depth from Focus in the Wild [16.27391171541217]
  単一焦点スタックからの畳み込みニューラルネットワークによる深度推定を提案する。 本手法では,画像アライメントにおいても,奥行きマップをエンドツーエンドで推定することができる。 提案するネットワークの一般化のために,商用カメラの特徴を現実的に再現するシミュレータを開発した。
  論文  参考訳（メタデータ） (2022-07-20T05:23:29Z)
• Facial Depth and Normal Estimation using Single Dual-Pixel Camera [81.02680586859105]
  DP指向のDepth/Normalネットワークを導入し,3次元顔形状を再構成する。 これは、メートル法スケールでの深度マップと表面正規を含む、対応する地上3次元モデルを含んでいる。 近年のDPベース深度/正規推定法で最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-11-25T05:59:27Z)
• HDRUNet: Single Image HDR Reconstruction with Denoising and Dequantization [39.82945546614887]
  本研究では,空間動的エンコーダデコーダネットワークであるHDRUNetを用いて,単一画像HDR再構成のためのエンドツーエンドマッピングを学習する。 本手法は,定量的比較と視覚的品質において最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-05-27T12:12:34Z)
• Wide-angle Image Rectification: A Survey [86.36118799330802]
  広角画像は、基礎となるピンホールカメラモデルに反する歪みを含む。 これらの歪みを補正することを目的とした画像修正は、これらの問題を解決することができる。 本稿では、異なるアプローチで使用されるカメラモデルについて、詳細な説明と議論を行う。 次に,従来の幾何学に基づく画像修正手法と深層学習法の両方について検討する。
  論文  参考訳（メタデータ） (2020-10-30T17:28:40Z)
• Neural Ray Surfaces for Self-Supervised Learning of Depth and Ego-motion [51.19260542887099]
  カメラモデルの事前知識を必要とせずに、自己超越を用いて正確な深度とエゴモーション推定を学習できることが示される。 Grossberg と Nayar の幾何学モデルにインスパイアされた我々は、ピクセルワイド射影線を表す畳み込みネットワークである Neural Ray Surfaces (NRS) を導入する。 本研究では,多種多様なカメラシステムを用いて得られた生ビデオから,視覚計測の自己教師付き学習と深度推定にNRSを用いることを実証する。
  論文  参考訳（メタデータ） (2020-08-15T02:29:13Z)
• Rendering Natural Camera Bokeh Effect with Deep Learning [95.86933125733673]
  ボケ(Bokeh)は、写真に焦点をあてる重要な芸術効果である。 モバイルカメラは、光学の直径が非常に小さいため、被写界深度が浅い写真を作ることができない。 本稿では,デジタル一眼レフカメラで撮影された写真から直接,現実的な浅層焦点技術を学ぶことを提案する。
  論文  参考訳（メタデータ） (2020-06-10T07:28:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。