論文の概要: Spherical Image Inpainting with Frame Transformation and Data-driven Prior Deep Networks

• arxiv url: http://arxiv.org/abs/2209.14604v1
• Date: Thu, 29 Sep 2022 07:51:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 17:54:53.253375
• Title: Spherical Image Inpainting with Frame Transformation and Data-driven Prior Deep Networks
• Title（参考訳）: フレーム変換とデータ駆動型プリエントネットワークによる球面像の描画
• Authors: Jianfei Li, Chaoyan Huang, Raymond Chan, Han Feng, Micheal Ng, Tieyong Zeng
• Abstract要約: 本研究では,深層学習に基づく正規化器を用いた球面画像の塗布作業に焦点をあてる。 我々は,高速な球面ハールフレームレット変換を採用し,フレームレット変換のスパース性仮定に基づく新しい最適化フレームワークを開発した。 提案アルゴリズムは、損傷した球面画像を大幅に復元し、深層学習デノイザとプラグ・アンド・プレイモデルを用いて、純粋に最高の性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 13.406134708071345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spherical image processing has been widely applied in many important fields, such as omnidirectional vision for autonomous cars, global climate modelling, and medical imaging. It is non-trivial to extend an algorithm developed for flat images to the spherical ones. In this work, we focus on the challenging task of spherical image inpainting with deep learning-based regularizer. Instead of a naive application of existing models for planar images, we employ a fast directional spherical Haar framelet transform and develop a novel optimization framework based on a sparsity assumption of the framelet transform. Furthermore, by employing progressive encoder-decoder architecture, a new and better-performed deep CNN denoiser is carefully designed and works as an implicit regularizer. Finally, we use a plug-and-play method to handle the proposed optimization model, which can be implemented efficiently by training the CNN denoiser prior. Numerical experiments are conducted and show that the proposed algorithms can greatly recover damaged spherical images and achieve the best performance over purely using deep learning denoiser and plug-and-play model.
• Abstract（参考訳）: 球面画像処理は、自動運転車の全方位ビジョン、地球規模の気候モデリング、医療画像など、多くの重要な分野に広く応用されている。 平坦な画像のために開発されたアルゴリズムを球面に拡張するのは簡単ではない。 本研究では,深層学習に基づく正規化器を用いた球面画像の塗布作業に焦点をあてる。 平面画像に対する既存モデルのナイーブな応用ではなく、高速方向球面ハールフレームレット変換を採用し、フレームレット変換のスパーシティ仮定に基づく新しい最適化フレームワークを開発した。 さらに、プログレッシブエンコーダ-デコーダアーキテクチャを使用することで、新しいより優れたディープcnnデノイザーを注意深く設計し、暗黙の正規化として動作する。 最後に,cnn denoiserを事前にトレーニングすることにより効率的に実装可能な最適化モデルを取り扱うためのプラグ・アンド・プレイ法を提案する。 数値実験により, 提案アルゴリズムは損傷した球面画像を大幅に復元し, 深層学習デノイザとプラグ・アンド・プレイモデルを用いて, 純粋に最高の性能が得られることを示した。

関連論文リスト

• $R^2$-Mesh: Reinforcement Learning Powered Mesh Reconstruction via Geometry and Appearance Refinement [5.810659946867557]
  Neural Radiance Fields (NeRF)に基づくメッシュ再構成は、コンピュータグラフィックス、仮想現実、医療画像などの様々なアプリケーションで人気がある。 マルチビュー画像からメッシュを段階的に生成し,最適化する新しいアルゴリズムを提案する。 本手法は,メッシュレンダリングの品質と幾何学的品質の両方において,高い競争力とロバストな性能を提供する。
  論文  参考訳（メタデータ） (2024-08-19T16:33:17Z)
• Learning Robust Multi-Scale Representation for Neural Radiance Fields from Unposed Images [65.41966114373373]
  コンピュータビジョンにおけるニューラルイメージベースのレンダリング問題に対する改善された解決策を提案する。 提案手法は,テスト時に新たな視点からシーンのリアルなイメージを合成することができる。
  論文  参考訳（メタデータ） (2023-11-08T08:18:23Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• DELAD: Deep Landweber-guided deconvolution with Hessian and sparse prior [0.22940141855172028]
  本稿では,古典的反復法をディープラーニングアプリケーションに組み込んだ非盲検画像デコンボリューションモデルを提案する。 このアルゴリズムは、トレーニング可能な畳み込み層と統合され、復元された画像構造と詳細を強化する。
  論文  参考訳（メタデータ） (2022-09-30T11:15:03Z)
• A Generic Approach for Enhancing GANs by Regularized Latent Optimization [79.00740660219256]
  本稿では,事前学習したGANを効果的かつシームレスに拡張できる,エミュレーティブモデル推論と呼ばれる汎用フレームワークを提案する。 我々の基本的な考え方は、ワッサーシュタイン勾配流法を用いて与えられた要求に対する最適潜時分布を効率的に推算することである。
  論文  参考訳（メタデータ） (2021-12-07T05:22:50Z)
• OSLO: On-the-Sphere Learning for Omnidirectional images and its application to 360-degree image compression [59.58879331876508]
  全方向画像の表現モデルの学習について検討し、全方向画像の深層学習モデルで使用される数学的ツールを再定義するために、HEALPixの球面一様サンプリングの特性を利用することを提案する。 提案したオン・ザ・スフィア・ソリューションは、等方形画像に適用された類似の学習モデルと比較して、13.7%のビットレートを節約できる圧縮ゲインを向上させる。
  論文  参考訳（メタデータ） (2021-07-19T22:14:30Z)
• A Flexible Framework for Designing Trainable Priors with Adaptive Smoothing and Game Encoding [57.1077544780653]
  我々は、前方通過を非滑らかな凸最適化問題として解釈できるニューラルネットワーク層の設計とトレーニングのための一般的なフレームワークを紹介する。 グラフのノードに代表されるローカルエージェントによって解決され、正規化関数を介して相互作用する凸ゲームに焦点を当てる。 このアプローチは、訓練可能なエンドツーエンドのディープモデル内で、古典的な画像の事前使用を可能にするため、画像の問題を解決するために魅力的である。
  論文  参考訳（メタデータ） (2020-06-26T08:34:54Z)
• Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
  形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。 ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。 合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
  論文  参考訳（メタデータ） (2020-04-01T12:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。