論文の概要: Cylin-Painting: Seamless 360{\deg} Panoramic Image Outpainting and Beyond with Cylinder-Style Convolutions

• arxiv url: http://arxiv.org/abs/2204.08563v1
• Date: Mon, 18 Apr 2022 21:18:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-20 14:32:25.417488
• Title: Cylin-Painting: Seamless 360{\deg} Panoramic Image Outpainting and Beyond with Cylinder-Style Convolutions
• Title（参考訳）: Cylin-Painting: Seamless 360{\deg} パノラマ画像出力とシリンダースタイルの畳み込み
• Authors: Kang Liao, Xiangyu Xu, Chunyu Lin, Wenqi Ren, Yunchao Wei, Yao Zhao
• Abstract要約: 塗り絵と塗り絵の間に有意義な協調関係を持つキリン塗り絵の枠組みを提示する。 提案手法は,物体検出,深度推定,画像超解といった他のパノラマ視覚タスクに効果的に拡張することができる。
• 参考スコア（独自算出の注目度）: 111.3613471513813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image outpainting gains increasing attention since it can generate the complete scene from a partial view, providing a valuable solution to construct 360{\deg} panoramic images. As image outpainting suffers from the intrinsic issue of unidirectional completion flow, previous methods convert the original problem into inpainting, which allows a bidirectional flow. However, we find that inpainting has its own limitations and is inferior to outpainting in certain situations. The question of how they may be combined for the best of both has as yet remained under-explored. In this paper, we provide a deep analysis of the differences between inpainting and outpainting, which essentially depends on how the source pixels contribute to the unknown regions under different spatial arrangements. Motivated by this analysis, we present a Cylin-Painting framework that involves meaningful collaborations between inpainting and outpainting and efficiently fuses the different arrangements, with a view to leveraging their complementary benefits on a consistent and seamless cylinder. Nevertheless, directly applying the cylinder-style convolution often generates visually unpleasing results as it could discard important positional information. To address this issue, we further present a learnable positional embedding strategy and incorporate the missing component of positional encoding into the cylinder convolution, which significantly improves the panoramic results. Note that while developed for image outpainting, the proposed solution can be effectively extended to other panoramic vision tasks, such as object detection, depth estimation, and image super resolution.
• Abstract（参考訳）: 360{\deg}パノラマ画像を構成する貴重なソリューションを提供するため、部分的なビューから完全なシーンを生成することができるため、画像の画質向上が注目される。 画像オーバーペイントは、一方向の完了フローの本質的な問題に苦しむため、以前の手法では、元の問題をインペインティングに変換し、双方向のフローを可能にする。 しかし, 塗布には限界があり, 特定の状況下での塗布に劣ることがわかった。 両者にとってどのように組み合わせられるのかという問題は、まだ未解決のままだ。 本稿では,異なる空間配置の未知領域に対して,光源画素がどのように寄与するかに本質的に依存する,インペインティングとアウトペインティングの違いについて深い分析を行う。 この分析に動機づけられたCylin-Paintingフレームワークは,不連続かつシームレスなシリンダーに相補的な利点を活かすために,塗布と外塗りの有意義な協調を伴い,異なる配置を効果的に融合する。 それにもかかわらず、シリンダー型の畳み込みを直接適用すると、重要な位置情報を破棄できるため、視覚的に不快な結果が発生することが多い。 この問題に対処するため,我々はさらに学習可能な位置埋め込み戦略を示し,シリンダー畳み込みに位置符号化の欠如成分を組み込むことにより,パノラマ的結果を大幅に改善する。 画像オーバーペイントのために開発されたが、提案手法は、物体検出、深度推定、画像の超解像など、他のパノラマ視覚タスクにも効果的に拡張できる。

関連論文リスト

• Dense Feature Interaction Network for Image Inpainting Localization [28.028361409524457]
  画像の悪質な操作において、画像内容の隠蔽や改ざんに使用することができる。 既存の手法は主に基本的なエンコーダ・デコーダ構造に依存しており、多くの場合、偽陽性が多くなる。 本稿では,Dense Feature Interaction Network (DeFI-Net) に基づく新しい塗り絵検出手法について述べる。
  論文  参考訳（メタデータ） (2024-08-05T02:35:13Z)
• Fill in the ____ (a Diffusion-based Image Inpainting Pipeline) [0.0]
  塗り絵は、画像を撮り、失った、または故意に隠された部分を生成する過程である。 現代の塗装技術は、有能な完成物を生成する際、顕著な能力を示している。 既存のモデルにおける重要なギャップに対処し、何が正確に生成されたかをプロンプトし制御する能力に焦点を当てる。
  論文  参考訳（メタデータ） (2024-03-24T05:26:55Z)
• Continuous-Multiple Image Outpainting in One-Step via Positional Query and A Diffusion-based Approach [104.2588068730834]
  本稿では, 文献で未解決の2つの方向において, 画像出力の技術的フロンティアを推し進める。 トレーニング済みのバックボーンネットワークに依存しない手法を開発した。 提案手法(PQDiff)を公開ベンチマークで評価し,最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-28T13:00:38Z)
• Segmentation-Based Parametric Painting [22.967620358813214]
  本研究では,人間のような質とスタイルのバリエーションを持つ大規模で高忠実な絵画の作成を容易にする,新しい画像から絵画へのアプローチを提案する。 我々は,人間の絵画戦略に触発されたセグメンテーションに基づく絵画プロセスとダイナミックアテンションマップアプローチを導入する。 最適化されたバッチ処理とパッチベースの損失フレームワークは、大きなキャンバスの効率的な処理を可能にします。
  論文  参考訳（メタデータ） (2023-11-24T04:15:10Z)
• Stroke-based Neural Painting and Stylization with Dynamically Predicted Painting Region [66.75826549444909]
  ストロークベースのレンダリングは、ストロークのセットで画像を再現することを目的としている。 本研究では,現在のキャンバスに基づいて絵画領域を予測する合成ニューラルネットワークを提案する。 我々は、新しい微分可能な距離変換損失を伴って、ストロークベースのスタイル転送に拡張する。
  論文  参考訳（メタデータ） (2023-09-07T06:27:39Z)
• Image Inpainting with Edge-guided Learnable Bidirectional Attention Maps [85.67745220834718]
  不規則な穴の画像インペインティングを改善するためのエッジガイド学習可能な双方向注意マップ(Edge-LBAM)を紹介します。 当社のEdge-LBAMメソッドには、予測エッジによる構造認識マスク更新を含むデュアルプロシージャが含まれています。 広範な実験により,エッジlbamはコヒーレントな画像構造を生成し,色差やぼやけを防止できることがわかった。
  論文  参考訳（メタデータ） (2021-04-25T07:25:16Z)
• In&Out : Diverse Image Outpainting via GAN Inversion [89.84841983778672]
  image outpaintingは、利用可能なコンテンツを超えて、入力画像の意味的に一貫した拡張を求める。 本研究では、生成的対向ネットワークの反転の観点から問題を定式化する。 私達の発電機はイメージの彼らの共同潜入コードそして個々の位置で調節されるマイクロ パッチをレンダリングします。
  論文  参考訳（メタデータ） (2021-04-01T17:59:10Z)
• Painting Outside as Inside: Edge Guided Image Outpainting via Bidirectional Rearrangement with Progressive Step Learning [18.38266676724225]
  双方向境界領域再構成を用いた画像出力方式を提案する。 提案手法は, 定性的, 定量的に, 他の最先端の塗装工法と比較した。 実験の結果,本手法は他の手法よりも優れ,360デグパノラマ特性を持つ新しい画像を生成することがわかった。
  論文  参考訳（メタデータ） (2020-10-05T06:53:55Z)
• Very Long Natural Scenery Image Prediction by Outpainting [96.8509015981031]
  アウトペイントには2つの課題があるため、あまり注意を払わない。 第一の課題は、生成された画像と元の入力の間の空間的および内容的整合性を維持する方法である。 第2の課題は、生成した結果の高品質を維持する方法です。
  論文  参考訳（メタデータ） (2019-12-29T16:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。