論文の概要: Generalised Image Outpainting with U-Transformer
- arxiv url: http://arxiv.org/abs/2201.11403v1
- Date: Thu, 27 Jan 2022 09:41:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-28 14:36:55.546439
- Title: Generalised Image Outpainting with U-Transformer
- Title(参考訳): U変換器を用いた一般化画像出力
- Authors: Penglei Gao, Xi Yang, Rui Zhang, Kaizhu Huang, and Yujie Geng
- Abstract要約: 我々は,U-Transformerと呼ばれる,新しい変換器ベースの生成対向ネットワークを開発した。
具体的には、一般的なSwin Transformerブロックに埋め込まれたエンコーダ-デコーダ構造としてジェネレータを設計する。
提案手法は,一般化された画像の露光に対して,視覚的に魅力的な結果が得られることを実験的に実証した。
- 参考スコア(独自算出の注目度): 19.894445491176878
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: While most present image outpainting conducts horizontal extrapolation, we
study the generalised image outpainting problem that extrapolates visual
context all-side around a given image. To this end, we develop a novel
transformer-based generative adversarial network called U-Transformer able to
extend image borders with plausible structure and details even for complicated
scenery images. Specifically, we design a generator as an encoder-to-decoder
structure embedded with the popular Swin Transformer blocks. As such, our novel
framework can better cope with image long-range dependencies which are
crucially important for generalised image outpainting. We propose additionally
a U-shaped structure and multi-view Temporal Spatial Predictor network to
reinforce image self-reconstruction as well as unknown-part prediction smoothly
and realistically. We experimentally demonstrate that our proposed method could
produce visually appealing results for generalized image outpainting against
the state-of-the-art image outpainting approaches.
- Abstract(参考訳): 現在,ほとんどの画像外挿は水平外挿を行うが,画像周囲の視覚的コンテキストを外挿する一般化画像外挿問題について検討する。
そこで本研究では,複雑な風景画像であっても,画像境界を可算な構造と細部で拡張できるu-transformerという,トランスフォーマベース生成逆ネットワークを開発した。
具体的には,人気のあるスウィントランスブロックを組み込んだエンコーダからデコーダへの構造としてジェネレータを設計する。
そのため,このフレームワークは,画像の描画において重要な画像の長距離依存性に対処できる。
画像の自己再構成と未知部分予測を円滑かつ現実的に強化するU字型構造と多視点時空間予測ネットワークを提案する。
提案手法が,最先端画像に対する一般画像よりも視覚的に魅力的な結果が得られることを実験的に証明した。
関連論文リスト
- Outpainting by Queries [23.626012684754965]
我々は、textbfQuery textbfOutpainting textbfTRansformer (textbfQueryOTR) という、新しいハイブリッドビジョントランスフォーマーベースのエンコーダデコーダフレームワークを提案する。
我々は、QueryOTRが、最先端画像よりもスムーズかつ現実的に、視覚的に魅力的な結果を生成できることを実験的に示した。
論文 参考訳(メタデータ) (2022-07-12T04:48:41Z) - Cylin-Painting: Seamless {360\textdegree} Panoramic Image Outpainting
and Beyond [136.18504104345453]
塗り絵と塗り絵の間に有意義な協調関係を持つキリン塗り絵の枠組みを提示する。
提案アルゴリズムは、オブジェクト検出、深さ推定、画像超解像などの他のパノラマ視覚タスクに効果的に拡張できる。
論文 参考訳(メタデータ) (2022-04-18T21:18:49Z) - MAT: Mask-Aware Transformer for Large Hole Image Inpainting [79.67039090195527]
本稿では, 変圧器と畳み込みの利点を統一する, 大穴塗装の新しいモデルを提案する。
実験では、複数のベンチマークデータセット上で、新しいモデルの最先端のパフォーマンスを示す。
論文 参考訳(メタデータ) (2022-03-29T06:36:17Z) - PPT Fusion: Pyramid Patch Transformerfor a Case Study in Image Fusion [37.993611194758195]
画像から意味情報を抽出する問題に対処するため,Patch Pyramid Transformer(PPT)を提案する。
実験により, 現状の核融合法に対して優れた性能を示した。
論文 参考訳(メタデータ) (2021-07-29T13:57:45Z) - Structure First Detail Next: Image Inpainting with Pyramid Generator [26.94101909283021]
いくつかのサブジェネレータを積み重ねてピラミッドジェネレータを構築することを提案する。
低層サブジェネレータは画像構造の復元に重点を置いており、高層サブジェネレータは画像の詳細を強調する。
我々の手法は、徐々に穴の大きさを拡大し、大きな穴の画像の復元を可能にする学習手法を持っている。
論文 参考訳(メタデータ) (2021-06-16T16:00:16Z) - Diverse Image Inpainting with Bidirectional and Autoregressive
Transformers [55.21000775547243]
新規な双方向自己回帰トランス(BAT)を用いた画像インペインティングフレームワークBAT-Fillを提案する。
BAT-Fillは変換器とCNNの利点を2段階的に継承し、変換器の注意の二次的複雑さに制約されることなく高解像度のコンテンツを生成する。
論文 参考訳(メタデータ) (2021-04-26T03:52:27Z) - In&Out : Diverse Image Outpainting via GAN Inversion [89.84841983778672]
image outpaintingは、利用可能なコンテンツを超えて、入力画像の意味的に一貫した拡張を求める。
本研究では、生成的対向ネットワークの反転の観点から問題を定式化する。
私達の発電機はイメージの彼らの共同潜入コードそして個々の位置で調節されるマイクロ パッチをレンダリングします。
論文 参考訳(メタデータ) (2021-04-01T17:59:10Z) - Free-Form Image Inpainting via Contrastive Attention Network [64.05544199212831]
画像の塗装作業では、複雑なパターンを形成する画像のどこにでも、どんな形でもマスクが現れる。
エンコーダはこの複雑な状況下でこのような強力な表現を捕捉することは困難である。
本稿では,ロバスト性と一般化性を改善するための自己教師型シームズ推論ネットワークを提案する。
論文 参考訳(メタデータ) (2020-10-29T14:46:05Z) - Generating Person Images with Appearance-aware Pose Stylizer [66.44220388377596]
本稿では,人物のポーズや外見に基づいてリアルな人物画像を生成する,新しいエンドツーエンドフレームワークを提案する。
本フレームワークのコアとなるのは、ターゲットポーズと条件付き人物の外観を段階的に結合して人体画像を生成する、APS(Appearance-aware Pose Stylizer)と呼ばれる新しいジェネレータである。
論文 参考訳(メタデータ) (2020-07-17T15:58:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。