論文の概要: Guided Co-Modulated GAN for 360{\deg} Field of View Extrapolation

• arxiv url: http://arxiv.org/abs/2204.07286v1
• Date: Fri, 15 Apr 2022 01:48:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-18 11:40:44.389167
• Title: Guided Co-Modulated GAN for 360{\deg} Field of View Extrapolation
• Title（参考訳）: 360{\deg}視野外挿における共変調ganの導出
• Authors: Mohammad Reza Karimi Dastjerdi, Yannick Hold-Geoffroy, Jonathan Eisenmann, Siavash Khodadadeh, and Jean-Fran\c{c}ois Lalonde
• Abstract要約: 一つの画像から360度視野を抽出する手法を提案する。 提案手法は, 従来の画像品質指標よりも高い精度で, 最新の結果が得られる。
• 参考スコア（独自算出の注目度）: 15.850166450573756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a method to extrapolate a 360{\deg} field of view from a single image that allows for user-controlled synthesis of the out-painted content. To do so, we propose improvements to an existing GAN-based in-painting architecture for out-painting panoramic image representation. Our method obtains state-of-the-art results and outperforms previous methods on standard image quality metrics. To allow controlled synthesis of out-painting, we introduce a novel guided co-modulation framework, which drives the image generation process with a common pretrained discriminative model. Doing so maintains the high visual quality of generated panoramas while enabling user-controlled semantic content in the extrapolated field of view. We demonstrate the state-of-the-art results of our method on field of view extrapolation both qualitatively and quantitatively, providing thorough analysis of our novel editing capabilities. Finally, we demonstrate that our approach benefits the photorealistic virtual insertion of highly glossy objects in photographs.
• Abstract（参考訳）: そこで本研究では,360{\deg}領域を1つの画像から外挿する手法を提案する。 そこで我々は,パノラマ画像表現のための既存のganベースのインペインティングアーキテクチャの改良を提案する。 本手法は最新の結果を得て,従来手法の標準画質指標を上回っている。 そこで我々は, 画像生成過程を, 共通の事前学習による識別モデルで駆動する, ガイド付き協調変調フレームワークを提案する。 これによって生成したパノラマの高い視覚的品質を維持しつつ、外挿的な視野でユーザ制御されたセマンティックコンテンツを可能にする。 本手法の質的かつ定量的な外挿の分野における現状を実証し,新しい編集能力を詳細に分析した。 最後に,本手法は,光沢度の高い物体の仮想挿入に有効であることを示す。

関連論文リスト

• PrefPaint: Aligning Image Inpainting Diffusion Model with Human Preference [62.72779589895124]
  画像インペイントのための拡散モデルと人間の審美基準との整合性を、強化学習フレームワークを用いて初めて試みる。 我々は、人間の好みを付加した約51,000枚の画像からなるデータセットで報酬モデルを訓練する。 画像拡張や3次元再構成などの下流タスクの塗装比較実験により, 提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-10-29T11:49:39Z)
• 360U-Former: HDR Illumination Estimation with Panoramic Adapted Vision Transformers [21.393389135740712]
  我々はGANとして360U-Formerを訓練し、限られた視野低ダイナミックレンジ画像(LDRI)からHDRIを生成する。 提案手法は,現在の照明推定プロトコルとデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2024-10-17T14:03:53Z)
• Layered Rendering Diffusion Model for Zero-Shot Guided Image Synthesis [60.260724486834164]
  本稿では,テキストクエリに依存する拡散モデルにおける空間制御性向上のための革新的な手法を提案する。 視覚誘導(Vision Guidance)とレイヤーレンダリング拡散(Layered Rendering Diffusion)フレームワーク(Layered Diffusion)という2つの重要なイノベーションを提示します。 本稿では,ボックス・ツー・イメージ,セマンティック・マスク・ツー・イメージ,画像編集の3つの実践的応用に適用する。
  論文  参考訳（メタデータ） (2023-11-30T10:36:19Z)
• HawkI: Homography & Mutual Information Guidance for 3D-free Single Image to Aerial View [67.8213192993001]
  本稿では,テキストと模範画像から空中視像を合成するためのHawkeIを提案する。 HawkIは、予め訓練されたテキストから2次元の安定拡散モデルに入力画像からの視覚的特徴をブレンドする。 推測において、HawkeIは、入力画像の意味的詳細を忠実に複製するために生成されたイメージを操るために、ユニークな相互情報ガイダンスの定式化を用いる。
  論文  参考訳（メタデータ） (2023-11-27T01:41:25Z)
• Integrating View Conditions for Image Synthesis [14.738884513493227]
  本稿では、視点情報を統合して画像編集タスクの制御を強化する先駆的なフレームワークを提案する。 我々は、画像編集法で満たすべき3つの必須基準、一貫性、可制御性、調和を蒸留する。
  論文  参考訳（メタデータ） (2023-10-24T16:55:07Z)
• Reference-based Image Composition with Sketch via Structure-aware Diffusion Model [38.1193912666578]
  本稿では,参照画像とともに,スケッチを新しいモーダルとして組み込んだマルチインプット条件画像合成モデルを提案する。 スケッチを用いたエッジレベル制御により,画像サブパートの編集や編集が可能である。 筆者らのフレームワークは,スケッチ指導を維持しつつ,参照画像を用いて学習済み拡散モデルを微調整し,欠落した領域を完了させる。
  論文  参考訳（メタデータ） (2023-03-31T06:12:58Z)
• HORIZON: High-Resolution Semantically Controlled Panorama Synthesis [105.55531244750019]
  パノラマ合成は、仮想世界の中心にユーザーを没入させ、360度の視覚的な風景を再現する。 視覚合成の最近の進歩は、2次元平面画像における意味制御の可能性を解き放ったが、これらの手法のパノラマ合成への直接的応用は歪んだ内容を生み出す。 我々は,高分解能パノラマを生成するための革新的な枠組みを公表し,洗練された球面モデリングによる球面歪みとエッジ不連続性の問題に着目した。
  論文  参考訳（メタデータ） (2022-10-10T09:43:26Z)
• ViCE: Self-Supervised Visual Concept Embeddings as Contextual and Pixel Appearance Invariant Semantic Representations [77.3590853897664]
  本研究は,NLPにおける単語埋め込みの学習方法に着想を得た画像に対して,意味論的にリッチな視覚埋め込みを学習するための自己指導的手法を提案する。
  論文  参考訳（メタデータ） (2021-11-24T12:27:30Z)
• IMAGINE: Image Synthesis by Image-Guided Model Inversion [79.4691654458141]
  IMGE-Guided Model INvErsion (IMAGINE) と呼ばれるインバージョンベースの手法を導入し、高品質で多様な画像を生成します。 我々は,事前学習した分類器から画像意味論の知識を活用し,妥当な世代を実現する。 IMAGINEは,1)合成中の意味的特異性制約を同時に実施し,2)ジェネレータトレーニングなしでリアルな画像を生成し,3)生成過程を直感的に制御する。
  論文  参考訳（メタデータ） (2021-04-13T02:00:24Z)
• Image Completion via Inference in Deep Generative Models [16.99337751292915]
  画像生成モデルにおける償却推論の観点から画像完成を検討する。 CIFAR-10およびFFHQ-256データセットの先行技術と比較して、優れたサンプル品質と多様性を示します。
  論文  参考訳（メタデータ） (2021-02-24T02:59:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。