論文の概要: Scene Designer: a Unified Model for Scene Search and Synthesis from Sketch

• arxiv url: http://arxiv.org/abs/2108.07353v1
• Date: Mon, 16 Aug 2021 21:40:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-19 00:27:02.245885
• Title: Scene Designer: a Unified Model for Scene Search and Synthesis from Sketch
• Title（参考訳）: scene designer: スケッチからのシーン検索と合成のための統一モデル
• Authors: Leo Sampaio Ferraz Ribeiro and Tu Bui and John Collomosse and Moacir Ponti
• Abstract要約: シーンデザイナ(Scene Designer)は、シーン構成の自由なスケッチを用いて画像の検索と生成を行う新しい方法である。 我々のコアコントリビューションは、画像に一致するスケッチされた合成のためのクロスモーダル検索埋め込みと、レイアウト合成のためのオブジェクト埋め込みの両方を学ぶための単一の統一モデルである。
• 参考スコア（独自算出の注目度）: 7.719705312172286
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scene Designer is a novel method for searching and generating images using free-hand sketches of scene compositions; i.e. drawings that describe both the appearance and relative positions of objects. Our core contribution is a single unified model to learn both a cross-modal search embedding for matching sketched compositions to images, and an object embedding for layout synthesis. We show that a graph neural network (GNN) followed by Transformer under our novel contrastive learning setting is required to allow learning correlations between object type, appearance and arrangement, driving a mask generation module that synthesises coherent scene layouts, whilst also delivering state of the art sketch based visual search of scenes.
• Abstract（参考訳）: シーンデザイナは,シーン構成のフリーハンドスケッチを用いた画像検索と生成のための新しい手法である。 物体の外観と相対的な位置の両方を記述する図面。 私たちの中心となる貢献は、スケッチされたコンポジションを画像にマッチさせるクロスモーダル検索埋め込みとレイアウト合成のためのオブジェクトエンベッドの両方を学ぶための単一の統一モデルです。 コントラスト学習環境下でグラフニューラルネットワーク(gnn)とトランスフォーマー(transformer)が要求されるのは,オブジェクトの種類,外観,配置の相関関係を学習し,コヒーレントなシーンレイアウトを合成するマスク生成モジュールを駆動すると同時に,シーンのスケッチベースのビジュアル検索も提供する点である。

関連論文リスト

• Sketch-Guided Scene Image Generation [11.009579131371018]
  スケッチ入力からシーン画像を生成するタスクを分解したスケッチ誘導シーン画像生成フレームワークを提案する。 事前学習した拡散モデルを用いて、個々のオブジェクトの描画をオブジェクトのイメージに変換し、余分なスケッチ構造を維持しながら追加の詳細を推測する。 シーンレベルの画像構築において、分離した背景プロンプトを用いてシーン画像の潜在表現を生成する。
  論文  参考訳（メタデータ） (2024-07-09T00:16:45Z)
• SAMPLING: Scene-adaptive Hierarchical Multiplane Images Representation for Novel View Synthesis from a Single Image [60.52991173059486]
  単一画像からの新規ビュー合成のためのシーン適応型階層型多面体画像表現であるSAMPlingを紹介する。 提案手法は,KITTIデータセット上の単一画像を用いて,大規模非有界屋外シーンにおいてかなりの性能向上を示す。
  論文  参考訳（メタデータ） (2023-09-12T15:33:09Z)
• DiffSketching: Sketch Control Image Synthesis with Diffusion Models [10.172753521953386]
  スケッチ・ツー・イメージ合成のためのディープラーニングモデルは、視覚的な詳細なしに歪んだ入力スケッチを克服する必要がある。 我々のモデルは、クロスドメイン制約を通じてスケッチにマッチし、画像合成をより正確に導くために分類器を使用する。 我々のモデルは、生成品質と人的評価の点でGANベースの手法に勝ることができ、大規模なスケッチ画像データセットに依存しない。
  論文  参考訳（メタデータ） (2023-05-30T07:59:23Z)
• Text-Guided Scene Sketch-to-Photo Synthesis [5.431298869139175]
  テキストガイダンスを用いたシーンレベルのスケッチ・ツー・フォト合成手法を提案する。 モデルのトレーニングには,写真の集合から自己教師付き学習を用いる。 実験により,カラー画像から抽出されていないオリジナルスケッチ画像を視覚的品質の高い写真に変換することを確認した。
  論文  参考訳（メタデータ） (2023-02-14T08:13:36Z)
• Unsupervised Scene Sketch to Photo Synthesis [40.044690369936184]
  シーンスケッチからリアルな写真を合成する手法を提案する。 我々のフレームワークは、教師なしの方法で手軽に利用できる大規模写真データセットから学習する。 また、本フレームワークは、対応するスケッチのストロークを編集することで、写真合成の制御可能な操作を容易にすることを実証する。
  論文  参考訳（メタデータ） (2022-09-06T22:25:06Z)
• FS-COCO: Towards Understanding of Freehand Sketches of Common Objects in Context [112.07988211268612]
  フリーハンドシーンスケッチの最初のデータセットであるFS-COCOを用いてスケッチ研究を進めた。 本データセットは,100名の非専門家による1点あたりの時空間情報付きフリーハンドシーンベクトルスケッチからなる。 フリーハンドシーンのスケッチやスケッチのキャプションからきめ細かい画像検索の問題が初めて研究された。
  論文  参考訳（メタデータ） (2022-03-04T03:00:51Z)
• Compositional Sketch Search [91.84489055347585]
  フリーハンドスケッチを用いて画像コレクションを検索するアルゴリズムを提案する。 シーン構成全体を特定するための簡潔で直感的な表現として描画を利用する。
  論文  参考訳（メタデータ） (2021-06-15T09:38:09Z)
• Neural Scene Graphs for Dynamic Scenes [57.65413768984925]
  動的シーンをシーングラフに分解する最初のニューラルレンダリング手法を提案する。 我々は暗黙的に符号化されたシーンと、単一の暗黙の関数でオブジェクトを記述するために共同で学習された潜在表現を組み合わせる。
  論文  参考訳（メタデータ） (2020-11-20T12:37:10Z)
• SketchEmbedNet: Learning Novel Concepts by Imitating Drawings [125.45799722437478]
  モデルを用いて画像のスケッチを作成することによって学習した画像表現の特性について検討する。 この生成型クラスに依存しないモデルでは,新規な例,クラス,さらには新規なデータセットからの画像の情報埋め込みが,数ショットで生成されることが示されている。
  論文  参考訳（メタデータ） (2020-08-27T16:43:28Z)
• SketchyCOCO: Image Generation from Freehand Scene Sketches [71.85577739612579]
  本稿では,シーンレベルのフリーハンドスケッチから画像の自動生成手法を提案する。 主要なコントリビューションは、EdgeGANと呼ばれる属性ベクトルをブリッジしたGeneversarative Adrial Networkである。 我々はSketchyCOCOと呼ばれる大規模複合データセットを構築し、ソリューションをサポートし評価した。
  論文  参考訳（メタデータ） (2020-03-05T14:54:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。