論文の概要: MIGS: Meta Image Generation from Scene Graphs

• arxiv url: http://arxiv.org/abs/2110.11918v1
• Date: Fri, 22 Oct 2021 17:02:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-25 13:47:08.232184
• Title: MIGS: Meta Image Generation from Scene Graphs
• Title（参考訳）: MIGS: シーングラフからメタ画像を生成する
• Authors: Azade Farshad, Sabrina Musatian, Helisa Dhamo, Nassir Navab
• Abstract要約: メタラーニングに基づくグラフ画像生成手法であるMIGS(Meta Image Generation from Scene Graphs)を提案する。 タスク駆動方式でデータをサンプリングすることにより、シーン属性に基づいて分類されたタスクの集合に基づいてメタラーニングを用いてジェネレータを訓練する。 以上の結果から,このメタラーニング手法を用いて,映像の質とシーンの意味的関係を把握し,シーングラフから画像を生成することが示唆された。
• 参考スコア（独自算出の注目度）: 48.82382997154196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generation of images from scene graphs is a promising direction towards explicit scene generation and manipulation. However, the images generated from the scene graphs lack quality, which in part comes due to high difficulty and diversity in the data. We propose MIGS (Meta Image Generation from Scene Graphs), a meta-learning based approach for few-shot image generation from graphs that enables adapting the model to different scenes and increases the image quality by training on diverse sets of tasks. By sampling the data in a task-driven fashion, we train the generator using meta-learning on different sets of tasks that are categorized based on the scene attributes. Our results show that using this meta-learning approach for the generation of images from scene graphs achieves state-of-the-art performance in terms of image quality and capturing the semantic relationships in the scene. Project Website: https://migs2021.github.io/
• Abstract（参考訳）: シーングラフからのイメージ生成は、明示的なシーン生成と操作への有望な方向である。 しかし、シーングラフから生成された画像は品質に欠けており、その原因の一部はデータの難易度と多様性にある。 MIGS(Meta Image Generation from Scene Graphs)は,異なるシーンにモデルを適応させ,多様なタスクセットをトレーニングすることで画質を向上させる,グラフからの数ショット画像生成のためのメタラーニングベースのアプローチである。 タスク駆動方式でデータをサンプリングすることにより、シーン属性に基づいて分類されたタスクの集合に基づいてメタラーニングを用いてジェネレータを訓練する。 本研究では,このメタラーニング手法を用いてシーングラフから画像を生成することにより,画像の質とシーンの意味的関係を捉えることで,最先端のパフォーマンスを実現することを示す。 プロジェクトウェブサイト: https://migs2021.github.io/

関連論文リスト

• Scene Graph Disentanglement and Composition for Generalizable Complex Image Generation [44.457347230146404]
  我々は、複雑な画像生成に強力な構造化表現であるシーングラフを利用する。 本稿では,変分オートエンコーダと拡散モデルの生成能力を一般化可能な方法で活用する。 本手法は,テキスト,レイアウト,シーングラフに基づいて,近年の競合より優れています。
  論文  参考訳（メタデータ） (2024-10-01T07:02:46Z)
• FACTUAL: A Benchmark for Faithful and Consistent Textual Scene Graph Parsing [66.70054075041487]
  画像キャプションをシーングラフに変換する既存のシーングラフは、しばしば2種類のエラーに悩まされる。 まず、生成されたシーングラフはキャプションや対応する画像の真の意味を捉えず、忠実さの欠如をもたらす。 第二に、生成されたシーングラフは一貫性が高く、同じセマンティクスは異なるアノテーションで表される。
  論文  参考訳（メタデータ） (2023-05-27T15:38:31Z)
• SPAN: Learning Similarity between Scene Graphs and Images with Transformers [29.582313604112336]
  本稿では,シーングラフと画像の類似性を計測するScene graPh-imAge coNtrastive learning framework, SPANを提案する。 本稿では,シーングラフを構造的エンコーディングを伴うシーケンスに変換する新しいグラフシリアライズ手法を提案する。
  論文  参考訳（メタデータ） (2023-04-02T18:13:36Z)
• Diffusion-Based Scene Graph to Image Generation with Masked Contrastive Pre-Training [112.94542676251133]
  画像とのアライメントを直接最適化することで,シーングラフの埋め込みを学習する。 具体的には,シーングラフからグローバル情報とローカル情報の両方を抽出するエンコーダを事前訓練する。 SGDiffと呼ばれる結果の方法は、シーングラフノードと接続を変更することによって生成された画像のセマンティックな操作を可能にする。
  論文  参考訳（メタデータ） (2022-11-21T01:11:19Z)
• Learning to Generate Scene Graph from Natural Language Supervision [52.18175340725455]
  シーングラフと呼ばれる画像内の局所化オブジェクトとその関係をグラフィカルに表現するために,画像と文のペアから学習する最初の方法の1つを提案する。 既製のオブジェクト検出器を利用してオブジェクトのインスタンスを識別し、ローカライズし、検出された領域のラベルとキャプションから解析された概念をマッチングし、シーングラフを学習するための"擬似ラベル"を作成する。
  論文  参考訳（メタデータ） (2021-09-06T03:38:52Z)
• Unconditional Scene Graph Generation [72.53624470737712]
  我々はラベル付きおよび有向グラフ上の確率分布を学習できるSceneGraphGenと呼ばれる深層自己回帰モデルを開発した。 SceneGraphGenによって生成されたシーングラフは多様であり、実世界のシーンのセマンティックなパターンに従う。
  論文  参考訳（メタデータ） (2021-08-12T17:57:16Z)
• Image Scene Graph Generation (SGG) Benchmark [58.33119409657256]
  画像シーングラフ生成(オブジェクト、関係検出)への関心が高まっている。 優れたベンチマークが欠如しているため、異なるシーングラフ生成モデルの報告結果と直接比較することができない。 我々は,マスマルクン・ベンチマークといくつかの人気モデルに基づく,待望のシーングラフ生成ベンチマークを開発した。
  論文  参考訳（メタデータ） (2021-07-27T05:10:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。