論文の概要: Heterogeneous Image GNN: Graph-Conditioned Diffusion for Image Synthesis

• arxiv url: http://arxiv.org/abs/2502.01309v1
• Date: Mon, 03 Feb 2025 12:36:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:59:22.571237
• Title: Heterogeneous Image GNN: Graph-Conditioned Diffusion for Image Synthesis
• Title（参考訳）: 不均一画像GNN:画像合成のためのグラフコンディション拡散
• Authors: Rupert Menneer, Christos Margadji, Sebastian W. Pattinson,
• Abstract要約: 本稿では、変数と対象画像を2つの相互接続グラフとしてモデル化する新しい表現である、異種画像グラフ(HIG)を提案する。 また,HIGを既存のEDM2拡散モデルに統合した大域保存型GNNを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We introduce a novel method for conditioning diffusion-based image synthesis models with heterogeneous graph data. Existing approaches typically incorporate conditioning variables directly into model architectures, either through cross-attention layers that attend to text latents or image concatenation that spatially restrict generation. However, these methods struggle to handle complex scenarios involving diverse, relational conditioning variables, which are more naturally represented as unstructured graphs. This paper presents Heterogeneous Image Graphs (HIG), a novel representation that models conditioning variables and target images as two interconnected graphs, enabling efficient handling of variable-length conditioning inputs and their relationships. We also propose a magnitude-preserving GNN that integrates the HIG into the existing EDM2 diffusion model using a ControlNet approach. Our approach improves upon the SOTA on a variety of conditioning inputs for the COCO-stuff and Visual Genome datasets, and showcases the ability to condition on graph attributes and relationships represented by edges in the HIG.
• Abstract（参考訳）: 拡散に基づく画像合成モデルに不均一なグラフデータを用いた新しい手法を提案する。 既存のアプローチでは、通常、コンディショニング変数を直接モデルアーキテクチャに組み込む。 しかし、これらの手法は、より自然に非構造化グラフとして表される多様でリレーショナルな条件付き変数を含む複雑なシナリオを扱うのに苦労する。 本稿では,変数と対象画像を相互接続した2つのグラフとしてモデル化し,変数長条件付け入力とその関係を効率的に処理できる新しい表現である不均一画像グラフ(HIG)を提案する。 また,HIGを既存のEDM2拡散モデルに統合した大域保存型GNNを提案する。 提案手法は,COCO-stuffデータセットとVisual Genomeデータセットのコンディショニング入力に対するSOTAの改良を行い,HIGのエッジで表されるグラフ属性と関係を条件付けする機能を示す。

関連論文リスト

• Adapting Diffusion Models for Improved Prompt Compliance and Controllable Image Synthesis [43.481539150288434]
  この作品は新しい家族を紹介します。 因子グラフ拡散モデル(FG-DM) FG-DMは結合分布をモデル化する。 イメージやコンディショニング変数、例えばセマンティック、スケッチなどです。 因子グラフ分解による 奥行きや正常な地図です
  論文  参考訳（メタデータ） (2024-10-29T00:54:00Z)
• SeaDAG: Semi-autoregressive Diffusion for Conditional Directed Acyclic Graph Generation [83.52157311471693]
  方向性非巡回グラフ(DAG)の条件生成のための半自己回帰拡散モデルSeaDAGを紹介する。 グローバルグラフ構造を欠いた従来の自己回帰生成とは異なり,本手法は拡散ステップ毎に完全なグラフ構造を保持する。 本研究では,現実的なDAGを生成する拡散モデルの能力を高めるために,条件損失を伴うグラフ条件学習を明示的に訓練する。
  論文  参考訳（メタデータ） (2024-10-21T15:47:03Z)
• Graph Transformer GANs with Graph Masked Modeling for Architectural Layout Generation [153.92387500677023]
  本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。 提案したグラフ変換器エンコーダは、局所的およびグローバルな相互作用をモデル化するために、Transformer内のグラフ畳み込みと自己アテンションを組み合わせる。 また,グラフ表現学習のための自己指導型事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T14:36:38Z)
• Joint Generative Modeling of Scene Graphs and Images via Diffusion Models [37.788957749123725]
  共同シーングラフ - 画像生成という,新しい生成タスクを提案する。 本稿では,隣接行列と不均一なノードとエッジ属性を併用した新しい拡散モデルDiffuseSGを提案する。 グラフ変換器をデノイザとし、DiffuseSGは連続空間におけるシーングラフ表現を連続的にデノイズし、最終表現を識別してクリーンなシーングラフを生成する。
  論文  参考訳（メタデータ） (2024-01-02T10:10:29Z)
• SCGG: A Deep Structure-Conditioned Graph Generative Model [9.046174529859524]
  SCGGと呼ばれる条件付きディープグラフ生成法は、特定のタイプの構造条件を考える。 SCGGのアーキテクチャは、グラフ表現学習ネットワークと、エンドツーエンドで訓練された自己回帰生成モデルで構成されている。 合成と実世界の両方のデータセットに対する実験結果は,最先端のベースラインと比較して,本手法の優位性を示している。
  論文  参考訳（メタデータ） (2022-09-20T12:33:50Z)
• Score-based Generative Modeling of Graphs via the System of Stochastic Differential Equations [57.15855198512551]
  本稿では,連続時間フレームワークを用いたグラフのスコアベース生成モデルを提案する。 本手法は, トレーニング分布に近い分子を生成できるが, 化学価数則に違反しないことを示す。
  論文  参考訳（メタデータ） (2022-02-05T08:21:04Z)
• A Graph VAE and Graph Transformer Approach to Generating Molecular Graphs [1.6631602844999724]
  グラフ畳み込み層とグラフプーリング層をフル活用した変分オートエンコーダとトランスベースモデルを提案する。 トランスモデルは新しいノードエンコーディング層を実装し、一般的にトランスフォーマーで使用される位置エンコーディングを置き換え、グラフ上で動く位置情報を持たないトランスフォーマーを生成する。 実験では、生成ノードとエッジの両方の重要性を考慮して、分子生成のベンチマークタスクを選択しました。
  論文  参考訳（メタデータ） (2021-04-09T13:13:06Z)
• Spatial-spectral Hyperspectral Image Classification via Multiple Random Anchor Graphs Ensemble Learning [88.60285937702304]
  本稿では,複数のランダムアンカーグラフアンサンブル学習(RAGE)を用いた空間スペクトルHSI分類手法を提案する。 まず、各選択されたバンドのより記述的な特徴を抽出し、局所的な構造と領域の微妙な変化を保存するローカルバイナリパターンを採用する。 次に,アンカーグラフの構成に適応隣接代入を導入し,計算複雑性を低減した。
  論文  参考訳（メタデータ） (2021-03-25T09:31:41Z)
• Lightweight, Dynamic Graph Convolutional Networks for AMR-to-Text Generation [56.73834525802723]
  軽量な動的グラフ畳み込みネットワーク (LDGCN) を提案する。 LDGCNは入力グラフから高次情報を合成することにより、よりリッチな非局所的な相互作用をキャプチャする。 我々は,グループグラフの畳み込みと重み付き畳み込みに基づく2つの新しいパラメータ保存戦略を開発し,メモリ使用量とモデル複雑性を低減する。
  論文  参考訳（メタデータ） (2020-10-09T06:03:46Z)
• Heterogeneous Graph Transformer [49.675064816860505]
  Webスケールの不均一グラフモデリングのための不均一グラフ変換器(HGT)アーキテクチャ 動的ヘテロジニアスグラフを扱うために、HGTに相対時間符号化手法を導入する。 Web スケールのグラフデータを扱うため,ヘテロジニアスなミニバッチグラフサンプリングアルゴリズム--HGSampling--を設計し,効率的かつスケーラブルなトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-03T04:49:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。