論文の概要: Directional diffusion models for graph representation learning

• arxiv url: http://arxiv.org/abs/2306.13210v1
• Date: Thu, 22 Jun 2023 21:27:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-26 14:04:27.288667
• Title: Directional diffusion models for graph representation learning
• Title（参考訳）: グラフ表現学習のための方向拡散モデル
• Authors: Run Yang, Yuling Yang, Fan Zhou, Qiang Sun
• Abstract要約: 我々は方向拡散モデルと呼ばれる新しいモデルのクラスを提案する。 これらのモデルは前方拡散過程にデータ依存、異方性、指向性ノイズを含む。 我々は,2つのグラフ表現学習タスクに焦点をあてて,12の公開データセットに関する広範な実験を行った。
• 参考スコア（独自算出の注目度）: 9.457273750874357
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, diffusion models have achieved remarkable success in various domains of artificial intelligence, such as image synthesis, super-resolution, and 3D molecule generation. However, the application of diffusion models in graph learning has received relatively little attention. In this paper, we address this gap by investigating the use of diffusion models for unsupervised graph representation learning. We begin by identifying the anisotropic structures of graphs and a crucial limitation of the vanilla forward diffusion process in learning anisotropic structures. This process relies on continuously adding an isotropic Gaussian noise to the data, which may convert the anisotropic signals to noise too quickly. This rapid conversion hampers the training of denoising neural networks and impedes the acquisition of semantically meaningful representations in the reverse process. To address this challenge, we propose a new class of models called {\it directional diffusion models}. These models incorporate data-dependent, anisotropic, and directional noises in the forward diffusion process. To assess the efficacy of our proposed models, we conduct extensive experiments on 12 publicly available datasets, focusing on two distinct graph representation learning tasks. The experimental results demonstrate the superiority of our models over state-of-the-art baselines, indicating their effectiveness in capturing meaningful graph representations. Our studies not only provide valuable insights into the forward process of diffusion models but also highlight the wide-ranging potential of these models for various graph-related tasks.
• Abstract（参考訳）: 近年、拡散モデルは画像合成、超解像、および3d分子生成といった様々な分野の人工知能において顕著な成功を収めている。 しかし,グラフ学習における拡散モデルの適用はあまり注目されていない。 本稿では,教師なしグラフ表現学習における拡散モデルの適用について検討し,このギャップに対処する。 まず,グラフの異方性構造を同定し,異方性構造学習におけるバニラ前方拡散過程の重要な限界を明らかにする。 このプロセスは、データに等方性ガウスノイズを連続的に付加することに依存しており、異方性信号があまりにも早くノイズに変換される可能性がある。 この急速な変換は、ニューラルネットのノイズ化のトレーニングを阻害し、リバースプロセスにおける意味論的表現の獲得を妨げる。 この課題に対処するため、我々は {\it方向拡散モデルと呼ばれる新しいモデルのクラスを提案する。 これらのモデルは前方拡散過程にデータ依存、異方性、指向性ノイズを含む。 提案モデルの有効性を評価するため,2つの異なるグラフ表現学習タスクに着目し,12個の公開データセットに対して広範な実験を行った。 実験の結果,最先端のベースラインよりもモデルの優位性が示され,有意義なグラフ表現をキャプチャする上での有効性が示された。 我々の研究は拡散モデルの前進過程に関する貴重な知見を提供するだけでなく、これらのモデルの様々なグラフ関連タスクに対する広範なポテンシャルも強調する。

関連論文リスト

• Diffusion Models and Representation Learning: A Survey [3.8861148837000856]
  本調査では,拡散モデルと表現学習の相互作用について検討する。 これは、数学的基礎を含む拡散モデルの本質的な側面の概要を提供する。 拡散モデルと表現学習に関する様々なアプローチについて詳述する。
  論文  参考訳（メタデータ） (2024-06-30T17:59:58Z)
• An Overview of Diffusion Models: Applications, Guided Generation, Statistical Rates and Optimization [59.63880337156392]
  拡散モデルはコンピュータビジョン、オーディオ、強化学習、計算生物学において大きな成功を収めた。 経験的成功にもかかわらず、拡散モデルの理論は非常に限定的である。 本稿では,前向きな理論や拡散モデルの手法を刺激する理論的露光について述べる。
  論文  参考訳（メタデータ） (2024-04-11T14:07:25Z)
• Training Class-Imbalanced Diffusion Model Via Overlap Optimization [55.96820607533968]
  実世界のデータセットで訓練された拡散モデルは、尾クラスの忠実度が劣ることが多い。 拡散モデルを含む深い生成モデルは、豊富な訓練画像を持つクラスに偏りがある。 本研究では,異なるクラスに対する合成画像の分布の重複を最小限に抑えるために,コントラスト学習に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-02-16T16:47:21Z)
• Diffusion-based Graph Generative Methods [51.04666253001781]
  拡散に基づくグラフ生成法について,系統的,包括的に検討した。 まず,拡散モデル,スコアベース生成モデル,微分方程式の3つの主流パラダイムについて概説する。 最後に,現在の研究の限界と今後の探査の方向性を指摘する。
  論文  参考訳（メタデータ） (2024-01-28T10:09:05Z)
• Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
  ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。 本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-14T11:19:11Z)
• DAG: Depth-Aware Guidance with Denoising Diffusion Probabilistic Models [23.70476220346754]
  拡散モデルの豊かな中間表現から得られた推定深度情報を利用する拡散モデルのための新しいガイダンス手法を提案する。 実験と広範囲にわたるアブレーション研究により,幾何学的に妥当な画像生成に向けた拡散モデルの導出における本手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-12-17T12:47:19Z)
• Fast Graph Generative Model via Spectral Diffusion [38.31052833073743]
  空間全体におけるフルランク拡散SDEの実行は、学習グラフトポロジ生成からの拡散モデルを妨げると論じる。 グラフスペクトル空間上の低ランク拡散SDEによって駆動される効率的なグラフスペクトル拡散モデル(GSDM)を提案する。
  論文  参考訳（メタデータ） (2022-11-16T12:56:32Z)
• Diffusion Models in Vision: A Survey [80.82832715884597]
  拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。 拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
  論文  参考訳（メタデータ） (2022-09-10T22:00:30Z)
• A Survey on Generative Diffusion Model [75.93774014861978]
  拡散モデルは、深層生成モデルの新たなクラスである。 時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。 本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
  論文  参考訳（メタデータ） (2022-09-06T16:56:21Z)
• Diffusion Models: A Comprehensive Survey of Methods and Applications [10.557289965753437]
  拡散モデル(英: Diffusion model)は、密度理論の確立を伴う様々なタスクにおいて印象的な結果を示す深層生成モデルのクラスである。 近年,拡散モデルの性能向上への熱意が高まっている。
  論文  参考訳（メタデータ） (2022-09-02T02:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。