論文の概要: Cross-Domain Graph Data Scaling: A Showcase with Diffusion Models

• arxiv url: http://arxiv.org/abs/2406.01899v2
• Date: Thu, 17 Oct 2024 19:56:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:22:16.804909
• Title: Cross-Domain Graph Data Scaling: A Showcase with Diffusion Models
• Title（参考訳）: クロスドメイングラフデータスケーリング - 拡散モデルを用いたケース
• Authors: Wenzhuo Tang, Haitao Mao, Danial Dervovic, Ivan Brugere, Saumitra Mishra, Yuying Xie, Jiliang Tang,
• Abstract要約: 拡散モデル上に構築された普遍グラフ構造拡張器UniAugを提案する。 まず、各領域にまたがる数千のグラフ上の離散拡散モデルを事前学習し、グラフ構造パターンを学習する。 下流相では,事前学習拡散モデルの助けを借りて,グラフ構造拡張を施すことにより適応的な拡張を提供する。
• 参考スコア（独自算出の注目度）: 32.46165651743604
• License:
• Abstract: Models for natural language and images benefit from data scaling behavior: the more data fed into the model, the better they perform. This 'better with more' phenomenon enables the effectiveness of large-scale pre-training on vast amounts of data. However, current graph pre-training methods struggle to scale up data due to heterogeneity across graphs. To achieve effective data scaling, we aim to develop a general model that is able to capture diverse data patterns of graphs and can be utilized to adaptively help the downstream tasks. To this end, we propose UniAug, a universal graph structure augmentor built on a diffusion model. We first pre-train a discrete diffusion model on thousands of graphs across domains to learn the graph structural patterns. In the downstream phase, we provide adaptive enhancement by conducting graph structure augmentation with the help of the pre-trained diffusion model via guided generation. By leveraging the pre-trained diffusion model for structure augmentation, we consistently achieve performance improvements across various downstream tasks in a plug-and-play manner. To the best of our knowledge, this study represents the first demonstration of a data-scaling graph structure augmentor on graphs across domains.
• Abstract（参考訳）: 自然言語とイメージのモデルは、データスケーリングの振る舞いの恩恵を受けます。 この"Better with more"現象は、大量のデータに対する大規模な事前トレーニングの有効性を実現する。 しかし、現在のグラフ事前学習手法は、グラフ間の不均一性によるデータのスケールアップに苦慮している。 効率的なデータスケーリングを実現するために、グラフの多様なデータパターンをキャプチャし、下流のタスクを適応的に支援できる汎用モデルを開発することを目的とする。 この目的のために,拡散モデル上に構築された普遍グラフ構造拡張器UniAugを提案する。 まず、各領域にまたがる数千のグラフ上の離散拡散モデルを事前学習し、グラフ構造パターンを学習する。 下流相では、誘導生成による事前学習拡散モデルの助けを借りて、グラフ構造拡張を行い、適応的な拡張を提供する。 事前学習した拡散モデルを用いて,様々な下流タスクに対して,プラグイン・アンド・プレイ方式で連続的に性能改善を行う。 我々の知る限り、この研究はドメイン間のグラフ上のデータスケーリンググラフ構造拡張器の最初の実演である。

関連論文リスト

• AnyGraph: Graph Foundation Model in the Wild [16.313146933922752]
  グラフ基盤モデルは、グラフデータから堅牢で一般化可能な表現を学ぶ可能性を提供します。 本研究では,主要な課題に対処するために設計された統一グラフモデルであるAnyGraphについて検討する。 多様な38のグラフデータセットに対する実験は、AnyGraphの強力なゼロショット学習性能を実証した。
  論文  参考訳（メタデータ） (2024-08-20T09:57:13Z)
• GraphFM: A Scalable Framework for Multi-Graph Pretraining [2.882104808886318]
  本稿では,さまざまな領域のグラフデータセットにまたがるノード分類タスクに適した,スケーラブルなマルチグラフ・マルチタスク事前学習手法を提案する。 我々は,740万以上のノードと1億1900万のエッジからなる152のグラフデータセットのモデルをトレーニングすることで,このアプローチの有効性を実証する。 以上の結果から,多種多様な実・合成グラフの事前学習により適応性と安定性が向上し,最先端のスペシャリストモデルと競合する結果が得られた。
  論文  参考訳（メタデータ） (2024-07-16T16:51:43Z)
• Generative Expansion of Small Datasets: An Expansive Graph Approach [13.053285552524052]
  最小限のサンプルから大規模で情報豊富なデータセットを生成する拡張合成モデルを提案する。 自己アテンション層と最適なトランスポートを持つオートエンコーダは、分散一貫性を洗練させる。 結果は同等のパフォーマンスを示し、モデルがトレーニングデータを効果的に増強する可能性を示している。
  論文  参考訳（メタデータ） (2024-06-25T02:59:02Z)
• Through the Dual-Prism: A Spectral Perspective on Graph Data Augmentation for Graph Classification [71.36575018271405]
  本稿では,DP-NoiseとDP-Maskを組み合わせたDual-Prism(DP)拡張手法を提案する。 低周波固有値の変動を保ちながら、拡張グラフを生成する際に、臨界特性を大規模に保存できることが判明した。
  論文  参考訳（メタデータ） (2024-01-18T12:58:53Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• Graph-Aware Language Model Pre-Training on a Large Graph Corpus Can Help Multiple Graph Applications [38.83545631999851]
  大規模グラフコーパス上で事前学習を行うグラフ対応言語モデルのフレームワークを提案する。 Amazonの実際の内部データセットと大規模な公開データセットに関する実験を行います。
  論文  参考訳（メタデータ） (2023-06-05T04:46:44Z)
• Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
  コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。 近年の研究では、グラフ表現学習における事前学習の有用性が示されている。 本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
  論文  参考訳（メタデータ） (2023-02-06T16:26:29Z)
• Generative Diffusion Models on Graphs: Methods and Applications [50.44334458963234]
  拡散モデルは、新しい生成パラダイムとして、様々な画像生成タスクにおいて顕著な成功を収めた。 グラフ生成は多くの実世界のアプリケーションを持つグラフ上で重要な計算タスクである。
  論文  参考訳（メタデータ） (2023-02-06T06:58:17Z)
• Data Augmentation for Deep Graph Learning: A Survey [66.04015540536027]
  まず,グラフデータ拡張のための分類法を提案し,その拡張情報モダリティに基づいて関連研究を分類し,構造化されたレビューを提供する。 DGLにおける2つの課題(すなわち、最適グラフ学習と低リソースグラフ学習)に焦点を当て、グラフデータ拡張に基づく既存の学習パラダイムについて議論し、レビューする。
  論文  参考訳（メタデータ） (2022-02-16T18:30:33Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。