論文の概要: Generative Topological Networks

• arxiv url: http://arxiv.org/abs/2406.15152v3
• Date: Tue, 21 Jan 2025 14:38:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:18:44.654364
• Title: Generative Topological Networks
• Title（参考訳）: 生成的トポロジカルネットワーク
• Authors: Alona Levy-Jurgenson, Zohar Yakhini,
• Abstract要約: トポロジ理論に基づく新しい簡易な生成手法について紹介する -- 生成トポロジカルネットワーク(GTN) GTNは訓練が簡単で、標準的な教師付き学習アプローチを採用しており、一般的な発生的落とし穴に苦しむことはない。 GTNsはVAEを改善することができ、収束が早く、初期の時代において現実的なサンプルを生成する。
• 参考スコア（独自算出の注目度）: 1.688134675717698
• License:
• Abstract: Generative methods have recently seen significant improvements by generating in a lower-dimensional latent representation of the data. However, many of the generative methods applied in the latent space remain complex and difficult to train. Further, it is not entirely clear why transitioning to a lower-dimensional latent space can improve generative quality. In this work, we introduce a new and simple generative method grounded in topology theory -- Generative Topological Networks (GTNs) -- which also provides insights into why lower-dimensional latent-space representations might be better-suited for data generation. GTNs are simple to train -- they employ a standard supervised learning approach and do not suffer from common generative pitfalls such as mode collapse, posterior collapse or the need to pose constraints on the neural network architecture. We demonstrate the use of GTNs on several datasets, including MNIST, CelebA, CIFAR-10 and the Hands and Palm Images dataset by training GTNs on a lower-dimensional latent representation of the data. We show that GTNs can improve upon VAEs and that they are quick to converge, generating realistic samples in early epochs. Further, we use the topological considerations behind the development of GTNs to offer insights into why generative models may benefit from operating on a lower-dimensional latent space, highlighting the important link between the intrinsic dimension of the data and the dimension in which the data is generated. Particularly, we demonstrate that generating in high dimensional ambient spaces may be a contributing factor to out-of-distribution samples generated by diffusion models. We also highlight other topological properties that are important to consider when using and designing generative models. Our code is available at: https://github.com/alonalj/GTN
• Abstract（参考訳）: 生成手法は、データの低次元の潜在表現を生成することで、最近顕著に改善されている。 しかし、潜在空間で適用される生成法の多くは、複雑で訓練が難しいままである。 さらに、なぜ低次元の潜伏空間への移行が生成品質を向上させるのかは明らかになっていない。 本研究では、トポロジ理論に基づく新しい単純な生成手法である生成トポロジカル・ネットワーク(GTN)を導入し、低次元の潜在空間表現がなぜデータ生成に適するのかを考察する。 GTNは訓練が簡単で、標準的な教師付き学習アプローチを採用しており、モード崩壊、後部崩壊、ニューラルネットワークアーキテクチャに制約を加える必要など、一般的な生成的落とし穴に苦しむことはない。 我々は,MNIST,CelebA,CIFAR-10,Hands and Palm Imagesデータセットなど,複数のデータセットにおけるGTNの使用を,低次元の潜在表現に基づくGTNのトレーニングにより実証する。 GTNsはVAEを改善することができ、収束が早く、初期の時代において現実的なサンプルを生成する。 さらに、GTNsの開発の背後にあるトポロジ的考察を用いて、なぜ生成モデルが低次元の潜在空間上での操作から恩恵を受けるのかを考察し、データの本質的次元とデータ生成する次元との間の重要なリンクを強調した。 特に,高次元空間における生成が拡散モデルにより生成された分布外サンプルの寄与要因であることを示す。 また、生成モデルの使用や設計において考慮すべき他のトポロジ的特性も強調する。 私たちのコードは、https://github.com/alonalj/GTNで利用可能です。

関連論文リスト

• Reducing Oversmoothing through Informed Weight Initialization in Graph Neural Networks [16.745718346575202]
  本稿では,ノードやグラフの分類タスクにおいて,過度なスムース化を抑える新しいスキーム(G-Init)を提案する。 以上の結果から,新しい手法(G-Init)は深部GNNの過剰なスムース化を低減し,その有効利用を促進することが示唆された。
  論文  参考訳（メタデータ） (2024-10-31T11:21:20Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Graph Ladling: Shockingly Simple Parallel GNN Training without Intermediate Communication [100.51884192970499]
  GNNは、グラフを学習するニューラルネットワークの強力なファミリーである。 GNNのスケーリングは、肥大化または拡大によって、不健康な勾配、過度なスムースメント、情報のスカッシングといった問題に悩まされる。 本稿では,現在のGNNの深層化や拡張ではなく,GNNに適したモデルスープをデータ中心の視点で表現することを提案する。
  論文  参考訳（メタデータ） (2023-06-18T03:33:46Z)
• Neighborhood Convolutional Network: A New Paradigm of Graph Neural Networks for Node Classification [12.062421384484812]
  グラフ畳み込みネットワーク(GCN)は、各畳み込み層における近傍の集約と特徴変換を分離する。 本稿では,周辺畳み込みネットワーク(NCN)と呼ばれるGCNの新しいパラダイムを提案する。 このようにして、モデルは、近隣情報を集約するための分離GCNの利点を継承すると同時に、より強力な特徴学習モジュールを開発することができる。
  論文  参考訳（メタデータ） (2022-11-15T02:02:51Z)
• A new hope for network model generalization [66.5377859849467]
  ネットワークトラフィックダイナミクスのための機械学習モデルを一般化することは、失われた原因とみなされる傾向がある。 _Transformer_と呼ばれるMLアーキテクチャは、これまで想像不可能だった他のドメインでの一般化を可能にした。 パケットトレースからネットワークダイナミクスを学習するためのNTT(Network Traffic Transformer)を提案する。
  論文  参考訳（メタデータ） (2022-07-12T21:16:38Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• Streaming Graph Neural Networks via Continual Learning [31.810308087441445]
  グラフニューラルネットワーク(GNN)は様々なアプリケーションで高いパフォーマンスを実現している。 本稿では,連続学習に基づくストリーミングGNNモデルを提案する。 モデルパラメータを効率的に更新し、モデル再トレーニングに匹敵する性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-23T06:52:30Z)
• GPT-GNN: Generative Pre-Training of Graph Neural Networks [93.35945182085948]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。 生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。 GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-27T20:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。