論文の概要: Generative Topological Networks

• arxiv url: http://arxiv.org/abs/2406.15152v3
• Date: Tue, 21 Jan 2025 14:38:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 19:37:18.844695
• Title: Generative Topological Networks
• Title（参考訳）: 生成的トポロジカルネットワーク
• Authors: Alona Levy-Jurgenson, Zohar Yakhini,
• Abstract要約: トポロジ理論に基づく新しい簡易な生成手法について紹介する -- 生成トポロジカルネットワーク(GTN) GTNは訓練が簡単で、標準的な教師付き学習アプローチを採用しており、一般的な発生的落とし穴に苦しむことはない。 GTNsはVAEを改善することができ、収束が早く、初期の時代において現実的なサンプルを生成する。
• 参考スコア（独自算出の注目度）: 1.688134675717698
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative methods have recently seen significant improvements by generating in a lower-dimensional latent representation of the data. However, many of the generative methods applied in the latent space remain complex and difficult to train. Further, it is not entirely clear why transitioning to a lower-dimensional latent space can improve generative quality. In this work, we introduce a new and simple generative method grounded in topology theory -- Generative Topological Networks (GTNs) -- which also provides insights into why lower-dimensional latent-space representations might be better-suited for data generation. GTNs are simple to train -- they employ a standard supervised learning approach and do not suffer from common generative pitfalls such as mode collapse, posterior collapse or the need to pose constraints on the neural network architecture. We demonstrate the use of GTNs on several datasets, including MNIST, CelebA, CIFAR-10 and the Hands and Palm Images dataset by training GTNs on a lower-dimensional latent representation of the data. We show that GTNs can improve upon VAEs and that they are quick to converge, generating realistic samples in early epochs. Further, we use the topological considerations behind the development of GTNs to offer insights into why generative models may benefit from operating on a lower-dimensional latent space, highlighting the important link between the intrinsic dimension of the data and the dimension in which the data is generated. Particularly, we demonstrate that generating in high dimensional ambient spaces may be a contributing factor to out-of-distribution samples generated by diffusion models. We also highlight other topological properties that are important to consider when using and designing generative models. Our code is available at: https://github.com/alonalj/GTN
• Abstract（参考訳）: 生成手法は、データの低次元の潜在表現を生成することで、最近顕著に改善されている。 しかし、潜在空間で適用される生成法の多くは、複雑で訓練が難しいままである。 さらに、なぜ低次元の潜伏空間への移行が生成品質を向上させるのかは明らかになっていない。 本研究では、トポロジ理論に基づく新しい単純な生成手法である生成トポロジカル・ネットワーク(GTN)を導入し、低次元の潜在空間表現がなぜデータ生成に適するのかを考察する。 GTNは訓練が簡単で、標準的な教師付き学習アプローチを採用しており、モード崩壊、後部崩壊、ニューラルネットワークアーキテクチャに制約を加える必要など、一般的な生成的落とし穴に苦しむことはない。 我々は,MNIST,CelebA,CIFAR-10,Hands and Palm Imagesデータセットなど,複数のデータセットにおけるGTNの使用を,低次元の潜在表現に基づくGTNのトレーニングにより実証する。 GTNsはVAEを改善することができ、収束が早く、初期の時代において現実的なサンプルを生成する。 さらに、GTNsの開発の背後にあるトポロジ的考察を用いて、なぜ生成モデルが低次元の潜在空間上での操作から恩恵を受けるのかを考察し、データの本質的次元とデータ生成する次元との間の重要なリンクを強調した。 特に,高次元空間における生成が拡散モデルにより生成された分布外サンプルの寄与要因であることを示す。 また、生成モデルの使用や設計において考慮すべき他のトポロジ的特性も強調する。 私たちのコードは、https://github.com/alonalj/GTNで利用可能です。

関連論文リスト

• Deep Generative Models: Complexity, Dimensionality, and Approximation [18.530164193967945]
  生成ネットワークは低次元入力から高次元データを生成することができることを示す。 本研究は,入力次元と生成ネットワークによるデータ分布のモデル化能力の関係について考察した。 この新たな洞察は、複雑なデータ構造を扱うための生成ネットワークの実用的効果を裏付けるだけでなく、近似誤差、次元性、モデルの複雑さの間の重要なトレードオフを浮き彫りにする。
  論文  参考訳（メタデータ） (2025-04-01T14:07:02Z)
• Reducing Oversmoothing through Informed Weight Initialization in Graph Neural Networks [16.745718346575202]
  本稿では,ノードやグラフの分類タスクにおいて,過度なスムース化を抑える新しいスキーム(G-Init)を提案する。 以上の結果から,新しい手法(G-Init)は深部GNNの過剰なスムース化を低減し,その有効利用を促進することが示唆された。
  論文  参考訳（メタデータ） (2024-10-31T11:21:20Z)
• Spatiotemporal Learning on Cell-embedded Graphs [6.8090864965073274]
  学習可能なセル属性をノードエッジメッセージパッシングプロセスに導入し,地域特性の空間依存性をよりよく把握する。 各種PDEシステムと1つの実世界のデータセットの実験は、CeGNNが他のベースラインモデルと比較して優れた性能を発揮することを示した。
  論文  参考訳（メタデータ） (2024-09-26T16:22:08Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Exploring Geometric Deep Learning For Precipitation Nowcasting [28.44612565923532]
  そこで我々は,降水量予測のための幾何学的深層学習に基づく時間的グラフ畳み込みネットワーク(GCN)を提案する。 格子セル間の相互作用をシミュレートする隣接行列は、予測と接地真理画素値とのL1損失を最小化することにより、自動的に学習される。 トレント/アイタリー地域におけるレーダ反射率マップの配列について実験を行った。
  論文  参考訳（メタデータ） (2023-09-11T21:14:55Z)
• Graph Ladling: Shockingly Simple Parallel GNN Training without Intermediate Communication [100.51884192970499]
  GNNは、グラフを学習するニューラルネットワークの強力なファミリーである。 GNNのスケーリングは、肥大化または拡大によって、不健康な勾配、過度なスムースメント、情報のスカッシングといった問題に悩まされる。 本稿では,現在のGNNの深層化や拡張ではなく,GNNに適したモデルスープをデータ中心の視点で表現することを提案する。
  論文  参考訳（メタデータ） (2023-06-18T03:33:46Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• HINormer: Representation Learning On Heterogeneous Information Networks with Graph Transformer [29.217820912610602]
  グラフトランスフォーマー(GT)は、グラフ全体にわたってもメッセージパッシングがより広範なカバレッジに伝達できるパラダイムで機能する。 ヘテロジニアス情報ネットワーク(HIN)におけるGTの探索はまだ未公開である。 本稿では,ノード表現学習のための大域集約機構を利用するHINormerという新しいモデルを提案する。
  論文  参考訳（メタデータ） (2023-02-22T12:25:07Z)
• Neighborhood Convolutional Network: A New Paradigm of Graph Neural Networks for Node Classification [12.062421384484812]
  グラフ畳み込みネットワーク(GCN)は、各畳み込み層における近傍の集約と特徴変換を分離する。 本稿では,周辺畳み込みネットワーク(NCN)と呼ばれるGCNの新しいパラダイムを提案する。 このようにして、モデルは、近隣情報を集約するための分離GCNの利点を継承すると同時に、より強力な特徴学習モジュールを開発することができる。
  論文  参考訳（メタデータ） (2022-11-15T02:02:51Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Convolutional Neural Networks on Manifolds: From Graphs and Back [122.06927400759021]
  本稿では,多様体畳み込みフィルタと点次非線形性からなる多様体ニューラルネットワーク(MNN)を提案する。 要約すると、我々は大きなグラフの極限として多様体モデルに焦点を合わせ、MNNを構築するが、それでもMNNの離散化によってグラフニューラルネットワークを復活させることができる。
  論文  参考訳（メタデータ） (2022-10-01T21:17:39Z)
• A new hope for network model generalization [66.5377859849467]
  ネットワークトラフィックダイナミクスのための機械学習モデルを一般化することは、失われた原因とみなされる傾向がある。 _Transformer_と呼ばれるMLアーキテクチャは、これまで想像不可能だった他のドメインでの一般化を可能にした。 パケットトレースからネットワークダイナミクスを学習するためのNTT(Network Traffic Transformer)を提案する。
  論文  参考訳（メタデータ） (2022-07-12T21:16:38Z)
• Path Development Network with Finite-dimensional Lie Group Representation [3.9983665898166425]
  有限次元リー群を経由したシーケンシャルデータの表現を利用する,新しい訓練可能な経路開発層を提案する。 提案するレイヤは、リカレントニューラルネットワーク(RNN)に類似しており、勾配問題を緩和する明示的で単純なリカレントユニットを有している。 様々なデータセットにおける実験結果から、開発層は、精度と次元性において、シグネチャ特性を一貫して、著しく上回っていることが示される。
  論文  参考訳（メタデータ） (2022-04-02T02:01:00Z)
• EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
  グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。 この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。 EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2022-02-22T08:16:58Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• Streaming Graph Neural Networks via Continual Learning [31.810308087441445]
  グラフニューラルネットワーク(GNN)は様々なアプリケーションで高いパフォーマンスを実現している。 本稿では,連続学習に基づくストリーミングGNNモデルを提案する。 モデルパラメータを効率的に更新し、モデル再トレーニングに匹敵する性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-23T06:52:30Z)
• Mix Dimension in Poincar\'{e} Geometry for 3D Skeleton-based Action Recognition [57.98278794950759]
  グラフ畳み込みネットワーク(GCN)はすでに、不規則なデータをモデル化する強力な能力を実証している。 本稿では,ポアンカー幾何学を用いて定義した空間時空間GCNアーキテクチャを提案する。 提案手法を,現在最大規模の2つの3次元データセット上で評価する。
  論文  参考訳（メタデータ） (2020-07-30T18:23:18Z)
• GPT-GNN: Generative Pre-Training of Graph Neural Networks [93.35945182085948]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。 生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。 GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-27T20:12:33Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。