Fugu-MT 論文翻訳(概要): Generative Topological Networks

論文の概要: Generative Topological Networks

arxiv url: http://arxiv.org/abs/2406.15152v3
Date: Tue, 21 Jan 2025 14:38:22 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-22 14:18:44.654364
Title: Generative Topological Networks
Title（参考訳）: 生成的トポロジカルネットワーク
Authors: Alona Levy-Jurgenson, Zohar Yakhini,
Abstract要約: トポロジ理論に基づく新しい簡易な生成手法について紹介する -- 生成トポロジカルネットワーク(GTN) GTNは訓練が簡単で、標準的な教師付き学習アプローチを採用しており、一般的な発生的落とし穴に苦しむことはない。 GTNsはVAEを改善することができ、収束が早く、初期の時代において現実的なサンプルを生成する。
参考スコア（独自算出の注目度）: 1.688134675717698
License:
Abstract: Generative methods have recently seen significant improvements by generating in a lower-dimensional latent representation of the data. However, many of the generative methods applied in the latent space remain complex and difficult to train. Further, it is not entirely clear why transitioning to a lower-dimensional latent space can improve generative quality. In this work, we introduce a new and simple generative method grounded in topology theory -- Generative Topological Networks (GTNs) -- which also provides insights into why lower-dimensional latent-space representations might be better-suited for data generation. GTNs are simple to train -- they employ a standard supervised learning approach and do not suffer from common generative pitfalls such as mode collapse, posterior collapse or the need to pose constraints on the neural network architecture. We demonstrate the use of GTNs on several datasets, including MNIST, CelebA, CIFAR-10 and the Hands and Palm Images dataset by training GTNs on a lower-dimensional latent representation of the data. We show that GTNs can improve upon VAEs and that they are quick to converge, generating realistic samples in early epochs. Further, we use the topological considerations behind the development of GTNs to offer insights into why generative models may benefit from operating on a lower-dimensional latent space, highlighting the important link between the intrinsic dimension of the data and the dimension in which the data is generated. Particularly, we demonstrate that generating in high dimensional ambient spaces may be a contributing factor to out-of-distribution samples generated by diffusion models. We also highlight other topological properties that are important to consider when using and designing generative models. Our code is available at: https://github.com/alonalj/GTN
Abstract（参考訳）: 生成手法は、データの低次元の潜在表現を生成することで、最近顕著に改善されている。しかし、潜在空間で適用される生成法の多くは、複雑で訓練が難しいままである。さらに、なぜ低次元の潜伏空間への移行が生成品質を向上させるのかは明らかになっていない。本研究では、トポロジ理論に基づく新しい単純な生成手法である生成トポロジカル・ネットワーク(GTN)を導入し、低次元の潜在空間表現がなぜデータ生成に適するのかを考察する。 GTNは訓練が簡単で、標準的な教師付き学習アプローチを採用しており、モード崩壊、後部崩壊、ニューラルネットワークアーキテクチャに制約を加える必要など、一般的な生成的落とし穴に苦しむことはない。我々は,MNIST,CelebA,CIFAR-10,Hands and Palm Imagesデータセットなど,複数のデータセットにおけるGTNの使用を,低次元の潜在表現に基づくGTNのトレーニングにより実証する。 GTNsはVAEを改善することができ、収束が早く、初期の時代において現実的なサンプルを生成する。さらに、GTNsの開発の背後にあるトポロジ的考察を用いて、なぜ生成モデルが低次元の潜在空間上での操作から恩恵を受けるのかを考察し、データの本質的次元とデータ生成する次元との間の重要なリンクを強調した。特に,高次元空間における生成が拡散モデルにより生成された分布外サンプルの寄与要因であることを示す。また、生成モデルの使用や設計において考慮すべき他のトポロジ的特性も強調する。私たちのコードは、https://github.com/alonalj/GTNで利用可能です。

関連論文リスト

DiRW: Path-Aware Digraph Learning for Heterophily [23.498557237805414]
グラフニューラルネットワーク(GNN)は、グラフ構造化データのための強力な表現学習ツールとして登場した。我々は,プラグイン・アンド・プレイ戦略や革新的なニューラルアーキテクチャとみなすことができるDirected Random Walk (DiRW)を提案する。 DiRWには、歩行確率、長さ、および数の観点から最適化された方向対応パスサンプリング器が組み込まれている。
論文参考訳（メタデータ） (2024-10-14T09:26:56Z)
Spatiotemporal Learning on Cell-embedded Graphs [6.8090864965073274]
学習可能なセル属性をノードエッジメッセージパッシングプロセスに導入し,地域特性の空間依存性をよりよく把握する。各種PDEシステムと1つの実世界のデータセットの実験は、CeGNNが他のベースラインモデルと比較して優れた性能を発揮することを示した。
論文参考訳（メタデータ） (2024-09-26T16:22:08Z)
Exploring Geometric Deep Learning For Precipitation Nowcasting [28.44612565923532]
そこで我々は,降水量予測のための幾何学的深層学習に基づく時間的グラフ畳み込みネットワーク(GCN)を提案する。格子セル間の相互作用をシミュレートする隣接行列は、予測と接地真理画素値とのL1損失を最小化することにより、自動的に学習される。トレント/アイタリー地域におけるレーダ反射率マップの配列について実験を行った。
論文参考訳（メタデータ） (2023-09-11T21:14:55Z)
VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文参考訳（メタデータ） (2023-04-03T13:13:19Z)
HINormer: Representation Learning On Heterogeneous Information Networks with Graph Transformer [29.217820912610602]
グラフトランスフォーマー(GT)は、グラフ全体にわたってもメッセージパッシングがより広範なカバレッジに伝達できるパラダイムで機能する。ヘテロジニアス情報ネットワーク(HIN)におけるGTの探索はまだ未公開である。本稿では,ノード表現学習のための大域集約機構を利用するHINormerという新しいモデルを提案する。
論文参考訳（メタデータ） (2023-02-22T12:25:07Z)
Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2022-10-25T14:45:15Z)
Convolutional Neural Networks on Manifolds: From Graphs and Back [122.06927400759021]
本稿では,多様体畳み込みフィルタと点次非線形性からなる多様体ニューラルネットワーク(MNN)を提案する。要約すると、我々は大きなグラフの極限として多様体モデルに焦点を合わせ、MNNを構築するが、それでもMNNの離散化によってグラフニューラルネットワークを復活させることができる。
論文参考訳（メタデータ） (2022-10-01T21:17:39Z)
Path Development Network with Finite-dimensional Lie Group Representation [3.9983665898166425]
有限次元リー群を経由したシーケンシャルデータの表現を利用する,新しい訓練可能な経路開発層を提案する。提案するレイヤは、リカレントニューラルネットワーク(RNN)に類似しており、勾配問題を緩和する明示的で単純なリカレントユニットを有している。様々なデータセットにおける実験結果から、開発層は、精度と次元性において、シグネチャ特性を一貫して、著しく上回っていることが示される。
論文参考訳（メタデータ） (2022-04-02T02:01:00Z)
EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。 EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
論文参考訳（メタデータ） (2022-02-22T08:16:58Z)
Mix Dimension in Poincar\'{e} Geometry for 3D Skeleton-based Action Recognition [57.98278794950759]
グラフ畳み込みネットワーク(GCN)はすでに、不規則なデータをモデル化する強力な能力を実証している。本稿では,ポアンカー幾何学を用いて定義した空間時空間GCNアーキテクチャを提案する。提案手法を,現在最大規模の2つの3次元データセット上で評価する。
論文参考訳（メタデータ） (2020-07-30T18:23:18Z)
Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。