論文の概要: Relating graph auto-encoders to linear models

• arxiv url: http://arxiv.org/abs/2211.01858v2
• Date: Thu, 30 Nov 2023 13:01:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 23:36:24.229328
• Title: Relating graph auto-encoders to linear models
• Title（参考訳）: グラフオートエンコーダと線形モデルの関係
• Authors: Solveig Klepper and Ulrike von Luxburg
• Abstract要約: 線形埋め込みモデルはグラフ畳み込みネットワークに基づくグラフオートエンコーダの少なくとも表現力を有することを示す。 1つの理由は、線形解空間を積極的に制限することは、学習と一般化を改善するのに役立つ帰納的バイアスをもたらす可能性があるからである。
• 参考スコア（独自算出の注目度）: 10.034992685636055
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph auto-encoders are widely used to construct graph representations in Euclidean vector spaces. However, it has already been pointed out empirically that linear models on many tasks can outperform graph auto-encoders. In our work, we prove that the solution space induced by graph auto-encoders is a subset of the solution space of a linear map. This demonstrates that linear embedding models have at least the representational power of graph auto-encoders based on graph convolutional networks. So why are we still using nonlinear graph auto-encoders? One reason could be that actively restricting the linear solution space might introduce an inductive bias that helps improve learning and generalization. While many researchers believe that the nonlinearity of the encoder is the critical ingredient towards this end, we instead identify the node features of the graph as a more powerful inductive bias. We give theoretical insights by introducing a corresponding bias in a linear model and analyzing the change in the solution space. Our experiments are aligned with other empirical work on this question and show that the linear encoder can outperform the nonlinear encoder when using feature information.
• Abstract（参考訳）: グラフオートエンコーダはユークリッドベクトル空間におけるグラフ表現を構築するために広く用いられている。 しかし、多くのタスク上の線形モデルがグラフオートエンコーダより優れていることが実証的に指摘されている。 本研究では,グラフオートエンコーダによって誘導される解空間が線形写像の解空間のサブセットであることを証明する。 これは、線形埋め込みモデルがグラフ畳み込みネットワークに基づくグラフオートエンコーダの表現力を持つことを示す。 ではなぜ非線形グラフオートエンコーダをまだ使っているのか? 一つの理由は、線形解空間を積極的に制限することで、学習と一般化を改善する帰納的バイアスをもたらす可能性があることである。 多くの研究者はこの目的に向けてエンコーダの非線形性が重要な要素であると信じているが、グラフのノード特徴をより強力な帰納バイアスとみなす。 線形モデルに対応するバイアスを導入し、解空間の変化を分析することによって理論的洞察を与える。 本実験は, 線形エンコーダが特徴情報を用いた場合, 非線形エンコーダよりも優れていることを示す。

関連論文リスト

• Graph Transformers Dream of Electric Flow [72.06286909236827]
  グラフデータに適用された線形変換器は、正準問題を解くアルゴリズムを実装可能であることを示す。 そこで我々は,これらのグラフアルゴリズムをそれぞれ実装するための明示的な重み設定を提案し,基礎となるアルゴリズムの誤差によって構築したトランスフォーマーの誤差を限定する。
  論文  参考訳（メタデータ） (2024-10-22T05:11:45Z)
• Gradient-Based Spectral Embeddings of Random Dot Product Graphs [7.612218105739107]
  本稿では,RDPG (Random Dot Product Graph) の組込み問題の解法について述べる。 そこで我々は, 結果の多様体に対して, 実現可能な新しい最適化手法を開発した。 当社のオープンソースアルゴリズムの実装はスケーラブルで、エッジデータに欠ける堅牢さと異なり、ストリーミンググラフからゆっくりと、潜伏した位置を追跡することができます。
  論文  参考訳（メタデータ） (2023-07-25T21:09:55Z)
• It's Enough: Relaxing Diagonal Constraints in Linear Autoencoders for Recommendation [4.8802420827610025]
  本稿では,線形オートエンコーダにおける2項の性質を理論的に理解することを目的とする。 本稿では,RLAE(Relaxed Linear AutoEncoder)とRDLAE(Relaxed Denoising Linear AutoEncoder)と呼ばれる,対角不等式制約を用いた単純なyet効率の線形オートエンコーダモデルを提案する。 実験の結果、我々のモデルは6つのベンチマークデータセット上で、最先端の線形モデルと非線形モデルに匹敵するか、優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-22T11:09:49Z)
• Graph Kernel Neural Networks [53.91024360329517]
  本稿では、グラフ上の内部積を計算するカーネル関数であるグラフカーネルを用いて、標準畳み込み演算子をグラフ領域に拡張することを提案する。 これにより、入力グラフの埋め込みを計算する必要のない完全に構造的なモデルを定義することができる。 私たちのアーキテクチャでは,任意の種類のグラフカーネルをプラグインすることが可能です。
  論文  参考訳（メタデータ） (2021-12-14T14:48:08Z)
• Transferability Properties of Graph Neural Networks [125.71771240180654]
  グラフニューラルネットワーク(GNN)は、中規模グラフでサポートされているデータから表現を学ぶのに成功している。 適度な大きさのグラフ上でGNNを訓練し、それらを大規模グラフに転送する問題について検討する。 その結果, (i) グラフサイズに応じて転送誤差が減少し, (ii) グラフフィルタは非線型性の散乱挙動によってGNNにおいて緩和されるような転送可能性-識別可能性トレードオフを有することがわかった。
  論文  参考訳（メタデータ） (2021-12-09T00:08:09Z)
• On the Regularization of Autoencoders [14.46779433267854]
  教師なし設定自体が、学習されたオートエンコーダのモデル容量の大幅な削減という、強い正規化を誘導することを示す。 深部非線形オートエンコーダは、両方のモデルが最終層に同じ次元を持つ場合、線形オートエンコーダよりも正確にトレーニングデータに適合できない。 3つのよく知られたデータセットに対する実験において、すべてのモデルランクに対して正確な近似であることを示す。
  論文  参考訳（メタデータ） (2021-10-21T18:28:25Z)
• Learning Graphon Autoencoders for Generative Graph Modeling [91.32624399902755]
  Graphonは任意のサイズでグラフを生成する非パラメトリックモデルであり、グラフから簡単に誘導できる。 解析可能でスケーラブルなグラフ生成モデルを構築するために,textitgraphon autoencoder という新しいフレームワークを提案する。 線形グルーポン分解モデルはデコーダとして機能し、潜在表現を活用して誘導されたグルーポンを再構成する。
  論文  参考訳（メタデータ） (2021-05-29T08:11:40Z)
• Dirichlet Graph Variational Autoencoder [65.94744123832338]
  本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。 バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
  論文  参考訳（メタデータ） (2020-10-09T07:35:26Z)
• AEGCN: An Autoencoder-Constrained Graph Convolutional Network [5.023274927781062]
  本稿では,オートエンコーダ制約付きグラフ畳み込みネットワークと呼ばれる新しいニューラルネットワークアーキテクチャを提案する。 このモデルのコアはグラフ上で直接動作する畳み込みネットワークであり、隠れた層はオートエンコーダによって制約される。 オートエンコーダの制約を追加することで,グラフ畳み込みネットワークの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-07-03T16:42:55Z)
• Auto-decoding Graphs [91.3755431537592]
  生成モデルは、潜在コードからグラフを合成することを学ぶ自動デコーダである。 グラフは、おそらく接続パターンを特定するためにトレーニングされた自己アテンションモジュールを使用して合成される。
  論文  参考訳（メタデータ） (2020-06-04T14:23:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。