論文の概要: Ranking Deep Learning Generalization using Label Variation in Latent
Geometry Graphs
- arxiv url: http://arxiv.org/abs/2011.12737v1
- Date: Wed, 25 Nov 2020 13:49:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 03:23:53.169922
- Title: Ranking Deep Learning Generalization using Label Variation in Latent
Geometry Graphs
- Title(参考訳): ラベル変動を用いた潜在幾何グラフのランク付け深層学習一般化
- Authors: Carlos Lassance, Louis B\'ethune, Myriam Bontonou, Mounia Hamidouche,
Vincent Gripon
- Abstract要約: 本稿では,訓練されたディープニューラルネットワーク(DNN)アーキテクチャの潜在空間を表現するために,Latent Geometry Graphs (LGGs) の利用を提案する。
我々はLGGの異なるクラスの標本がいかに強く結びついているかを調べることで一般化スコアを得る。
このスコアは、NeurIPS 2020 Predicting Generalization in Deep Learning (PGDL)コンペで3位にランクインしました。
- 参考スコア(独自算出の注目度): 4.637328271312329
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Measuring the generalization performance of a Deep Neural Network (DNN)
without relying on a validation set is a difficult task. In this work, we
propose exploiting Latent Geometry Graphs (LGGs) to represent the latent spaces
of trained DNN architectures. Such graphs are obtained by connecting samples
that yield similar latent representations at a given layer of the considered
DNN. We then obtain a generalization score by looking at how strongly connected
are samples of distinct classes in LGGs. This score allowed us to rank 3rd on
the NeurIPS 2020 Predicting Generalization in Deep Learning (PGDL) competition.
- Abstract(参考訳): 検証セットに頼らずにディープニューラルネットワーク(dnn)の一般化性能を測定することは難しい作業である。
本研究では,訓練されたDNNアーキテクチャの潜在空間を表現するために,Latent Geometry Graphs (LGG) の利用を提案する。
このようなグラフは、考慮されたDNNの特定の層で同様の潜在表現をもたらすサンプルを接続することによって得られる。
次にLGGの異なるクラスの標本がいかに強く結びついているかを調べることで一般化スコアを得る。
このスコアは、NeurIPS 2020 Predicting Generalization in Deep Learning (PGDL)コンペで3位にランクインしました。
関連論文リスト
- A Manifold Perspective on the Statistical Generalization of Graph Neural Networks [84.01980526069075]
我々は、スペクトル領域の多様体からサンプリングされたグラフ上のGNNの統計的一般化理論を確立するために多様体の視点を取る。
我々はGNNの一般化境界が対数スケールのグラフのサイズとともに線形に減少し、フィルタ関数のスペクトル連続定数とともに線形的に増加することを証明した。
論文 参考訳(メタデータ) (2024-06-07T19:25:02Z) - Graph Learning with Distributional Edge Layouts [9.52772979855822]
グラフニューラルネットワーク(GNN)は、特定のトポロジ的レイアウト上のエッジに沿って隣接するノード間でローカルメッセージを渡すことによって、グラフ構造化データから学習する。
本稿では,これらのレイアウトを,ボルツマン分布に明示的な物理エネルギーを付加したランゲイン力学を用いて,世界規模でサンプル化できることを初めて提案する。
このようなサンプル/最適化レイアウトの集合は、広いエネルギー分布を捕捉し、WLテストの上に余分な表現性をもたらし、従って下流タスクを緩和することができると論じる。
論文 参考訳(メタデータ) (2024-02-26T08:55:10Z) - Rethinking Propagation for Unsupervised Graph Domain Adaptation [17.443218657417454]
Unlabelled Graph Domain Adaptation (UGDA)は、ラベル付きソースグラフから教師なしターゲットグラフに知識を転送することを目的としている。
本稿では,グラフ領域適応のためのA2GNNというシンプルな手法を提案する。
論文 参考訳(メタデータ) (2024-02-08T13:24:57Z) - T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。
実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
論文 参考訳(メタデータ) (2023-10-05T02:58:29Z) - Graph Neural Networks are Inherently Good Generalizers: Insights by
Bridging GNNs and MLPs [71.93227401463199]
本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。
PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
論文 参考訳(メタデータ) (2022-12-18T08:17:32Z) - Deep Ensembles for Graphs with Higher-order Dependencies [13.164412455321907]
グラフニューラルネットワーク(GNN)は多くのグラフ学習タスクで最先端のパフォーマンスを継続する。
従来のグラフ表現が各ノードの近傍に不適合な傾向は,既存のGNNの一般化に悪影響を及ぼすことを示す。
本稿では,同一ノードの異なる近傍部分空間上でGNNのアンサンブルを訓練することにより,近傍のばらつきを捉える新しいディープグラフアンサンブル(DGE)を提案する。
論文 参考訳(メタデータ) (2022-05-27T14:01:08Z) - A Variational Edge Partition Model for Supervised Graph Representation
Learning [51.30365677476971]
本稿では,重なり合うノード群間の相互作用を集約することで,観測されたエッジがどのように生成されるかをモデル化するグラフ生成プロセスを提案する。
それぞれのエッジを複数のコミュニティ固有の重み付きエッジの和に分割し、コミュニティ固有のGNNを定義する。
エッジを異なるコミュニティに分割するGNNベースの推論ネットワーク,これらのコミュニティ固有のGNN,およびコミュニティ固有のGNNを最終分類タスクに組み合わせたGNNベースの予測器を共同で学習するために,変分推論フレームワークを提案する。
論文 参考訳(メタデータ) (2022-02-07T14:37:50Z) - Graph Neural Networks with Parallel Neighborhood Aggregations for Graph
Classification [14.112444998191698]
グラフニューラルネットワーク(GNN)モデルを用いたグラフ分類に着目し、並列に配置された近傍グラフ演算子のバンクを用いてノード特徴をプリ計算する。
これらのGNNモデルには、事前計算によるトレーニングと推論時間の削減という自然な利点がある。
本研究は,様々な実世界のデータセット上で,開発モデルが最先端の性能を達成することを数値実験により実証する。
論文 参考訳(メタデータ) (2021-11-22T19:19:40Z) - Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。
PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。
PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
論文 参考訳(メタデータ) (2020-11-13T18:53:21Z) - Distance Encoding: Design Provably More Powerful Neural Networks for
Graph Representation Learning [63.97983530843762]
グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。
GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。
より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。
本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
論文 参考訳(メタデータ) (2020-08-31T23:15:40Z) - A Collective Learning Framework to Boost GNN Expressiveness [25.394456460032625]
教師付きおよび半教師付き設定におけるグラフニューラルネットワーク(GNN)を用いた帰納ノード分類の課題を考察する。
本稿では,既存のGNNの表現力を高めるための一般集団学習手法を提案する。
実世界の5つのネットワークデータセットの性能評価を行い、ノード分類精度が一貫した顕著な改善を示した。
論文 参考訳(メタデータ) (2020-03-26T22:07:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。