論文の概要: Asymptotics of Network Embeddings Learned via Subsampling
- arxiv url: http://arxiv.org/abs/2107.02363v1
- Date: Tue, 6 Jul 2021 02:54:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-07 13:53:42.562812
- Title: Asymptotics of Network Embeddings Learned via Subsampling
- Title（参考訳）: サブサンプリングによるネットワーク埋め込みの漸近
- Authors: Andrew Davison and Morgane Austern
- Abstract要約: 本研究では,ノード2vecのようなサブサンプリング手法を用いて,単一の統一フレームワークへの表現手法について検討する。
これは、埋め込みベクトルが何を表現し、これらのメソッドが下流のタスクでいかにうまく機能するかを理解するための理論的基盤を提供する。
特に、一般的に使用される損失関数は、Fisher整合性の欠如などの欠点を引き起こす可能性があることを観察する。
- 参考スコア（独自算出の注目度）: 5.391157046071793
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Network data are ubiquitous in modern machine learning, with tasks of
interest including node classification, node clustering and link prediction. A
frequent approach begins by learning an Euclidean embedding of the network, to
which algorithms developed for vector-valued data are applied. For large
networks, embeddings are learned using stochastic gradient methods where the
sub-sampling scheme can be freely chosen. Despite the strong empirical
performance of such methods, they are not well understood theoretically. Our
work encapsulates representation methods using a subsampling approach, such as
node2vec, into a single unifying framework. We prove, under the assumption that
the graph is exchangeable, that the distribution of the learned embedding
vectors asymptotically decouples. Moreover, we characterize the asymptotic
distribution and provided rates of convergence, in terms of the latent
parameters, which includes the choice of loss function and the embedding
dimension. This provides a theoretical foundation to understand what the
embedding vectors represent and how well these methods perform on downstream
tasks. Notably, we observe that typically used loss functions may lead to
shortcomings, such as a lack of Fisher consistency.
- Abstract（参考訳）: ネットワークデータは、ノード分類、ノードクラスタリング、リンク予測などのタスクを含む、現代の機械学習においてユビキタスである。
頻繁なアプローチは、ベクトル値データのために開発されたアルゴリズムを適用するネットワークのユークリッド埋め込みを学ぶことから始まる。
大規模ネットワークでは、サブサンプリング方式を自由に選択できる確率勾配法を用いて埋め込みを学習する。
このような方法の強い実証的性能にもかかわらず、理論的にはよく理解されていない。
私たちの作品は、node2vecのようなサブサンプリングアプローチを使って表現メソッドを単一の統一フレームワークにカプセル化します。
グラフが交換可能であると仮定すると、学習された埋め込みベクトルの分布は漸近的に分離する。
さらに,損失関数の選択と埋め込み次元を含む潜在パラメータの観点から,漸近分布を特徴付け,収束率を与えた。
これは、埋め込みベクトルが何を表現し、これらのメソッドが下流のタスクでいかにうまく機能するかを理解するための理論的基盤を提供する。
特に、一般的に使用される損失関数は、フィッシャー一貫性の欠如のような欠点をもたらす可能性がある。
関連論文リスト
- Learning A Disentangling Representation For PU Learning [18.94726971543125]
本稿では、ラベルのないデータを2つのクラスタに投影するロス関数を用いて、ニューラルネットワークに基づくデータ表現を学習することを提案する。
提案手法の性能向上を実証する PU データのシミュレーション実験を行った。
論文 参考訳（メタデータ） (2023-10-05T18:33:32Z) - Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。
トラクタブル回路において,これを効率的に計算する方法を示す。
我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文 参考訳（メタデータ） (2023-02-28T00:04:22Z) - Federated Representation Learning via Maximal Coding Rate Reduction [109.26332878050374]
本稿では,複数のクライアントに分散したデータセットから低次元表現を学習する手法を提案する。
提案手法はFLOWと呼ばれ, MCR2を選択の対象とし, その結果, クラス間判別とクラス内圧縮の両方が可能な表現が得られた。
論文 参考訳（メタデータ） (2022-10-01T15:43:51Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2022-02-28T13:01:04Z) - Asymptotics of $\ell_2$ Regularized Network Embeddings [0.0]
ノード分類やリンク予測といったタスクを解決するための一般的なアプローチは、ネットワークのノードのユークリッド埋め込みを学ぶことから始まる。
DeepWalkやnode2vecのような教師なしのランダムウォークメソッドでは、損失に埋め込みベクターに$ell$ペナルティを追加することで、ダウンストリームタスクのパフォーマンスが向上する。
論文 参考訳（メタデータ） (2022-01-05T16:33:14Z) - Bayesian Graph Contrastive Learning [55.36652660268726]
本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。
提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。
いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
論文 参考訳（メタデータ） (2021-12-15T01:45:32Z) - Scaling Up Graph Neural Networks Via Graph Coarsening [18.176326897605225]
グラフニューラルネットワーク(GNN)のスケーラビリティは、マシンラーニングにおける大きな課題のひとつだ。
本稿では,GNNのスケーラブルなトレーニングにグラフ粗大化を用いることを提案する。
既成の粗大化法を単純に適用すれば,分類精度を著しく低下させることなく,ノード数を最大10倍に削減できることを示す。
論文 参考訳（メタデータ） (2021-06-09T15:46:17Z) - Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。
埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。
複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
論文 参考訳（メタデータ） (2020-03-09T13:51:09Z) - Weakly-Supervised Semantic Segmentation by Iterative Affinity Learning [86.45526827323954]
弱教師付きセマンティックセグメンテーションは、トレーニングのためにピクセル単位のラベル情報が提供されないため、難しい課題である。
このようなペア関係を学習するための反復アルゴリズムを提案する。
本稿では,提案アルゴリズムが最先端手法に対して好適に動作することを示す。
論文 参考訳（メタデータ） (2020-02-19T10:32:03Z) - Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks
Trained with the Logistic Loss [0.0]
勾配に基づく手法によるロジスティック(クロスエントロピー)損失を最小限に抑えるために訓練されたニューラルネットワークは、多くの教師付き分類タスクでうまく機能する。
我々は、均一な活性化を伴う無限に広い2層ニューラルネットワークのトレーニングと一般化の挙動を解析する。
論文 参考訳（メタデータ） (2020-02-11T15:42:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。