論文の概要: InfiniteWalk: Deep Network Embeddings as Laplacian Embeddings with a
Nonlinearity
- arxiv url: http://arxiv.org/abs/2006.00094v2
- Date: Tue, 18 Aug 2020 03:30:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-26 23:13:58.941489
- Title: InfiniteWalk: Deep Network Embeddings as Laplacian Embeddings with a
Nonlinearity
- Title（参考訳）: InfiniteWalk: 非線形なラプラシアン埋め込みとしてのディープネットワーク埋め込み
- Authors: Sudhanshu Chanpuriya and Cameron Musco
- Abstract要約: 我々は、T が無限に進むときの極限における目的について研究し、Qiu et al の表現を単純化することができる。
この制限目的がグラフラプラシアンの擬逆の単純な変換を分解することに対応することを証明している。
驚いたことに、ラプラシアン擬似逆数の単純な二項しきい値もしばしば競合する。
- 参考スコア（独自算出の注目度）: 25.7577503312319
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The skip-gram model for learning word embeddings (Mikolov et al. 2013) has
been widely popular, and DeepWalk (Perozzi et al. 2014), among other methods,
has extended the model to learning node representations from networks. Recent
work of Qiu et al. (2018) provides a closed-form expression for the DeepWalk
objective, obviating the need for sampling for small datasets and improving
accuracy. In these methods, the "window size" T within which words or nodes are
considered to co-occur is a key hyperparameter. We study the objective in the
limit as T goes to infinity, which allows us to simplify the expression of Qiu
et al. We prove that this limiting objective corresponds to factoring a simple
transformation of the pseudoinverse of the graph Laplacian, linking DeepWalk to
extensive prior work in spectral graph embeddings. Further, we show that by a
applying a simple nonlinear entrywise transformation to this pseudoinverse, we
recover a good approximation of the finite-T objective and embeddings that are
competitive with those from DeepWalk and other skip-gram methods in multi-label
classification. Surprisingly, we find that even simple binary thresholding of
the Laplacian pseudoinverse is often competitive, suggesting that the core
advancement of recent methods is a nonlinearity on top of the classical
spectral embedding approach.
- Abstract（参考訳）: 単語埋め込み学習のためのスキップグラムモデル (Mikolov et al. 2013) は広く普及しており、DeepWalk (Perozzi et al. 2014) はネットワークからノード表現を学ぶためのモデルを拡張している。
Qiu et al. (2018)の最近の研究は、DeepWalkの目的に対してクローズドフォームの表現を提供し、小さなデータセットのサンプリングの必要性を回避し、精度を向上させる。
これらの方法では、単語やノードが共起と見なされる「ウィンドウサイズ」 t がキーハイパーパラメータである。
我々は、T が無限に進むときの極限における目的について研究し、Qiu et al の表現を単純化することができる。
この制限目的がグラフラプラシアンの擬逆の単純な変換を分解し、ディープウォルクをスペクトルグラフ埋め込みにおける広範な先行研究にリンクすることを証明する。
さらに,この擬似逆変換に単純な非線形エントリワイズ変換を適用することで,多段分類におけるdeepwalkや他のスキップグラム法と競合する有限t目標と埋め込みのよい近似を回復することを示す。
驚くべきことに、ラプラシアン擬逆の単純な二進しきい値でもしばしば競合関係にあり、最近の手法の核となる進歩は古典的なスペクトル埋め込みアプローチの上の非線形性であることを示唆している。
関連論文リスト
- Tilt your Head: Activating the Hidden Spatial-Invariance of Classifiers [0.7704032792820767]
ディープニューラルネットワークは、日々の生活の多くの領域に適用されている。
これらは、空間的に変換された入力信号に頑健に対処するなど、依然として必須の能力が欠如している。
本稿では,ニューラルネットの推論過程をエミュレートする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-05-06T09:47:29Z) - Directional Smoothness and Gradient Methods: Convergence and Adaptivity [16.779513676120096]
我々は、最適化の経路に沿った目的の条件付けに依存する勾配降下に対する新しい準最適境界を開発する。
我々の証明の鍵となるのは方向の滑らかさであり、これは、目的の上のバウンドを開発するために使用する勾配変動の尺度である。
我々は,方向の滑らかさの知識を使わずとも,ポリアクのステップサイズと正規化GDが高速で経路依存の速度を得ることを示した。
論文 参考訳（メタデータ） (2024-03-06T22:24:05Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Towards More Robust Interpretation via Local Gradient Alignment [37.464250451280336]
任意の非負の同質ニューラルネットワークに対して、勾配に対する単純な$ell$-robust criterionは、テクスティノ正規化不変量であることを示す。
我々は,局所勾配の整合性を両立させるために,$ell$とcosine distance-based criteriaを正則化項として組み合わせることを提案する。
我々は,CIFAR-10 と ImageNet-100 でトレーニングしたモデルにより,より堅牢な解釈が得られたことを実験的に示す。
論文 参考訳（メタデータ） (2022-11-29T03:38:28Z) - Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。
勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。
勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文 参考訳（メタデータ） (2022-10-13T15:09:54Z) - Active Labeling: Streaming Stochastic Gradients [91.76135191049232]
部分的監督に基づくアクティブラーニングを一般化する「アクティブラベリング」問題を定式化する。
サンプル数に対する一般化誤差の比率を最小化するストリーミング技術を提案する。
論文 参考訳（メタデータ） (2022-05-26T09:49:16Z) - Channel-Wise Early Stopping without a Validation Set via NNK Polytope
Interpolation [36.479195100553085]
畳み込みニューラルネットワーク(ConvNets)は、複数のチャネルの集約によって形成される高次元の特徴空間からなる。
非次元カーネル回帰(NNK)グラフに基づく新しい一般化推定法であるチャネルワイドDeepNNKを提案する。
論文 参考訳（メタデータ） (2021-07-27T17:33:30Z) - Orthogonalizing Convolutional Layers with the Cayley Transform [83.73855414030646]
直交に制約された畳み込み層をパラメータ化するための代替手法を提案し,評価する。
本手法は,大規模畳み込みにおいても直交性が高次に保たれることを示す。
論文 参考訳（メタデータ） (2021-04-14T23:54:55Z) - Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。
まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。
そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
論文 参考訳（メタデータ） (2020-11-25T14:00:18Z) - Learning Quantized Neural Nets by Coarse Gradient Method for Non-linear
Classification [3.158346511479111]
特定の単調性を持つSTEのクラスを提案し、量子化されたアクティベーション関数を持つ2層ネットワークのトレーニングへの応用について検討する。
提案したSTEに対して,対応する粗度勾配法が大域最小値に収束することを示し,性能保証を確立する。
論文 参考訳（メタデータ） (2020-11-23T07:50:09Z) - Deep Shells: Unsupervised Shape Correspondence with Optimal Transport [52.646396621449]
本稿では,3次元形状対応のための教師なし学習手法を提案する。
提案手法は,複数のデータセット上での最先端技術よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-10-28T22:24:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。