論文の概要: Attraction-Repulsion Spectrum in Neighbor Embeddings
- arxiv url: http://arxiv.org/abs/2007.08902v4
- Date: Tue, 18 Oct 2022 14:27:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-09 13:12:28.985923
- Title: Attraction-Repulsion Spectrum in Neighbor Embeddings
- Title(参考訳): 近傍埋め込みにおけるアトラクション-反発スペクトル
- Authors: Jan Niklas B\"ohm, Philipp Berens, Dmitry Kobak
- Abstract要約: 隣の埋め込みアルゴリズムは、隣接する一対の点間の魅力的な力と全ての点間の反発力を組み合わせる。
ここでは、誇張パラメータを用いたt-SNEの魅力と反発力のバランスの変化が、埋め込みのスペクトルをもたらすことを実証的に示す。
- 参考スコア(独自算出の注目度): 6.129463540742259
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neighbor embeddings are a family of methods for visualizing complex
high-dimensional datasets using $k$NN graphs. To find the low-dimensional
embedding, these algorithms combine an attractive force between neighboring
pairs of points with a repulsive force between all points. One of the most
popular examples of such algorithms is t-SNE. Here we empirically show that
changing the balance between the attractive and the repulsive forces in t-SNE
using the exaggeration parameter yields a spectrum of embeddings, which is
characterized by a simple trade-off: stronger attraction can better represent
continuous manifold structures, while stronger repulsion can better represent
discrete cluster structures and yields higher $k$NN recall. We find that UMAP
embeddings correspond to t-SNE with increased attraction; mathematical analysis
shows that this is because the negative sampling optimisation strategy employed
by UMAP strongly lowers the effective repulsion. Likewise, ForceAtlas2,
commonly used for visualizing developmental single-cell transcriptomic data,
yields embeddings corresponding to t-SNE with the attraction increased even
more. At the extreme of this spectrum lie Laplacian Eigenmaps. Our results
demonstrate that many prominent neighbor embedding algorithms can be placed
onto the attraction-repulsion spectrum, and highlight the inherent trade-offs
between them.
- Abstract(参考訳): 隣接する埋め込みは、$k$NNグラフを使用して複雑な高次元データセットを視覚化する一連の方法である。
低次元埋め込みを見つけるために、これらのアルゴリズムは隣り合う点の対とすべての点の間の反発力を組み合わせた。
そのようなアルゴリズムの最も一般的な例の1つは t-SNE である。
ここでは、誇張パラメータを用いたt-SNEの誘引力と反発力のバランスの変化が、単純なトレードオフによって特徴づけられる埋め込みのスペクトルを生じることを実証的に示し、より強いアトラクションは連続的な多様体構造を表現し、強い反発は離散的なクラスタ構造を表現し、より高い$k$NNリコールを与える。
UMAP の埋め込みは t-SNE に対応してアトラクションが増加し, 数学的解析により, UMAP が採用する負のサンプリング最適化戦略が効果的な反発を強く低下させることが示唆された。
同様に、発達段階の単細胞転写データの可視化に一般的に用いられるforceatlas2は、アトラクションの増加とともにt-sneに対応する埋め込みを生じさせる。
このスペクトルの極端にはラプラシア固有写像がある。
以上の結果から,多くの隣接する埋め込みアルゴリズムをアトラクション・反発スペクトル上に配置し,それらの間に固有のトレードオフを明らかにすることができた。
関連論文リスト
- Unveiling Intrinsic Many-Body Complexity by Compressing Single-Body
Triviality [1.3812010983144802]
総軌道相関は波動関数の内在的な複雑さを実際に明らかにし、定量化する。
軌道を最適化するための反復的なスキームが提案されている。
最適化された軌道により、限られたTCCSDアンサッツはより非自明な情報をキャプチャすることができる。
論文 参考訳(メタデータ) (2024-02-26T18:59:08Z) - Smoothed Graph Contrastive Learning via Seamless Proximity Integration [35.73306919276754]
グラフコントラスト学習(GCL)はノードペアを正と負に分類することでノード表現を整列させる。
SGCL(Smoothed Graph Contrastive Learning Model)を提案する。
提案したSGCLは, 3つの異なる平滑化手法を取り入れることで, ノード対に付随するペナルティを対照的な損失で調整する。
論文 参考訳(メタデータ) (2024-02-23T11:32:46Z) - Mitigating Over-Smoothing and Over-Squashing using Augmentations of
Forman-Ricci Curvature [1.3144299362395917]
スケーラブルな曲率表記法であるAFRC(Augmented Forman-Ricci curvature)に基づく書き換え手法を提案する。
AFRCはメッセージパッシングGNNにおける過剰なスムースと過剰なスキャッシング効果を効果的に特徴付ける。
論文 参考訳(メタデータ) (2023-09-17T21:43:18Z) - Multi-View Clustering via Semi-non-negative Tensor Factorization [120.87318230985653]
半負のテンソル因子分解(Semi-NTF)に基づく新しいマルチビュークラスタリングを開発する。
本モデルは、ビュー間の関係を直接考慮し、ビュー間の補完情報を利用する。
さらに,提案手法の最適化アルゴリズムを提案し,そのアルゴリズムが常に定常KKT点に収束することを数学的に証明する。
論文 参考訳(メタデータ) (2023-03-29T14:54:19Z) - OrthoReg: Improving Graph-regularized MLPs via Orthogonality
Regularization [66.30021126251725]
グラフニューラルネットワーク(GNN)は現在、グラフ構造データのモデリングにおいて支配的である。
グラフ正規化ネットワーク(GR-MLP)はグラフ構造情報をモデル重みに暗黙的に注入するが、その性能はほとんどのタスクにおいてGNNとほとんど一致しない。
GR-MLPは,最大数個の固有値が埋め込み空間を支配する現象である次元崩壊に苦しむことを示す。
次元崩壊問題を緩和する新しいGR-MLPモデルであるOrthoRegを提案する。
論文 参考訳(メタデータ) (2023-01-31T21:20:48Z) - Spectral Feature Augmentation for Graph Contrastive Learning and Beyond [64.78221638149276]
グラフ(および画像)におけるコントラスト学習のための新しいスペクトル特徴論法を提案する。
各データビューに対して,特徴写像毎の低ランク近似を推定し,その近似を地図から抽出して補数を求める。
これは、2つの価値ある副産物(単に1つまたは2つのイテレーション)を楽しむ非標準パワーレジームである、ここで提案された不完全パワーイテレーションによって達成される。
グラフ/画像データセットの実験では、スペクトルフィーチャの増大がベースラインを上回ります。
論文 参考訳(メタデータ) (2022-12-02T08:48:11Z) - Interpolation-based Correlation Reduction Network for Semi-Supervised
Graph Learning [49.94816548023729]
補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。
提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。
この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
論文 参考訳(メタデータ) (2022-06-06T14:26:34Z) - Stochastic Cluster Embedding [14.485496311015398]
Neighbor Embedding (NE)は、データ項目間のペアの類似性を維持することを目的としている。
Neighbor Embedding (SNE)のようなNEメソッドは、クラスタなどの大規模パターンを隠蔽する可能性がある。
隣り合う埋め込みに基づく新しいクラスタ可視化手法を提案する。
論文 参考訳(メタデータ) (2021-08-18T07:07:28Z) - Spatial-spectral Hyperspectral Image Classification via Multiple Random
Anchor Graphs Ensemble Learning [88.60285937702304]
本稿では,複数のランダムアンカーグラフアンサンブル学習(RAGE)を用いた空間スペクトルHSI分類手法を提案する。
まず、各選択されたバンドのより記述的な特徴を抽出し、局所的な構造と領域の微妙な変化を保存するローカルバイナリパターンを採用する。
次に,アンカーグラフの構成に適応隣接代入を導入し,計算複雑性を低減した。
論文 参考訳(メタデータ) (2021-03-25T09:31:41Z) - Scattering GCN: Overcoming Oversmoothness in Graph Convolutional
Networks [0.0]
グラフ畳み込みネットワーク(GCN)は,構造認識の特徴を抽出することによって,グラフデータ処理において有望な結果を示した。
本稿では、幾何学的散乱変換と残差畳み込みによる従来のGCNの増大を提案する。
前者はグラフ信号の帯域通過フィルタリングが可能であり、GCNでしばしば発生する過度な過度な処理を緩和する。
論文 参考訳(メタデータ) (2020-03-18T18:03:08Z) - Supervised Learning for Non-Sequential Data: A Canonical Polyadic
Decomposition Approach [85.12934750565971]
特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。
この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。
表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
論文 参考訳(メタデータ) (2020-01-27T22:38:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。