Fugu-MT 論文翻訳(概要): Attraction-Repulsion Spectrum in Neighbor Embeddings

論文の概要: Attraction-Repulsion Spectrum in Neighbor Embeddings

arxiv url: http://arxiv.org/abs/2007.08902v4
Date: Tue, 18 Oct 2022 14:27:13 GMT
ステータス: 処理完了
システム内更新日: 2022-11-09 13:12:28.985923
Title: Attraction-Repulsion Spectrum in Neighbor Embeddings
Title（参考訳）: 近傍埋め込みにおけるアトラクション-反発スペクトル
Authors: Jan Niklas B\"ohm, Philipp Berens, Dmitry Kobak
Abstract要約: 隣の埋め込みアルゴリズムは、隣接する一対の点間の魅力的な力と全ての点間の反発力を組み合わせる。ここでは、誇張パラメータを用いたt-SNEの魅力と反発力のバランスの変化が、埋め込みのスペクトルをもたらすことを実証的に示す。
参考スコア（独自算出の注目度）: 6.129463540742259
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Neighbor embeddings are a family of methods for visualizing complex high-dimensional datasets using $k$NN graphs. To find the low-dimensional embedding, these algorithms combine an attractive force between neighboring pairs of points with a repulsive force between all points. One of the most popular examples of such algorithms is t-SNE. Here we empirically show that changing the balance between the attractive and the repulsive forces in t-SNE using the exaggeration parameter yields a spectrum of embeddings, which is characterized by a simple trade-off: stronger attraction can better represent continuous manifold structures, while stronger repulsion can better represent discrete cluster structures and yields higher $k$NN recall. We find that UMAP embeddings correspond to t-SNE with increased attraction; mathematical analysis shows that this is because the negative sampling optimisation strategy employed by UMAP strongly lowers the effective repulsion. Likewise, ForceAtlas2, commonly used for visualizing developmental single-cell transcriptomic data, yields embeddings corresponding to t-SNE with the attraction increased even more. At the extreme of this spectrum lie Laplacian Eigenmaps. Our results demonstrate that many prominent neighbor embedding algorithms can be placed onto the attraction-repulsion spectrum, and highlight the inherent trade-offs between them.
Abstract（参考訳）: 隣接する埋め込みは、$k$NNグラフを使用して複雑な高次元データセットを視覚化する一連の方法である。低次元埋め込みを見つけるために、これらのアルゴリズムは隣り合う点の対とすべての点の間の反発力を組み合わせた。そのようなアルゴリズムの最も一般的な例の1つは t-SNE である。ここでは、誇張パラメータを用いたt-SNEの誘引力と反発力のバランスの変化が、単純なトレードオフによって特徴づけられる埋め込みのスペクトルを生じることを実証的に示し、より強いアトラクションは連続的な多様体構造を表現し、強い反発は離散的なクラスタ構造を表現し、より高い$k$NNリコールを与える。 UMAP の埋め込みは t-SNE に対応してアトラクションが増加し, 数学的解析により, UMAP が採用する負のサンプリング最適化戦略が効果的な反発を強く低下させることが示唆された。同様に、発達段階の単細胞転写データの可視化に一般的に用いられるforceatlas2は、アトラクションの増加とともにt-sneに対応する埋め込みを生じさせる。このスペクトルの極端にはラプラシア固有写像がある。以上の結果から,多くの隣接する埋め込みアルゴリズムをアトラクション・反発スペクトル上に配置し,それらの間に固有のトレードオフを明らかにすることができた。

関連論文リスト

Point Cloud Denoising With Fine-Granularity Dynamic Graph Convolutional Networks [58.050130177241186]
ノイズの摂動は、しばしば3次元の点雲を破損させ、表面の再構成、レンダリング、さらなる処理といった下流のタスクを妨げる。本稿では,GDGCNと呼ばれる粒度動的グラフ畳み込みネットワークについて紹介する。
論文参考訳（メタデータ） (2024-11-21T14:19:32Z)
Attraction-Repulsion Swarming: A Generalized Framework of t-SNE via Force Normalization and Tunable Interactions [2.3020018305241337]
ARSは、アトラクションと反発力によって駆動される相互作用するエージェントの群として、t分散データ近接埋め込み(t-SNE)可視化技術を見ることに基づくフレームワークである。 ARSはまた、アトラクションとリプルションカーネルを個別にチューニングする機能も備えている。これにより、クラスタ内のタイツネスと、視覚化におけるそれらの間の間隔をユーザがコントロールできるようになる。
論文参考訳（メタデータ） (2024-11-15T22:42:11Z)
Fast Disentangled Slim Tensor Learning for Multi-view Clustering [28.950845031752927]
本稿では,マルチビュークラスタリングのための高速離散スリム学習法(DSTL)を提案する。頑健なPCAにインスパイアされた特徴冗長性の負の影響を軽減するため、DSTLは、潜在する低次元表現を、各ビューに対する意味的非関連部分と意味的関連部分に分解する。提案手法は計算効率が高く,効果的に解ける。
論文参考訳（メタデータ） (2024-11-12T09:57:53Z)
Hyperbolic Fine-tuning for Large Language Models [56.54715487997674]
本研究では,大規模言語モデル(LLM)の非ユークリッド的特徴について検討する。トークン埋め込みは高い双曲性を示し,埋め込み空間に木のような構造が潜んでいることを示す。双曲的低ランク効率微調整法HypLoRAを導入し, 双曲的多様体上で直接低ランク適応を行う。
論文参考訳（メタデータ） (2024-10-05T02:58:25Z)
Mitigating Over-Smoothing and Over-Squashing using Augmentations of Forman-Ricci Curvature [1.1126342180866644]
スケーラブルな曲率表記法であるAFRC(Augmented Forman-Ricci curvature)に基づく書き換え手法を提案する。 AFRCはメッセージパッシングGNNにおける過剰なスムースと過剰なスキャッシング効果を効果的に特徴付ける。
論文参考訳（メタデータ） (2023-09-17T21:43:18Z)
Multi-View Clustering via Semi-non-negative Tensor Factorization [120.87318230985653]
半負のテンソル因子分解(Semi-NTF)に基づく新しいマルチビュークラスタリングを開発する。本モデルは、ビュー間の関係を直接考慮し、ビュー間の補完情報を利用する。さらに,提案手法の最適化アルゴリズムを提案し,そのアルゴリズムが常に定常KKT点に収束することを数学的に証明する。
論文参考訳（メタデータ） (2023-03-29T14:54:19Z)
OrthoReg: Improving Graph-regularized MLPs via Orthogonality Regularization [66.30021126251725]
グラフニューラルネットワーク(GNN)は現在、グラフ構造データのモデリングにおいて支配的である。グラフ正規化ネットワーク(GR-MLP)はグラフ構造情報をモデル重みに暗黙的に注入するが、その性能はほとんどのタスクにおいてGNNとほとんど一致しない。 GR-MLPは,最大数個の固有値が埋め込み空間を支配する現象である次元崩壊に苦しむことを示す。次元崩壊問題を緩和する新しいGR-MLPモデルであるOrthoRegを提案する。
論文参考訳（メタデータ） (2023-01-31T21:20:48Z)
Spectral Feature Augmentation for Graph Contrastive Learning and Beyond [64.78221638149276]
グラフ(および画像)におけるコントラスト学習のための新しいスペクトル特徴論法を提案する。各データビューに対して,特徴写像毎の低ランク近似を推定し,その近似を地図から抽出して補数を求める。これは、2つの価値ある副産物(単に1つまたは2つのイテレーション)を楽しむ非標準パワーレジームである、ここで提案された不完全パワーイテレーションによって達成される。グラフ/画像データセットの実験では、スペクトルフィーチャの増大がベースラインを上回ります。
論文参考訳（メタデータ） (2022-12-02T08:48:11Z)
Interpolation-based Correlation Reduction Network for Semi-Supervised Graph Learning [49.94816548023729]
補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
論文参考訳（メタデータ） (2022-06-06T14:26:34Z)
Stochastic Cluster Embedding [14.485496311015398]
Neighbor Embedding (NE)は、データ項目間のペアの類似性を維持することを目的としている。 Neighbor Embedding (SNE)のようなNEメソッドは、クラスタなどの大規模パターンを隠蔽する可能性がある。隣り合う埋め込みに基づく新しいクラスタ可視化手法を提案する。
論文参考訳（メタデータ） (2021-08-18T07:07:28Z)
Scattering GCN: Overcoming Oversmoothness in Graph Convolutional Networks [0.0]
グラフ畳み込みネットワーク(GCN)は,構造認識の特徴を抽出することによって,グラフデータ処理において有望な結果を示した。本稿では、幾何学的散乱変換と残差畳み込みによる従来のGCNの増大を提案する。前者はグラフ信号の帯域通過フィルタリングが可能であり、GCNでしばしば発生する過度な過度な処理を緩和する。
論文参考訳（メタデータ） (2020-03-18T18:03:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。