論文の概要: SNEkhorn: Dimension Reduction with Symmetric Entropic Affinities

• arxiv url: http://arxiv.org/abs/2305.13797v2
• Date: Mon, 30 Oct 2023 10:34:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 02:43:52.938548
• Title: SNEkhorn: Dimension Reduction with Symmetric Entropic Affinities
• Title（参考訳）: snekhorn:対称エントロピーアフィニティによる次元縮小
• Authors: Hugues Van Assel, Titouan Vayer, R\'emi Flamary, Nicolas Courty
• Abstract要約: エントロピック親和性 (EA) は、一般的な次元性還元 (DR) アルゴリズム t-SNE で用いられる。 EAは本質的に非対称で行ワイドであるが、シンメトリゼーション法(英語版)の後にDRアプローチで使用される。 本研究では,最適な輸送問題としてEAの新たな特徴を明らかにし,効率的に計算できる自然な対称性を実現する。
• 参考スコア（独自算出の注目度）: 14.919246099820548
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many approaches in machine learning rely on a weighted graph to encode the similarities between samples in a dataset. Entropic affinities (EAs), which are notably used in the popular Dimensionality Reduction (DR) algorithm t-SNE, are particular instances of such graphs. To ensure robustness to heterogeneous sampling densities, EAs assign a kernel bandwidth parameter to every sample in such a way that the entropy of each row in the affinity matrix is kept constant at a specific value, whose exponential is known as perplexity. EAs are inherently asymmetric and row-wise stochastic, but they are used in DR approaches after undergoing heuristic symmetrization methods that violate both the row-wise constant entropy and stochasticity properties. In this work, we uncover a novel characterization of EA as an optimal transport problem, allowing a natural symmetrization that can be computed efficiently using dual ascent. The corresponding novel affinity matrix derives advantages from symmetric doubly stochastic normalization in terms of clustering performance, while also effectively controlling the entropy of each row thus making it particularly robust to varying noise levels. Following, we present a new DR algorithm, SNEkhorn, that leverages this new affinity matrix. We show its clear superiority to state-of-the-art approaches with several indicators on both synthetic and real-world datasets.
• Abstract（参考訳）: 機械学習における多くのアプローチは、データセットのサンプル間の類似性を符号化する重み付きグラフに依存している。 ポピュラー次元還元 (dr) アルゴリズム t-sne で特に用いられるエントロピーアフィニティ (eas) は、そのようなグラフの具体例である。 不均質なサンプリング密度に対するロバスト性を確保するため、easは各サンプルにカーネル帯域幅パラメータを割り当て、親和性行列の各行のエントロピーが、指数関数がパープレキシティとして知られる特定の値で一定に保たれるようにした。 EAは本質的に非対称で行ワイド確率であるが、行ワイドなエントロピーと確率性の両方に反するヒューリスティックな対称性の手法を実行した後、DRアプローチで使用される。 本研究では,最適な輸送問題としてのEAの新たな特徴を明らかにし,二重昇華を用いて効率的に計算できる自然な対称性を実現する。 対応する新規親和性行列は、クラスタリング性能の点で対称確率正規化の利点を生かし、また各行のエントロピーを効果的に制御することにより、ノイズレベルの変化に対して特に堅牢である。 次に,この新しい親和性行列を利用した新しいdrアルゴリズムsnekhornを提案する。 我々は,合成データと実世界のデータの両方についていくつかの指標を用いて,最先端のアプローチよりも明らかに優れていることを示す。

関連論文リスト

• Semi-supervised Symmetric Matrix Factorization with Low-Rank Tensor Representation [27.14442336413482]
  半教師付き対称非負行列分解(SNMF) 対制約行列により合成されたテンソルの低ランク表現を求めるSNMFモデルを提案する。 次に、拡張SNMFモデルを提案し、埋め込み行列を上記のテンソル低ランク表現に適合させる。
  論文  参考訳（メタデータ） (2024-05-04T14:58:47Z)
• Accelerated Discovery of Machine-Learned Symmetries: Deriving the Exceptional Lie Groups G2, F4 and E6 [55.41644538483948]
  このレターでは、対称性変換の発見を著しく高速化する2つの改良されたアルゴリズムを紹介している。 例外的リー群の複雑性を考えると,この機械学習手法は完全に汎用的であり,多種多様なラベル付きデータセットに適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-10T20:25:44Z)
• Nonlinear SVD with Asymmetric Kernels: feature learning and asymmetric Nystr\"om method [14.470859959783995]
  非対称データは、有向グラフのような実世界で自然に存在する。 本稿では,非対称なカーネルベース学習問題に取り組む。 実験により、非対称なKSVDはメルサー・ケルネルよりも優れた特徴を学習することが示された。
  論文  参考訳（メタデータ） (2023-06-12T11:39:34Z)
• Oracle-Preserving Latent Flows [58.720142291102135]
  我々はラベル付きデータセット全体にわたって複数の非自明な連続対称性を同時に発見するための方法論を開発する。 対称性変換と対応するジェネレータは、特別に構築された損失関数で訓練された完全連結ニューラルネットワークでモデル化される。 この研究における2つの新しい要素は、縮小次元の潜在空間の使用と、高次元のオラクルに関して不変な変換への一般化である。
  論文  参考訳（メタデータ） (2023-02-02T00:13:32Z)
• On Stochastic Moving-Average Estimators for Non-Convex Optimization [105.22760323075008]
  本稿では,移動平均(SEMA)問題に基づく広く利用されている推定器のパワーを実証する。 これらすべてのアートな結果に対して、これらのアートな問題に対する結果も提示します。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)
• Graph Gamma Process Generalized Linear Dynamical Systems [60.467040479276704]
  実マルチ変数時系列をモデル化するために,グラフガンマ過程(GGP)線形力学系を導入する。 時間的パターン発見のために、モデルの下での潜在表現は、時系列を多変量部分列の同相集合に分解するために使用される。 非零次ノード数が有限であるランダムグラフを用いて、潜時状態遷移行列の空間パターンと次元の両方を定義する。
  論文  参考訳（メタデータ） (2020-07-25T04:16:34Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• The Heavy-Tail Phenomenon in SGD [7.366405857677226]
  最小損失のHessianの構造に依存すると、SGDの反復はエンフェビーテールの定常分布に収束する。 深層学習におけるSGDの行動に関する知見に分析結果を変換する。
  論文  参考訳（メタデータ） (2020-06-08T16:43:56Z)
• Doubly-Stochastic Normalization of the Gaussian Kernel is Robust to Heteroskedastic Noise [3.5429774642987915]
  ガウス核の主対角がゼロの二重確率正規化はヘテロスケダティックノイズに対して頑健であることを示す。 本報告では,本態性ヘテロスケダスティック性を有する単一細胞RNA配列のシミュレートおよび実験例を示す。
  論文  参考訳（メタデータ） (2020-05-31T01:31:10Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。