論文の概要: SNEkhorn: Dimension Reduction with Symmetric Entropic Affinities

• arxiv url: http://arxiv.org/abs/2305.13797v2
• Date: Mon, 30 Oct 2023 10:34:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 02:43:52.938548
• Title: SNEkhorn: Dimension Reduction with Symmetric Entropic Affinities
• Title（参考訳）: snekhorn:対称エントロピーアフィニティによる次元縮小
• Authors: Hugues Van Assel, Titouan Vayer, R\'emi Flamary, Nicolas Courty
• Abstract要約: エントロピック親和性 (EA) は、一般的な次元性還元 (DR) アルゴリズム t-SNE で用いられる。 EAは本質的に非対称で行ワイドであるが、シンメトリゼーション法(英語版)の後にDRアプローチで使用される。 本研究では,最適な輸送問題としてEAの新たな特徴を明らかにし,効率的に計算できる自然な対称性を実現する。
• 参考スコア（独自算出の注目度）: 14.919246099820548
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many approaches in machine learning rely on a weighted graph to encode the similarities between samples in a dataset. Entropic affinities (EAs), which are notably used in the popular Dimensionality Reduction (DR) algorithm t-SNE, are particular instances of such graphs. To ensure robustness to heterogeneous sampling densities, EAs assign a kernel bandwidth parameter to every sample in such a way that the entropy of each row in the affinity matrix is kept constant at a specific value, whose exponential is known as perplexity. EAs are inherently asymmetric and row-wise stochastic, but they are used in DR approaches after undergoing heuristic symmetrization methods that violate both the row-wise constant entropy and stochasticity properties. In this work, we uncover a novel characterization of EA as an optimal transport problem, allowing a natural symmetrization that can be computed efficiently using dual ascent. The corresponding novel affinity matrix derives advantages from symmetric doubly stochastic normalization in terms of clustering performance, while also effectively controlling the entropy of each row thus making it particularly robust to varying noise levels. Following, we present a new DR algorithm, SNEkhorn, that leverages this new affinity matrix. We show its clear superiority to state-of-the-art approaches with several indicators on both synthetic and real-world datasets.
• Abstract（参考訳）: 機械学習における多くのアプローチは、データセットのサンプル間の類似性を符号化する重み付きグラフに依存している。 ポピュラー次元還元 (dr) アルゴリズム t-sne で特に用いられるエントロピーアフィニティ (eas) は、そのようなグラフの具体例である。 不均質なサンプリング密度に対するロバスト性を確保するため、easは各サンプルにカーネル帯域幅パラメータを割り当て、親和性行列の各行のエントロピーが、指数関数がパープレキシティとして知られる特定の値で一定に保たれるようにした。 EAは本質的に非対称で行ワイド確率であるが、行ワイドなエントロピーと確率性の両方に反するヒューリスティックな対称性の手法を実行した後、DRアプローチで使用される。 本研究では,最適な輸送問題としてのEAの新たな特徴を明らかにし,二重昇華を用いて効率的に計算できる自然な対称性を実現する。 対応する新規親和性行列は、クラスタリング性能の点で対称確率正規化の利点を生かし、また各行のエントロピーを効果的に制御することにより、ノイズレベルの変化に対して特に堅牢である。 次に,この新しい親和性行列を利用した新しいdrアルゴリズムsnekhornを提案する。 我々は,合成データと実世界のデータの両方についていくつかの指標を用いて,最先端のアプローチよりも明らかに優れていることを示す。

関連論文リスト

• Accelerated Discovery of Machine-Learned Symmetries: Deriving the Exceptional Lie Groups G2, F4 and E6 [55.41644538483948]
  このレターでは、対称性変換の発見を著しく高速化する2つの改良されたアルゴリズムを紹介している。 例外的リー群の複雑性を考えると,この機械学習手法は完全に汎用的であり,多種多様なラベル付きデータセットに適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-10T20:25:44Z)
• Nonlinear SVD with Asymmetric Kernels: feature learning and asymmetric Nystr\"om method [14.470859959783995]
  非対称データは、有向グラフのような実世界で自然に存在する。 本稿では,非対称なカーネルベース学習問題に取り組む。 実験により、非対称なKSVDはメルサー・ケルネルよりも優れた特徴を学習することが示された。
  論文  参考訳（メタデータ） (2023-06-12T11:39:34Z)
• Stochastic parameter optimization analysis of dynamical quantum critical phenomena in long-range transverse-field Ising chain [0.0]
  一次元長次元逆場イジングモデルの量子相転移について検討する。 シミュレーションでは, 臨界点と普遍性に関する事前知識がなくても, サンプリング対象のパラメータを自動的に決定する。 後者の2つの普遍性境界として$sigma = 7/4$を支持する数値的な証拠を得ることに成功した。
  論文  参考訳（メタデータ） (2023-05-23T14:46:16Z)
• Oracle-Preserving Latent Flows [58.720142291102135]
  我々はラベル付きデータセット全体にわたって複数の非自明な連続対称性を同時に発見するための方法論を開発する。 対称性変換と対応するジェネレータは、特別に構築された損失関数で訓練された完全連結ニューラルネットワークでモデル化される。 この研究における2つの新しい要素は、縮小次元の潜在空間の使用と、高次元のオラクルに関して不変な変換への一般化である。
  論文  参考訳（メタデータ） (2023-02-02T00:13:32Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Graph Gamma Process Generalized Linear Dynamical Systems [60.467040479276704]
  実マルチ変数時系列をモデル化するために,グラフガンマ過程(GGP)線形力学系を導入する。 時間的パターン発見のために、モデルの下での潜在表現は、時系列を多変量部分列の同相集合に分解するために使用される。 非零次ノード数が有限であるランダムグラフを用いて、潜時状態遷移行列の空間パターンと次元の両方を定義する。
  論文  参考訳（メタデータ） (2020-07-25T04:16:34Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• The Heavy-Tail Phenomenon in SGD [7.366405857677226]
  最小損失のHessianの構造に依存すると、SGDの反復はエンフェビーテールの定常分布に収束する。 深層学習におけるSGDの行動に関する知見に分析結果を変換する。
  論文  参考訳（メタデータ） (2020-06-08T16:43:56Z)
• Doubly-Stochastic Normalization of the Gaussian Kernel is Robust to Heteroskedastic Noise [3.5429774642987915]
  ガウス核の主対角がゼロの二重確率正規化はヘテロスケダティックノイズに対して頑健であることを示す。 本報告では,本態性ヘテロスケダスティック性を有する単一細胞RNA配列のシミュレートおよび実験例を示す。
  論文  参考訳（メタデータ） (2020-05-31T01:31:10Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。