論文の概要: Parametric UMAP embeddings for representation and semi-supervised learning

• arxiv url: http://arxiv.org/abs/2009.12981v4
• Date: Sun, 29 Aug 2021 16:17:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 03:36:55.677580
• Title: Parametric UMAP embeddings for representation and semi-supervised learning
• Title（参考訳）: 表現と半教師あり学習のためのパラメトリックUMAP埋め込み
• Authors: Tim Sainburg, Leland McInnes, Timothy Q Gentner
• Abstract要約: UMAPは、構造化データの低次元埋め込みを見つけるための非パラメトリックグラフに基づく次元減少アルゴリズムである。 パラメトリックUMAPは,学習されたパラメトリックマッピングの利点を考慮しつつ,非パラメトリックマップと同等に動作することを示す。 次に、UMAPを正規化として検討し、オートエンコーダの潜伏分布を制限し、パラメトリック的に変化したグローバル構造保存を行い、半教師付き学習における分類器の精度を向上させる。
• 参考スコア（独自算出の注目度）: 0.03823356975862005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: UMAP is a non-parametric graph-based dimensionality reduction algorithm using applied Riemannian geometry and algebraic topology to find low-dimensional embeddings of structured data. The UMAP algorithm consists of two steps: (1) Compute a graphical representation of a dataset (fuzzy simplicial complex), and (2) Through stochastic gradient descent, optimize a low-dimensional embedding of the graph. Here, we extend the second step of UMAP to a parametric optimization over neural network weights, learning a parametric relationship between data and embedding. We first demonstrate that Parametric UMAP performs comparably to its non-parametric counterpart while conferring the benefit of a learned parametric mapping (e.g. fast online embeddings for new data). We then explore UMAP as a regularization, constraining the latent distribution of autoencoders, parametrically varying global structure preservation, and improving classifier accuracy for semi-supervised learning by capturing structure in unlabeled data. Google Colab walkthrough: https://colab.research.google.com/drive/1WkXVZ5pnMrm17m0YgmtoNjM_XHdnE5Vp?usp=sharing
• Abstract（参考訳）: UMAPは、応用リーマン幾何学と代数トポロジーを用いて、構造化データの低次元埋め込みを求める非パラメトリックグラフに基づく次元減少アルゴリズムである。 UMAPアルゴリズムは,(1)データセットのグラフィカルな表現(ファジィ・シンプレクティック・コンプレックス)と(2)確率勾配勾配勾配の計算により,グラフの低次元埋め込みを最適化する2つのステップから構成される。 ここでは、UMAPの第2ステップをニューラルネットワーク重みに対するパラメトリック最適化に拡張し、データと埋め込みの間のパラメトリック関係を学習する。 まず、学習されたパラメトリックマッピング(例えば、新しいデータに対する高速なオンライン埋め込み)の利点を尊重しながら、パラメトリックな非パラメトリックな UMAP と互換性のある性能を示す。 次に, umapを正規化として検討し, オートエンコーダの潜在分布を制約し, パラメトリックな大域構造保存を行い, 半教師付き学習のための分類精度を向上させる。 google colab walkthrough: https://colab.research.google.com/drive/1wkxvz5pnmrm17m0ygmtonjm_xhdne5vp? usp=共有

関連論文リスト

• Hyperboloid GPLVM for Discovering Continuous Hierarchies via Nonparametric Estimation [41.13597666007784]
  次元性低減(DR)は複雑な高次元データの有用な表現を提供する。 最近のDR法は、階層データの忠実な低次元表現を導出する双曲幾何学に焦点を当てている。 本稿では,非パラメトリック推定による暗黙的な連続性を持つ高次元階層データを埋め込むためのhGP-LVMを提案する。
  論文  参考訳（メタデータ） (2024-10-22T05:07:30Z)
• Automatic Parameterization for Aerodynamic Shape Optimization via Deep Geometric Learning [60.69217130006758]
  空力形状最適化のための形状パラメータ化を完全に自動化する2つの深層学習モデルを提案する。 どちらのモデルも、深い幾何学的学習を通じてパラメータ化し、人間の事前知識を学習された幾何学的パターンに埋め込むように最適化されている。 2次元翼の形状最適化実験を行い、2つのモデルに適用可能なシナリオについて論じる。
  論文  参考訳（メタデータ） (2023-05-03T13:45:40Z)
• Efficient Parametric Approximations of Neural Network Function Space Distance [6.117371161379209]
  モデルパラメータとトレーニングデータの重要な特性をコンパクトに要約して、データセット全体を保存または/または反復することなく後で使用できるようにすることが、しばしば有用である。 我々は,FSD(Function Space Distance)をトレーニングセット上で推定することを検討する。 本稿では、線形化活性化TRick (LAFTR) を提案し、ReLUニューラルネットワークに対するFSDの効率的な近似を導出する。
  論文  参考訳（メタデータ） (2023-02-07T15:09:23Z)
• One-Pass Learning via Bridging Orthogonal Gradient Descent and Recursive Least-Squares [8.443742714362521]
  我々は,従来のデータポイントの予測にほとんど変化しない方向にパラメータを変更しながら,すべての新しいデータポイントに完全に適合するワンパス学習アルゴリズムを開発した。 我々のアルゴリズムは、インクリメンタル・プリンシパル・コンポーネント分析(IPCA)を用いてストリーミングデータの構造を利用して、メモリを効率的に利用する。 本実験では,提案手法の有効性をベースラインと比較した。
  論文  参考訳（メタデータ） (2022-07-28T02:01:31Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• Condensing Graphs via One-Step Gradient Matching [50.07587238142548]
  ネットワーク重みを訓練せずに1ステップのみの勾配マッチングを行う1ステップ勾配マッチング方式を提案する。 我々の理論的分析は、この戦略が実際のグラフの分類損失を減少させる合成グラフを生成することができることを示している。 特に、元のパフォーマンスの最大98%を近似しながら、データセットサイズを90%削減することが可能です。
  論文  参考訳（メタデータ） (2022-06-15T18:20:01Z)
• Hyperbolic Vision Transformers: Combining Improvements in Metric Learning [116.13290702262248]
  計量学習のための新しい双曲型モデルを提案する。 本手法のコアとなるのは、双曲空間にマッピングされた出力埋め込みを備えた視覚変換器である。 4つのデータセットに6つの異なる定式化を施したモデルの評価を行った。
  論文  参考訳（メタデータ） (2022-03-21T09:48:23Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Graph Signal Restoration Using Nested Deep Algorithm Unrolling [85.53158261016331]
  グラフ信号処理は、センサー、社会交通脳ネットワーク、ポイントクラウド処理、グラフネットワークなど、多くのアプリケーションにおいてユビキタスなタスクである。 凸非依存型深部ADMM(ADMM)に基づく2つの復元手法を提案する。 提案手法のパラメータはエンドツーエンドでトレーニング可能である。
  論文  参考訳（メタデータ） (2021-06-30T08:57:01Z)
• Symmetric Spaces for Graph Embeddings: A Finsler-Riemannian Approach [7.752212921476838]
  表現学習における対称空間の体系的利用を提案する。 本研究では,組込み解析ツールを開発し,データセットの構造的特性を推定する。 提案手法は, 各種合成および実世界のデータセット上でのグラフ再構成タスクにおいて, 競合的ベースラインよりも優れる。
  論文  参考訳（メタデータ） (2021-06-09T09:33:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。