論文の概要: DLME: Deep Local-flatness Manifold Embedding

• arxiv url: http://arxiv.org/abs/2207.03160v1
• Date: Thu, 7 Jul 2022 08:46:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-08 14:02:12.512555
• Title: DLME: Deep Local-flatness Manifold Embedding
• Title（参考訳）: DLME:深部局所平坦化マニフォールドインベディング
• Authors: Zelin Zang and Siyuan Li and Di Wu and Ge Wang and Lei Shang and Baigui Sun and Hao Li and Stan Z. Li
• Abstract要約: 深部局所平坦度マニフォールド埋め込み (DLME) は, 歪みを低減し, 信頼性の高い多様体埋め込みを実現するための新しいMLフレームワークである。 実験では, 下流分類, クラスタリング, 可視化タスクにおけるDLMEの有効性を示すことにより, DLMEがSOTA MLおよびコントラッシブラーニング(CL)法より優れていることを示す。
• 参考スコア（独自算出の注目度）: 41.86924171938867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Manifold learning~(ML) aims to find low-dimensional embedding from high-dimensional data. Previous works focus on handcraft or easy datasets with simple and ideal scenarios; however, we find they perform poorly on real-world datasets with under-sampling data. Generally, ML methods primarily model data structure and subsequently process a low-dimensional embedding, where the poor local connectivity of under-sampling data in the former step and inappropriate optimization objectives in the later step will lead to \emph{structural distortion} and \emph{underconstrained embedding}. To solve this problem, we propose Deep Local-flatness Manifold Embedding (DLME), a novel ML framework to obtain reliable manifold embedding by reducing distortion. Our proposed DLME constructs semantic manifolds by data augmentation and overcomes \emph{structural distortion} problems with the help of its smooth framework. To overcome \emph{underconstrained embedding}, we design a specific loss for DLME and mathematically demonstrate that it leads to a more suitable embedding based on our proposed Local Flatness Assumption. In the experiments, by showing the effectiveness of DLME on downstream classification, clustering, and visualization tasks with three types of datasets (toy, biological, and image), our experimental results show that DLME outperforms SOTA ML \& contrastive learning (CL) methods.
• Abstract（参考訳）: Manifold Learning~(ML)は、高次元データから低次元の埋め込みを見つけることを目的としている。 これまでの作業では、シンプルで理想的なシナリオを持つ手作業や簡単なデータセットに重点を置いていましたが、アンダーサンプリングデータを使用した現実世界のデータセットでは、パフォーマンスが低かったことが分かりました。 一般的に、ML法はデータ構造をモデル化し、低次元埋め込みを処理し、前ステップでのアンダーサンプリングデータのローカル接続の貧弱さと後ステップにおける不適切な最適化目標が、 \emph{structureural distortion} と \emph{underconstrained embedded} に繋がる。 この問題を解決するため,新しいMLフレームワークであるDep Local-flatness Manifold Embedding (DLME)を提案する。 提案するDLMEはデータ拡張による意味多様体の構築と,そのスムーズなフレームワークの助けを借りて, \emph{structureural distortion} 問題を克服する。 そこで我々は, DLMEの特定の損失を克服し, 提案した局所平坦度推定に基づいて, より適切な埋め込みを実現することを数学的に示す。 実験では,3種類のデータセット (toy, biological, image) を用いた下流分類,クラスタリング,可視化タスクにおけるDLMEの有効性を示すことにより,DLMEがSOTA ML \ & contrastive learning (CL) 法より優れていることを示す。

関連論文リスト

• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [66.1595537904019]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• Distributional Reduction: Unifying Dimensionality Reduction and Clustering with Gromov-Wasserstein [56.62376364594194]
  教師なし学習は、潜在的に大きな高次元データセットの基盤構造を捉えることを目的としている。 本研究では、最適輸送のレンズの下でこれらのアプローチを再検討し、Gromov-Wasserstein問題と関係を示す。 これにより、分散還元と呼ばれる新しい一般的なフレームワークが公開され、DRとクラスタリングを特別なケースとして回復し、単一の最適化問題内でそれらに共同で対処することができる。
  論文  参考訳（メタデータ） (2024-02-03T19:00:19Z)
• Simulation-Enhanced Data Augmentation for Machine Learning Pathloss Prediction [9.664420734674088]
  本稿では,機械学習パスロス予測のための新しいシミュレーション強化データ拡張手法を提案する。 本手法は,細胞被覆シミュレータから生成した合成データと,独立して収集した実世界のデータセットを統合する。 合成データの統合は、異なる環境におけるモデルの一般化可能性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-02-03T00:38:08Z)
• Scalable manifold learning by uniform landmark sampling and constrained locally linear embedding [0.6144680854063939]
  本研究では,大規模・高次元データを効率的に操作できるスケーラブルな多様体学習法を提案する。 異なるタイプの合成データセットと実世界のベンチマークにおけるSCMLの有効性を実証的に検証した。 scMLはデータサイズや埋め込み次元の増大とともにスケールし、グローバル構造を保存する上で有望なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-01-02T08:43:06Z)
• Curated LLM: Synergy of LLMs and Data Curation for tabular augmentation in low-data regimes [57.62036621319563]
  本稿では,Large Language Models (LLMs) の知識を低データ構造におけるデータ拡張に活用したCLLMを紹介する。 従来のジェネレータと比較して,低データ方式におけるCLLMの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-19T12:34:46Z)
• An Adaptive Plug-and-Play Network for Few-Shot Learning [12.023266104119289]
  少数のサンプルから学んだ後、新しいサンプルを分類するモデルが必要である。 ディープネットワークと複雑なメトリクスはオーバーフィッティングを引き起こす傾向があり、パフォーマンスをさらに改善することは困難である。 プラグアンドプレイ型モデル適応型リサイザ (MAR) とアダプティブ類似度測定器 (ASM) をその他の損失なく提案する。
  論文  参考訳（メタデータ） (2023-02-18T13:25:04Z)
• Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
  本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。 合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。 本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
  論文  参考訳（メタデータ） (2022-11-20T15:49:11Z)
• DAS: Densely-Anchored Sampling for Deep Metric Learning [43.81322638018864]
  本研究では, アンカー近傍の埋め込み空間を利用してデータポイントのない埋め込みを密に生成するDensely-Anchored Smpling (DAS) 方式を提案する。 提案手法は既存のDMLフレームワークに統合され,ベルやホイッスルを使わずに改善されている。
  論文  参考訳（メタデータ） (2022-07-30T02:07:46Z)
• Deep Recursive Embedding for High-Dimensional Data [9.611123249318126]
  本稿では,DNN(Deep Neural Network)と高次元データ埋め込みのための数学誘導埋め込みルールを組み合わせることを提案する。 本稿では,高次元空間から低次元空間へのパラメトリックマッピングを学習可能な汎用ディープ埋め込みネットワーク(DEN)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-31T23:22:33Z)
• Two-Dimensional Semi-Nonnegative Matrix Factorization for Clustering [50.43424130281065]
  TS-NMFと呼ばれる2次元(2次元)データに対する新しい半負行列分解法を提案する。 前処理ステップで2次元データをベクトルに変換することで、データの空間情報に深刻なダメージを与える既存の手法の欠点を克服する。
  論文  参考訳（メタデータ） (2020-05-19T05:54:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。