論文の概要: Augment on Manifold: Mixup Regularization with UMAP

• arxiv url: http://arxiv.org/abs/2312.13141v2
• Date: Mon, 22 Jan 2024 15:07:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 19:39:56.386706
• Title: Augment on Manifold: Mixup Regularization with UMAP
• Title（参考訳）: マニフォールドの強化:UMAPとの混合正規化
• Authors: Yousef El-Laham, Elizabeth Fons, Dillon Daudert, Svitlana Vyetrenko
• Abstract要約: 本稿では,深層学習予測モデルのための自動データ拡張のためのMixup正規化スキームUMAP Mixupを提案する。 提案手法により,Mixup演算により特徴量とラベルのデータ多様体上に合成されたサンプルが生成される。
• 参考スコア（独自算出の注目度）: 5.18337967156149
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data augmentation techniques play an important role in enhancing the performance of deep learning models. Despite their proven benefits in computer vision tasks, their application in the other domains remains limited. This paper proposes a Mixup regularization scheme, referred to as UMAP Mixup, designed for ``on-manifold" automated data augmentation for deep learning predictive models. The proposed approach ensures that the Mixup operations result in synthesized samples that lie on the data manifold of the features and labels by utilizing a dimensionality reduction technique known as uniform manifold approximation and projection. Evaluations across diverse regression tasks show that UMAP Mixup is competitive with or outperforms other Mixup variants, show promise for its potential as an effective tool for enhancing the generalization performance of deep learning models.
• Abstract（参考訳）: データ拡張技術はディープラーニングモデルの性能向上に重要な役割を果たしている。 コンピュータビジョンタスクの利点は証明されているが、他の領域での応用は限られている。 本稿では,ディープラーニング予測モデルのための 'on-manifold' 自動データ拡張のための混合正規化スキームである UMAP Mixup を提案する。 提案手法は,一様多様体近似および射影として知られる次元性低減技術を用いて,特徴やラベルのデータ多様体上に存在する合成サンプルを合成することを保証する。 多様な回帰タスクに対する評価は、UMAP Mixupが他のMixup亜種と競合する、あるいは優れており、ディープラーニングモデルの一般化性能を高める効果的なツールとしての可能性を示していることを示している。

関連論文リスト

• Model-Based Diffusion for Trajectory Optimization [8.943418808959494]
  データ無しで軌道最適化(TO)問題を解決するために拡散法を用いた最適化手法であるモデルベース拡散(MBD)を導入する。 MBDは外部データを必要としないが、様々な性質のデータと自然に統合して拡散過程を制御できる。 MBDは、最先端の強化学習とサンプリングベースのTOメソッドを上回り、コンタクトリッチなタスクに挑戦する。
  論文  参考訳（メタデータ） (2024-05-28T22:14:25Z)
• Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance [55.872926690722714]
  本研究では,関数形式の混合比に関するモデル性能の予測可能性について検討する。 トレーニングステップのスケーリング法則,モデルサイズ,データ混合法則のネスト利用を提案する。 提案手法は,RedPajamaにおける100Bトークンをトレーニングした1Bモデルのトレーニング混合物を効果的に最適化する。
  論文  参考訳（メタデータ） (2024-03-25T17:14:00Z)
• DP-Mix: Mixup-based Data Augmentation for Differentially Private Learning [10.971246386083884]
  本稿では,差分学習の制約に特化して設計された2つの新しいデータ拡張手法を提案する。 我々の最初のテクニックであるDP-Mix_Selfは、自己拡張データにミキサアップを施すことにより、さまざまなデータセットと設定にわたるSoTA分類性能を達成する。 第2の手法であるDP-Mix_Diffは、事前学習した拡散モデルから合成データを混合プロセスに組み込むことにより、さらなる性能向上を図る。
  論文  参考訳（メタデータ） (2023-11-02T15:12:12Z)
• MiAMix: Enhancing Image Classification through a Multi-stage Augmented Mixed Sample Data Augmentation Method [0.5919433278490629]
  マルチステージAugmented Mixupの略であるMiAMixという新しいミックスアップ手法を提案する。 MiAMixは、画像強化をミックスアップフレームワークに統合し、複数の多様化ミキシング法を同時に利用し、ミキシングマスク増強法をランダムに選択することでミキシング方法を改善する。 近年の手法では、サリエンシ情報を利用し、MiAMixは計算効率も向上し、オーバーヘッドを減らし、既存のトレーニングパイプラインに容易に統合できるようになっている。
  論文  参考訳（メタデータ） (2023-08-05T06:29:46Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Mixed Semi-Supervised Generalized-Linear-Regression with applications to Deep-Learning and Interpolators [6.537685198688539]
  本稿では、ラベルのないデータを用いて、半教師付き学習法(SSL)を設計する手法を提案する。 それぞれに$alpha$という混合パラメータが含まれており、ラベルのないデータに与えられる重みを制御する。 我々は,標準教師付きモデルと比較して,大幅な改善を実現するための方法論の有効性を実証する。
  論文  参考訳（メタデータ） (2023-02-19T09:55:18Z)
• Deep Variational Models for Collaborative Filtering-based Recommender Systems [63.995130144110156]
  ディープラーニングは、リコメンダシステムの結果を改善するために、正確な協調フィルタリングモデルを提供する。 提案するモデルは, 深層建築の潜伏空間において, 変分概念を注入性に適用する。 提案手法は, 入射雑音効果を超える変動エンリッチメントのシナリオにおいて, 提案手法の優位性を示す。
  論文  参考訳（メタデータ） (2021-07-27T08:59:39Z)
• Mean Embeddings with Test-Time Data Augmentation for Ensembling of Representations [8.336315962271396]
  表現のアンサンブルを考察し、MeTTA(Test-time augmentation)を用いた平均埋め込みを提案する。 MeTTAは、教師付きモデルと自己教師付きモデルの両方において、ImageNetの線形評価の質を大幅に向上させる。 我々は、より高品質な表現を推論するためにアンサンブルの成功を広めることが、多くの新しいアンサンブルアプリケーションを開く重要なステップであると信じている。
  論文  参考訳（メタデータ） (2021-06-15T10:49:46Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)
• Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks [75.69896269357005]
  Mixupは、入力例と対応するラベルを線形に補間する最新のデータ拡張技術である。 本稿では,自然言語処理タスクにmixupを適用する方法について検討する。 我々は、様々なNLPタスクに対して、mixup-transformerと呼ばれる、トランスフォーマーベースの事前学習アーキテクチャにmixupを組み込んだ。
  論文  参考訳（メタデータ） (2020-10-05T23:37:30Z)
• Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
  Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。 LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
  論文  参考訳（メタデータ） (2020-02-12T18:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。