論文の概要: Augmentation Invariant Manifold Learning
- arxiv url: http://arxiv.org/abs/2211.00460v2
- Date: Sun, 26 Nov 2023 19:20:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 17:33:01.643294
- Title: Augmentation Invariant Manifold Learning
- Title（参考訳）: 拡張不変マニフォールド学習
- Authors: Shulei Wang
- Abstract要約: 本稿では,拡張不変多様体学習と呼ばれる新しい表現学習手法を提案する。
既存の自己教師付き手法と比較して、新しい手法は多様体の幾何学的構造と拡張データの不変性を同時に活用する。
提案手法におけるデータ拡張の役割を理論的研究により明らかにし, 下流解析において, 拡張データから得られたデータ表現が$k$-nearestの隣人を改善できる理由と方法を明らかにした。
- 参考スコア（独自算出の注目度）: 0.5827521884806071
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data augmentation is a widely used technique and an essential ingredient in
the recent advance in self-supervised representation learning. By preserving
the similarity between augmented data, the resulting data representation can
improve various downstream analyses and achieve state-of-the-art performance in
many applications. Despite the empirical effectiveness, most existing methods
lack theoretical understanding under a general nonlinear setting. To fill this
gap, we develop a statistical framework on a low-dimension product manifold to
model the data augmentation transformation. Under this framework, we introduce
a new representation learning method called augmentation invariant manifold
learning and design a computationally efficient algorithm by reformulating it
as a stochastic optimization problem. Compared with existing self-supervised
methods, the new method simultaneously exploits the manifold's geometric
structure and invariant property of augmented data and has an explicit
theoretical guarantee. Our theoretical investigation characterizes the role of
data augmentation in the proposed method and reveals why and how the data
representation learned from augmented data can improve the $k$-nearest neighbor
classifier in the downstream analysis, showing that a more complex data
augmentation leads to more improvement in downstream analysis. Finally,
numerical experiments on simulated and real datasets are presented to
demonstrate the merit of the proposed method.
- Abstract（参考訳）: データ拡張は、近年の自己教師型表現学習の進歩において、広く使われている技法であり、重要な要素である。
拡張データ間の類似性を維持することにより、結果として得られるデータ表現は、様々な下流解析を改善し、多くのアプリケーションで最先端のパフォーマンスを達成することができる。
経験的効果にもかかわらず、既存のほとんどの手法は一般的な非線形条件下での理論的な理解を欠いている。
このギャップを埋めるために、データ拡張変換をモデル化する低次元積多様体上の統計フレームワークを開発する。
本フレームワークでは,拡張不変多様体学習と呼ばれる新しい表現学習手法を導入し,確率的最適化問題として再構成して計算効率の高いアルゴリズムを設計する。
従来の自己教師付き手法と比較して、新しい手法は多様体の幾何構造と拡張データの不変性を同時に利用し、明確な理論的保証を有する。
提案手法におけるデータ拡張の役割を考察し,より複雑なデータ拡張が下流分析の改善につながることを示すために,下流解析において拡張データから得られたデータ表現が$k$-nearest 隣の分類器を改善する方法と方法を明らかにする。
最後に,シミュレーションおよび実データを用いた数値実験を行い,提案手法の有効性を示す。
関連論文リスト
- Distribution-Aware Data Expansion with Diffusion Models [55.979857976023695]
本研究では,分散型拡散モデルに基づくトレーニングフリーなデータ拡張フレームワークであるDistDiffを提案する。
DistDiffは、オリジナルデータのみにトレーニングされたモデルと比較して、さまざまなデータセットの精度を一貫して向上させる。
論文 参考訳（メタデータ） (2024-03-11T14:07:53Z) - Nonparametric Automatic Differentiation Variational Inference with
Spline Approximation [7.5620760132717795]
複雑な構造を持つ分布に対するフレキシブルな後続近似を可能にする非パラメトリック近似法を開発した。
広く使われている非パラメトリック推論手法と比較して,提案手法は実装が容易であり,様々なデータ構造に適応する。
実験では, 複雑な後続分布の近似における提案手法の有効性を実証し, 不完全データを用いた生成モデルの性能向上を図った。
論文 参考訳（メタデータ） (2024-03-10T20:22:06Z) - Understanding Augmentation-based Self-Supervised Representation Learning
via RKHS Approximation and Regression [53.15502562048627]
最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。
この研究は、増強に基づく事前訓練の統計的分析に発展する。
論文 参考訳（メタデータ） (2023-06-01T15:18:55Z) - On Counterfactual Data Augmentation Under Confounding [30.76982059341284]
トレーニングデータのバイアスを緩和する手段として、対実データ拡張が出現している。
これらのバイアスは、データ生成プロセスにおいて観測され、観測されていない様々な共役変数によって生じる。
提案手法は,既存の最先端手法が優れた結果を得るのにどのように役立つかを示す。
論文 参考訳（メタデータ） (2023-05-29T16:20:23Z) - Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。
状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。
特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-17T00:26:31Z) - Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。
データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。
この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
論文 参考訳（メタデータ） (2022-09-29T18:11:01Z) - Generalised Latent Assimilation in Heterogeneous Reduced Spaces with
Machine Learning Surrogate Models [10.410970649045943]
我々は,低次サロゲートモデルと新しいデータ同化手法を組み合わせたシステムを開発した。
一般化された潜在同化は、低次モデリングによって提供される効率とデータ同化の精度の両方の恩恵を受けることができる。
論文 参考訳（メタデータ） (2022-04-07T15:13:12Z) - Nonparametric Functional Analysis of Generalized Linear Models Under
Nonlinear Constraints [0.0]
本稿では、一般化線形モデルのための新しい非パラメトリック方法論を紹介する。
これは二項回帰の強さとカテゴリーデータに対する潜在変数の定式化の強さを組み合わせたものである。
これは最近公開された方法論のパラメトリックバージョンを拡張し、一般化する。
論文 参考訳（メタデータ） (2021-10-11T04:49:59Z) - Hierarchical regularization networks for sparsification based learning
on noisy datasets [0.0]
階層は、連続的により微細なスケールで特定される近似空間から従う。
各スケールでのモデル一般化を促進するため,複数次元にわたる新規な射影型ペナルティ演算子も導入する。
その結果、合成データセットと実データセットの両方において、データ削減およびモデリング戦略としてのアプローチの性能が示された。
論文 参考訳（メタデータ） (2020-06-09T18:32:24Z) - On the Benefits of Invariance in Neural Networks [56.362579457990094]
データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。
また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
論文 参考訳（メタデータ） (2020-05-01T02:08:58Z) - Generative Data Augmentation for Commonsense Reasoning [75.26876609249197]
G-DAUGCは、低リソース環境でより正確で堅牢な学習を実現することを目的とした、新しい生成データ拡張手法である。
G-DAUGCは、バックトランスレーションに基づく既存のデータ拡張手法を一貫して上回っている。
分析の結果,G-DAUGCは多種多様な流線型学習例を産出し,その選択と学習アプローチが性能向上に重要であることが示された。
論文 参考訳（メタデータ） (2020-04-24T06:12:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。