論文の概要: Why Mixup Improves the Model Performance
- arxiv url: http://arxiv.org/abs/2006.06231v4
- Date: Fri, 18 Jun 2021 01:50:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 09:55:05.682991
- Title: Why Mixup Improves the Model Performance
- Title(参考訳): Mixupがモデルパフォーマンスを改善する理由
- Authors: Masanari Kimura
- Abstract要約: Mixupは、最近提案された正規化手順であり、ランダムなトレーニング例のペアを線形に補間する。
本研究は, 統計学習理論の観点から, ミックスアップがうまく機能する理由を明らかにすることを目的としている。
- 参考スコア(独自算出の注目度): 2.3859169601259347
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning techniques are used in a wide range of domains. However,
machine learning models often suffer from the problem of over-fitting. Many
data augmentation methods have been proposed to tackle such a problem, and one
of them is called mixup. Mixup is a recently proposed regularization procedure,
which linearly interpolates a random pair of training examples. This
regularization method works very well experimentally, but its theoretical
guarantee is not adequately discussed. In this study, we aim to discover why
mixup works well from the aspect of the statistical learning theory.
- Abstract(参考訳): 機械学習技術は幅広い領域で使われている。
しかし、機械学習モデルは、しばしば過剰フィッティングの問題に苦しむ。
このような問題に対処するために多くのデータ拡張手法が提案されており、そのうちの1つはmixupと呼ばれる。
mixupは、ランダムなトレーニング例を線形に補間する、最近提案された正規化手順である。
この正規化法は非常に実験的に機能するが、理論上の保証は十分に議論されていない。
本研究では,統計学習理論の側面からmixupがうまく機能する理由を明らかにすることを目的としている。
関連論文リスト
- Fast Semisupervised Unmixing Using Nonconvex Optimization [80.11512905623417]
半/ライブラリベースのアンミックスのための新しい凸凸モデルを提案する。
スパース・アンミキシングの代替手法の有効性を実証する。
論文 参考訳(メタデータ) (2024-01-23T10:07:41Z) - The Benefits of Mixup for Feature Learning [117.93273337740442]
最初に、機能やラベルに異なる線形パラメータを使用するMixupは、標準Mixupと同様のパフォーマンスが得られることを示す。
我々は、特徴雑音データモデルを検討し、Mixupトレーニングが共通の特徴と組み合わせることで、稀な特徴を効果的に学習できることを示します。
対照的に、標準的なトレーニングは共通の特徴しか学べないが、まれな特徴を学べないため、パフォーマンスが悪くなる。
論文 参考訳(メタデータ) (2023-03-15T08:11:47Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Network Estimation by Mixing: Adaptivity and More [2.3478438171452014]
我々は、利用可能な任意のモデルを利用して、個々のパフォーマンスを改善する混合戦略を提案する。
提案手法は計算効率が高く,チューニングがほとんどない。
提案手法は,真のモデルが個々の候補に含まれる場合のオラクル推定と同等に動作することを示す。
論文 参考訳(メタデータ) (2021-06-05T05:17:04Z) - Mixtures of Gaussian Processes for regression under multiple prior
distributions [0.0]
ガウス過程回帰のための混合モデルの概念を拡張し、複数の先行する信念を同時に扱う。
本手法は,関数回帰問題における先行的誤特定の問題を考慮に入れたものである。
論文 参考訳(メタデータ) (2021-04-19T10:19:14Z) - Contrastive learning of strong-mixing continuous-time stochastic
processes [53.82893653745542]
コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。
拡散の場合,小~中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
論文 参考訳(メタデータ) (2021-03-03T23:06:47Z) - How Does Mixup Help With Robustness and Generalization? [41.58255103170875]
トレーニングにおけるMixupの使用は、堅牢性と一般化のモデル化にどのように役立つかを示す。
強靭性については, 混合損失の最小化は, 対向損失の上限をほぼ最小化することを示す。
一般化のために、Mixupの拡張は、オーバーフィッティングを減らすデータ適応正規化の特定のタイプに対応することを証明した。
論文 参考訳(メタデータ) (2020-10-09T21:38:14Z) - End-to-End Training of CNN Ensembles for Person Re-Identification [0.0]
本稿では,識別モデルにおける過剰適合問題に対処するため,個人再識別のためのエンドツーエンドアンサンブル手法を提案する。
提案するアンサンブル学習フレームワークは,1つのDenseNetで多種多様な,正確なベースラーニングを行う。
いくつかのベンチマークデータセットを用いた実験により,本手法が最先端の結果を得ることを示す。
論文 参考訳(メタデータ) (2020-10-03T12:40:13Z) - Density Fixing: Simple yet Effective Regularization Method based on the
Class Prior [2.3859169601259347]
本稿では,教師付き・半教師付き学習によく用いられる密度固定法という正規化手法の枠組みを提案する。
提案手法は,モデルの事前分布や発生頻度を近似させることで,一般化性能を向上させる。
論文 参考訳(メタデータ) (2020-07-08T04:58:22Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-22T21:12:31Z) - Learning the Truth From Only One Side of the Story [58.65439277460011]
一般化線形モデルに焦点をあて、このサンプリングバイアスを調整しなければ、モデルは準最適に収束するか、あるいは最適解に収束しないかもしれないことを示す。
理論的保証を伴って適応的なアプローチを提案し、いくつかの既存手法を実証的に上回っていることを示す。
論文 参考訳(メタデータ) (2020-06-08T18:20:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。