論文の概要: Tailoring Mixup to Data for Calibration
- arxiv url: http://arxiv.org/abs/2311.01434v2
- Date: Tue, 11 Jun 2024 12:22:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-13 00:58:30.819942
- Title: Tailoring Mixup to Data for Calibration
- Title(参考訳): 校正のためのデータに混ざり合わせる
- Authors: Quentin Bouniot, Pavlo Mozharovskyi, Florence d'Alché-Buc,
- Abstract要約: Mixupはキャリブレーションと予測の不確実性を改善する技術である。
この研究では、データ間の距離が混合されるにつれて、多様体の侵入の可能性が増加することを論じる。
本研究では, 混合する試料間の類似度に応じて, 係数の基底分布を動的に変化させることを提案する。
- 参考スコア(独自算出の注目度): 12.050401897136501
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Among all data augmentation techniques proposed so far, linear interpolation of training samples, also called Mixup, has found to be effective for a large panel of applications. Along with improved performance, Mixup is also a good technique for improving calibration and predictive uncertainty. However, mixing data carelessly can lead to manifold intrusion, i.e., conflicts between the synthetic labels assigned and the true label distributions, which can deteriorate calibration. In this work, we argue that the likelihood of manifold intrusion increases with the distance between data to mix. To this end, we propose to dynamically change the underlying distributions of interpolation coefficients depending on the similarity between samples to mix, and define a flexible framework to do so without losing in diversity. We provide extensive experiments for classification and regression tasks, showing that our proposed method improves performance and calibration of models, while being much more efficient. The code for our work is available at https://github.com/qbouniot/sim_kernel_mixup.
- Abstract(参考訳): これまで提案されてきたすべてのデータ拡張技術の中で、Mixupと呼ばれるトレーニングサンプルの線形補間は、大規模なアプリケーションパネルに有効であることが判明した。
パフォーマンスの改善に加えて、Mixupはキャリブレーションと予測の不確実性を改善するための優れたテクニックでもある。
しかし、データを不注意に混合すると、多様体の侵入、すなわち、割り当てられた合成ラベルと真のラベル分布との衝突が生じ、キャリブレーションが悪化する。
この研究では、データ間の距離が混合されるにつれて、多様体の侵入の可能性が増加することを論じる。
そこで本研究では,試料間の類似度に応じて補間係数の基底分布を動的に変化させることを提案し,多様性を損なうことなく適用可能なフレキシブルな枠組みを定義する。
提案手法はモデルの性能とキャリブレーションを改善するとともに,より効率的であることを示す。
私たちの作業のコードはhttps://github.com/qbouniot/sim_kernel_mixup.comで公開されています。
関連論文リスト
- SUMix: Mixup with Semantic and Uncertain Information [41.99721365685618]
混合データ拡張アプローチは、ディープラーニングの様々なタスクに応用されている。
そこで我々は,SUMix という新しい手法を提案し,混合率と混合試料の不確かさを学習する。
論文 参考訳(メタデータ) (2024-07-10T16:25:26Z) - Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance [55.872926690722714]
本研究では,関数形式の混合比に関するモデル性能の予測可能性について検討する。
トレーニングステップのスケーリング法則,モデルサイズ,データ混合法則のネスト利用を提案する。
提案手法は,RedPajamaにおける100Bトークンをトレーニングした1Bモデルのトレーニング混合物を効果的に最適化する。
論文 参考訳(メタデータ) (2024-03-25T17:14:00Z) - MixupE: Understanding and Improving Mixup from Directional Derivative
Perspective [86.06981860668424]
理論上は、バニラ・ミックスアップよりも優れた一般化性能を実現するために、Mixupの改良版を提案する。
提案手法は,様々なアーキテクチャを用いて,複数のデータセットにまたがるMixupを改善した。
論文 参考訳(メタデータ) (2022-12-27T07:03:52Z) - ScoreMix: A Scalable Augmentation Strategy for Training GANs with
Limited Data [93.06336507035486]
GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。
ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
論文 参考訳(メタデータ) (2022-10-27T02:55:15Z) - C-Mixup: Improving Generalization in Regression [71.10418219781575]
混合アルゴリズムは、一対の例とその対応するラベルを線形補間することによって一般化を改善する。
ラベルの類似度に基づいてサンプリング確率を調整するC-Mixupを提案する。
C-Mixupは6.56%、4.76%、5.82%の改善、タスクの一般化、アウト・オブ・ディストリビューションの堅牢性を実現している。
論文 参考訳(メタデータ) (2022-10-11T20:39:38Z) - Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。
本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。
DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
論文 参考訳(メタデータ) (2022-03-21T07:12:18Z) - MixRL: Data Mixing Augmentation for Regression using Reinforcement
Learning [2.1345682889327837]
データ拡張のための既存のテクニックは、主に分類タスクに焦点を当てており、回帰タスクに簡単には適用できない。
その結果,大容量データとラベル距離の混合がモデル性能に悪影響を及ぼす可能性が示唆された。
そこで本研究では,データ拡張メタ学習フレームワークであるMixRLを提案する。
論文 参考訳(メタデータ) (2021-06-07T07:01:39Z) - When and How Mixup Improves Calibration [19.11486078732542]
多くの機械学習アプリケーションでは、モデルが予測の不確実性を正確に把握する信頼スコアを提供することが重要である。
本論文では,Mixupが2つの自然データモデルを用いてテキスト次元設定のキャリブレーションを改善することを理論的に証明する。
ラベルのないデータを組み込むことでモデルの校正が低下することもあるが、ミックスアップトレーニングを追加することで校正が改善される。
論文 参考訳(メタデータ) (2021-02-11T22:24:54Z) - Co-Mixup: Saliency Guided Joint Mixup with Supermodular Diversity [15.780905917870427]
バッチ混成データに対する新たな視点を提案し, バッチ混成データの最適構築を定式化する。
また,各ミニバッチ毎に効率的な混合を行うために,効率的なモジュール近似に基づく反復的部分モジュラー計算アルゴリズムを提案する。
実験により, 提案手法は, 技術一般化, キャリブレーション, および弱教師付き局所化結果の状態を達成できることを示した。
論文 参考訳(メタデータ) (2021-02-05T09:12:02Z) - Evaluating Prediction-Time Batch Normalization for Robustness under
Covariate Shift [81.74795324629712]
我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。
予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。
この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
論文 参考訳(メタデータ) (2020-06-19T05:08:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。