論文の概要: Tailoring Mixup to Data using Kernel Warping functions

• arxiv url: http://arxiv.org/abs/2311.01434v1
• Date: Thu, 2 Nov 2023 17:48:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 12:22:53.094031
• Title: Tailoring Mixup to Data using Kernel Warping functions
• Title（参考訳）: カーネルワープ機能を用いたデータへの混合処理
• Authors: Quentin Bouniot, Pavlo Mozharovskyi, Florence d'Alch\'e-Buc
• Abstract要約: トレーニングデータポイントの線形拡張(mixupとも呼ばれる)は、アプリケーションの大規模なパネルに有効であることが判明した。 本稿では,各点データ間の類似度に応じて,ワープ関数によって係数の基底分布を動的に変化させることを提案する。
• 参考スコア（独自算出の注目度）: 6.03891813540831
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data augmentation is an essential building block for learning efficient deep learning models. Among all augmentation techniques proposed so far, linear interpolation of training data points, also called mixup, has found to be effective for a large panel of applications. While the majority of works have focused on selecting the right points to mix, or applying complex non-linear interpolation, we are interested in mixing similar points more frequently and strongly than less similar ones. To this end, we propose to dynamically change the underlying distribution of interpolation coefficients through warping functions, depending on the similarity between data points to combine. We define an efficient and flexible framework to do so without losing in diversity. We provide extensive experiments for classification and regression tasks, showing that our proposed method improves both performance and calibration of models. Code available in https://github.com/ENSTA-U2IS/torch-uncertainty
• Abstract（参考訳）: データ拡張は、効率的なディープラーニングモデルを学ぶために不可欠なビルディングブロックである。 これまでに提案されている拡張手法の中で、トレーニングデータポイントの線形補間(mixupとも呼ばれる)は、大規模なアプリケーションで有効であることが判明した。 多くの作品が混合する適切な点の選択や複雑な非線形補間に焦点を当てているが、類似点をより頻繁に強く混合することに関心を持っている。 そこで本稿では,データ点間の類似度に応じて,ワープ関数によって補間係数の基底分布を動的に変化させることを提案する。 多様性を損なうことなく、効率的で柔軟なフレームワークを定義します。 分類と回帰タスクに関する広範な実験を行い,提案手法がモデルの性能とキャリブレーションの両方を改善することを示した。 https://github.com/ENSTA-U2IS/torch-uncertaintyで利用可能なコード

関連論文リスト

• SUMix: Mixup with Semantic and Uncertain Information [41.99721365685618]
  混合データ拡張アプローチは、ディープラーニングの様々なタスクに応用されている。 そこで我々は,SUMix という新しい手法を提案し,混合率と混合試料の不確かさを学習する。
  論文  参考訳（メタデータ） (2024-07-10T16:25:26Z)
• Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance [55.872926690722714]
  本研究では,関数形式の混合比に関するモデル性能の予測可能性について検討する。 トレーニングステップのスケーリング法則,モデルサイズ,データ混合法則のネスト利用を提案する。 提案手法は,RedPajamaにおける100Bトークンをトレーニングした1Bモデルのトレーニング混合物を効果的に最適化する。
  論文  参考訳（メタデータ） (2024-03-25T17:14:00Z)
• MixupE: Understanding and Improving Mixup from Directional Derivative Perspective [86.06981860668424]
  理論上は、バニラ・ミックスアップよりも優れた一般化性能を実現するために、Mixupの改良版を提案する。 提案手法は,様々なアーキテクチャを用いて,複数のデータセットにまたがるMixupを改善した。
  論文  参考訳（メタデータ） (2022-12-27T07:03:52Z)
• ScoreMix: A Scalable Augmentation Strategy for Training GANs with Limited Data [93.06336507035486]
  GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。 ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
  論文  参考訳（メタデータ） (2022-10-27T02:55:15Z)
• C-Mixup: Improving Generalization in Regression [71.10418219781575]
  混合アルゴリズムは、一対の例とその対応するラベルを線形補間することによって一般化を改善する。 ラベルの類似度に基づいてサンプリング確率を調整するC-Mixupを提案する。 C-Mixupは6.56%、4.76%、5.82%の改善、タスクの一般化、アウト・オブ・ディストリビューションの堅牢性を実現している。
  論文  参考訳（メタデータ） (2022-10-11T20:39:38Z)
• Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
  Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。 本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。 DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
  論文  参考訳（メタデータ） (2022-03-21T07:12:18Z)
• MixRL: Data Mixing Augmentation for Regression using Reinforcement Learning [2.1345682889327837]
  データ拡張のための既存のテクニックは、主に分類タスクに焦点を当てており、回帰タスクに簡単には適用できない。 その結果,大容量データとラベル距離の混合がモデル性能に悪影響を及ぼす可能性が示唆された。 そこで本研究では,データ拡張メタ学習フレームワークであるMixRLを提案する。
  論文  参考訳（メタデータ） (2021-06-07T07:01:39Z)
• When and How Mixup Improves Calibration [19.11486078732542]
  多くの機械学習アプリケーションでは、モデルが予測の不確実性を正確に把握する信頼スコアを提供することが重要である。 本論文では,Mixupが2つの自然データモデルを用いてテキスト次元設定のキャリブレーションを改善することを理論的に証明する。 ラベルのないデータを組み込むことでモデルの校正が低下することもあるが、ミックスアップトレーニングを追加することで校正が改善される。
  論文  参考訳（メタデータ） (2021-02-11T22:24:54Z)
• Co-Mixup: Saliency Guided Joint Mixup with Supermodular Diversity [15.780905917870427]
  バッチ混成データに対する新たな視点を提案し, バッチ混成データの最適構築を定式化する。 また,各ミニバッチ毎に効率的な混合を行うために,効率的なモジュール近似に基づく反復的部分モジュラー計算アルゴリズムを提案する。 実験により, 提案手法は, 技術一般化, キャリブレーション, および弱教師付き局所化結果の状態を達成できることを示した。
  論文  参考訳（メタデータ） (2021-02-05T09:12:02Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。