論文の概要: When and How Mixup Improves Calibration

• arxiv url: http://arxiv.org/abs/2102.06289v1
• Date: Thu, 11 Feb 2021 22:24:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-15 13:07:33.996456
• Title: When and How Mixup Improves Calibration
• Title（参考訳）: mixupがキャリブレーションを改善する時期と方法
• Authors: Linjun Zhang, Zhun Deng, Kenji Kawaguchi, James Zou
• Abstract要約: 多くの機械学習アプリケーションでは、モデルが予測の不確実性を正確に把握する信頼スコアを提供することが重要である。 本論文では,Mixupが2つの自然データモデルを用いてテキスト次元設定のキャリブレーションを改善することを理論的に証明する。 ラベルのないデータを組み込むことでモデルの校正が低下することもあるが、ミックスアップトレーニングを追加することで校正が改善される。
• 参考スコア（独自算出の注目度）: 19.11486078732542
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many machine learning applications, it is important for the model to provide confidence scores that accurately captures its prediction uncertainty. Although modern learning methods have achieved great success in predictive accuracy, generating calibrated confidence scores remains a major challenge. Mixup, a popular yet simple data augmentation technique based on taking convex combinations of pairs of training examples, has been empirically found to significantly improve confidence calibration across diverse applications. However, when and how Mixup helps calibration is still mysterious. In this paper, we theoretically prove that Mixup improves calibration in \textit{high-dimensional} settings by investigating two natural data models on classification and regression. Interestingly, the calibration benefit of Mixup increases as the model capacity increases. We support our theories with experiments on common architectures and data sets. In addition, we study how Mixup improves calibration in semi-supervised learning. While incorporating unlabeled data can sometimes make the model less calibrated, adding Mixup training mitigates this issue and provably improves calibration. Our analysis provides new insights and a framework to understand Mixup and calibration.
• Abstract（参考訳）: 多くの機械学習アプリケーションでは、モデルが予測の不確実性を正確に把握する信頼スコアを提供することが重要である。 現代の学習方法は予測精度で大きな成功を収めているが、校正された信頼度スコアの生成は依然として大きな課題である。 Mixupは、一連のトレーニング例の凸組み合わせをベースとした、人気があるが単純なデータ拡張技術であり、様々なアプリケーションにおける信頼性校正を大幅に改善することが実証されている。 しかし、いつどのようにMixupがキャリブレーションを助けるかはまだ神秘的です。 本論文では,Mixupが分類と回帰に関する2つの自然データモデルを調べることにより,<textit{high-dimensional} 設定のキャリブレーションを改善することを理論的に証明する。 興味深いことに、Mixupのキャリブレーションの利点はモデルキャパシティの増加とともに増加する。 私たちは、共通アーキテクチャとデータセットの実験で理論を支持します。 さらに,半教師付き学習におけるmixupのキャリブレーション改善効果について検討した。 ラベルのないデータを組み込むことで、モデルのキャリブレーションが低下することがあるが、Mixupトレーニングを追加することでこの問題が軽減され、キャリブレーションが向上する。 私たちの分析は、Mixupとキャリブレーションを理解するための新しい洞察とフレームワークを提供します。

関連論文リスト

• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Tailoring Mixup to Data for Calibration [12.050401897136501]
  Mixupはキャリブレーションと予測の不確実性を改善する技術である。 この研究では、データ間の距離が混合されるにつれて、多様体の侵入の可能性が増加することを論じる。 本研究では, 混合する試料間の類似度に応じて, 係数の基底分布を動的に変化させることを提案する。
  論文  参考訳（メタデータ） (2023-11-02T17:48:28Z)
• Calibration of Neural Networks [77.34726150561087]
  本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。 我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。 実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
  論文  参考訳（メタデータ） (2023-03-19T20:27:51Z)
• A Close Look into the Calibration of Pre-trained Language Models [56.998539510508515]
  事前訓練された言語モデル(PLM)は、予測の不確かさを確実に見積もることに失敗する可能性がある。 トレーニングにおけるPLMの校正性能の動的変化について検討する。 最近提案された2つの学習可能な手法を拡張して、モデルを直接収集し、合理的な信頼度を推定する。
  論文  参考訳（メタデータ） (2022-10-31T21:31:07Z)
• On the Calibration of Pre-trained Language Models using Mixup Guided by Area Under the Margin and Saliency [47.90235939359225]
  モデルキャリブレーションをさらに改善する事前学習型言語モデルのための新しい混合戦略を提案する。 本手法は,ドメイン内およびドメイン外テストサンプルの強いベースラインと比較して,最小のキャリブレーション誤差を実現する。
  論文  参考訳（メタデータ） (2022-03-14T23:45:08Z)
• On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
  予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。 正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。 ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
  論文  参考訳（メタデータ） (2021-06-17T11:04:14Z)
• Combining Ensembles and Data Augmentation can Harm your Calibration [33.94335246681807]
  アンサンブルとデータ拡張を組み合わせることで、モデルのキャリブレーションを損なう可能性がある。 我々は,アンサンブルやデータ拡張のみを個別に使用することよりも,精度とキャリブレーションの利得を高い精度で達成し,両世界のベストを達成できる簡単な補正を提案する。
  論文  参考訳（メタデータ） (2020-10-19T21:25:22Z)
• Uncertainty Quantification and Deep Ensembles [79.4957965474334]
  ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。 そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。 このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
  論文  参考訳（メタデータ） (2020-07-17T07:32:24Z)
• Diverse Ensembles Improve Calibration [14.678791405731486]
  アンサンブルメンバーごとに異なるデータ拡張を用いてキャリブレーションを改善するための簡単な手法を提案する。 さらに,テストとトレーニングの分布が同じである場合のキャリブレーションを改善するために,拡張されていないインプットと拡張されたインプットを混合するというアイデアも活用する。
  論文  参考訳（メタデータ） (2020-07-08T15:48:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。