論文の概要: On the Calibration of Pre-trained Language Models using Mixup Guided by Area Under the Margin and Saliency

• arxiv url: http://arxiv.org/abs/2203.07559v1
• Date: Mon, 14 Mar 2022 23:45:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-16 13:04:34.257581
• Title: On the Calibration of Pre-trained Language Models using Mixup Guided by Area Under the Margin and Saliency
• Title（参考訳）: マージン・サリエンシー下の領域案内によるミックスアップを用いた事前学習言語モデルの校正について
• Authors: Seo Yeon Park and Cornelia Caragea
• Abstract要約: モデルキャリブレーションをさらに改善する事前学習型言語モデルのための新しい混合戦略を提案する。 本手法は,ドメイン内およびドメイン外テストサンプルの強いベースラインと比較して,最小のキャリブレーション誤差を実現する。
• 参考スコア（独自算出の注目度）: 47.90235939359225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A well-calibrated neural model produces confidence (probability outputs) closely approximated by the expected accuracy. While prior studies have shown that mixup training as a data augmentation technique can improve model calibration on image classification tasks, little is known about using mixup for model calibration on natural language understanding (NLU) tasks. In this paper, we explore mixup for model calibration on several NLU tasks and propose a novel mixup strategy for pre-trained language models that improves model calibration further. Our proposed mixup is guided by both the Area Under the Margin (AUM) statistic (Pleiss et al., 2020) and the saliency map of each sample (Simonyan et al.,2013). Moreover, we combine our mixup strategy with model miscalibration correction techniques (i.e., label smoothing and temperature scaling) and provide detailed analyses of their impact on our proposed mixup. We focus on systematically designing experiments on three NLU tasks: natural language inference, paraphrase detection, and commonsense reasoning. Our method achieves the lowest expected calibration error compared to strong baselines on both in-domain and out-of-domain test samples while maintaining competitive accuracy.
• Abstract（参考訳）: well-calibrated neural model は、期待される精度に密接に近似した信頼度(確率出力)を生成する。 データ強化技術としてのミックスアップトレーニングは、画像分類タスクのモデル校正を改善することができるが、自然言語理解(NLU)タスクのモデル校正にミックスアップを使うことについてはほとんど知られていない。 本稿では,複数のNLUタスクにおけるモデルキャリブレーションのミックスアップについて検討し,モデルキャリブレーションをさらに改善する事前学習言語モデルのミックスアップ戦略を提案する。 提案手法は,AUM (Area Under the Margin) 統計学 (Pleiss et al., 2020) と各試料の塩分濃度マップ (Simonyan et al., 2013) によって導かれる。 さらに,混合戦略とモデル誤校正補正手法(ラベルの平滑化と温度スケーリング)を組み合わせ,提案した混合方法への影響を詳細に分析した。 我々は,自然言語推論,パラフレーズ検出,コモンセンス推論という3つのNLUタスクに関する実験を体系的に設計することに集中する。 本手法は, 競合精度を維持しつつ, ドメイン内およびドメイン外テストサンプルの強いベースラインよりも低いキャリブレーション誤差を実現する。

関連論文リスト

• Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance [55.872926690722714]
  本研究では,関数形式の混合比に関するモデル性能の予測可能性について検討する。 トレーニングステップのスケーリング法則,モデルサイズ,データ混合法則のネスト利用を提案する。 提案手法は,RedPajamaにおける100Bトークンをトレーニングした1Bモデルのトレーニング混合物を効果的に最適化する。
  論文  参考訳（メタデータ） (2024-03-25T17:14:00Z)
• Probabilistic Calibration by Design for Neural Network Regression [2.3020018305241337]
  本稿では,量子校正トレーニングと呼ばれる新しいエンドツーエンドモデルトレーニング手法を提案する。 57の回帰データセットを含む大規模実験において,本手法の性能を実証した。
  論文  参考訳（メタデータ） (2024-03-18T17:04:33Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Calibration of Neural Networks [77.34726150561087]
  本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。 我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。 実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
  論文  参考訳（メタデータ） (2023-03-19T20:27:51Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• On the Importance of Calibration in Semi-supervised Learning [13.859032326378188]
  State-of-the-art (SOTA) の半教師付き学習(SSL)手法はラベル付きデータとラベルなしデータの混在を活用することに成功している。 我々は、キャリブレーションを最適化し、標準ビジョンベンチマークでその有効性を実証する新しいSSLモデル群を紹介します。
  論文  参考訳（メタデータ） (2022-10-10T15:41:44Z)
• Prototypical Calibration for Few-shot Learning of Language Models [84.5759596754605]
  GPTライクなモデルは、さまざまな手作りテンプレートやデモ順列にまたがる脆弱であると認識されている。 ゼロショットと少数ショットの分類において、より堅牢な決定境界を適応的に学習するためのプロトタイプキャリブレーションを提案する。 提案手法は決定境界を期待通りに校正し,テンプレート,置換,クラス不均衡に対するGPTの堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-05-20T13:50:07Z)
• When and How Mixup Improves Calibration [19.11486078732542]
  多くの機械学習アプリケーションでは、モデルが予測の不確実性を正確に把握する信頼スコアを提供することが重要である。 本論文では,Mixupが2つの自然データモデルを用いてテキスト次元設定のキャリブレーションを改善することを理論的に証明する。 ラベルのないデータを組み込むことでモデルの校正が低下することもあるが、ミックスアップトレーニングを追加することで校正が改善される。
  論文  参考訳（メタデータ） (2021-02-11T22:24:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。