論文の概要: Fill In The Gaps: Model Calibration and Generalization with Synthetic Data

• arxiv url: http://arxiv.org/abs/2410.10864v1
• Date: Mon, 07 Oct 2024 23:06:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-20 09:11:16.302085
• Title: Fill In The Gaps: Model Calibration and Generalization with Synthetic Data
• Title（参考訳）: ギャップを埋める: モデル校正と合成データによる一般化
• Authors: Yang Ba, Michelle V. Mancenido, Rong Pan,
• Abstract要約: 本稿では,合成データを精度良く組み込んだキャリブレーション手法を提案する。 本稿では,予測校正誤差(ECE)をPAC学習フレームワークを用いて導出する。 平均34%の精度, 33%のECE低下を認めた。
• 参考スコア（独自算出の注目度）: 2.89287673224661
• License:
• Abstract: As machine learning models continue to swiftly advance, calibrating their performance has become a major concern prior to practical and widespread implementation. Most existing calibration methods often negatively impact model accuracy due to the lack of diversity of validation data, resulting in reduced generalizability. To address this, we propose a calibration method that incorporates synthetic data without compromising accuracy. We derive the expected calibration error (ECE) bound using the Probably Approximately Correct (PAC) learning framework. Large language models (LLMs), known for their ability to mimic real data and generate text with mixed class labels, are utilized as a synthetic data generation strategy to lower the ECE bound and improve model accuracy on real test data. Additionally, we propose data generation mechanisms for efficient calibration. Testing our method on four different natural language processing tasks, we observed an average up to 34\% increase in accuracy and 33\% decrease in ECE.
• Abstract（参考訳）: 機械学習モデルは急速に進歩し続けており、その性能の校正は実用的で広範な実装に先立って大きな関心事となっている。 既存のキャリブレーション法の多くは、検証データの多様性の欠如によりモデル精度に悪影響を及ぼし、一般化性は低下する。 そこで本研究では,合成データを精度を損なわないキャリブレーション手法を提案する。 本稿では,予測校正誤差(ECE)をPAC学習フレームワークを用いて導出する。 大言語モデル(LLM)は、実データを模倣し、混合クラスラベルでテキストを生成する能力で知られ、ECE境界を低くし、実データ上でのモデル精度を向上させるための合成データ生成戦略として利用される。 さらに,効率的なキャリブレーションのためのデータ生成機構を提案する。 提案手法を4種類の自然言語処理タスクで検証したところ,平均34倍の精度向上と33倍のECE低下が確認された。

関連論文リスト

• Beware of Calibration Data for Pruning Large Language Models [41.1689082093302]
  トレーニング後のプルーニングは、リソース集約的な反復的なトレーニングを必要としない有望な方法である。 キャリブレーションデータの効果は, 先進的な刈り取り戦略を設計するよりもさらに価値が高いことを示す。 予備調査では、トレーニングデータに類似したキャリブレーションデータを使用することで、より良いパフォーマンスが得られることも明らかにした。
  論文  参考訳（メタデータ） (2024-10-23T09:36:21Z)
• Post-training Model Quantization Using GANs for Synthetic Data Generation [57.40733249681334]
  量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。 本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
  論文  参考訳（メタデータ） (2023-05-10T11:10:09Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• On the Importance of Calibration in Semi-supervised Learning [13.859032326378188]
  State-of-the-art (SOTA) の半教師付き学習(SSL)手法はラベル付きデータとラベルなしデータの混在を活用することに成功している。 我々は、キャリブレーションを最適化し、標準ビジョンベンチマークでその有効性を実証する新しいSSLモデル群を紹介します。
  論文  参考訳（メタデータ） (2022-10-10T15:41:44Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Combining Ensembles and Data Augmentation can Harm your Calibration [33.94335246681807]
  アンサンブルとデータ拡張を組み合わせることで、モデルのキャリブレーションを損なう可能性がある。 我々は,アンサンブルやデータ拡張のみを個別に使用することよりも,精度とキャリブレーションの利得を高い精度で達成し,両世界のベストを達成できる簡単な補正を提案する。
  論文  参考訳（メタデータ） (2020-10-19T21:25:22Z)
• Uncertainty Quantification and Deep Ensembles [79.4957965474334]
  ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。 そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。 このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
  論文  参考訳（メタデータ） (2020-07-17T07:32:24Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Mix-n-Match: Ensemble and Compositional Methods for Uncertainty Calibration in Deep Learning [21.08664370117846]
  我々は,Mix-n-Matchキャリブレーション戦略が,データ効率と表現力を大幅に向上することを示す。 標準評価プラクティスの潜在的な問題も明らかにします。 我々の手法はキャリブレーションと評価タスクの両方において最先端のソリューションより優れている。
  論文  参考訳（メタデータ） (2020-03-16T17:00:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。