論文の概要: Calibrate to Discriminate: Improve In-Context Learning with Label-Free Comparative Inference

• arxiv url: http://arxiv.org/abs/2410.02210v1
• Date: Thu, 3 Oct 2024 04:48:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 08:06:03.784689
• Title: Calibrate to Discriminate: Improve In-Context Learning with Label-Free Comparative Inference
• Title（参考訳）: Calibrate to Discriminate: ラベルなし比較推論による文脈学習の改善
• Authors: Wei Cheng, Tianlu Wang, Yanmin Ji, Fan Yang, Keren Tan, Yiyu Zheng,
• Abstract要約: 大規模言語モデル(LLM)を用いたインコンテキスト学習は、優れたパフォーマンスを示している。 我々は、正しい予測と間違った予測の両方が同一の信頼度に割り当てられるユニークな誤判定行動を発見した。 期待校正誤差(ECE)のような従来の校正基準は、この振る舞いを効果的に捉えることができない。
• 参考スコア（独自算出の注目度）: 16.634347506894798
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While in-context learning with large language models (LLMs) has shown impressive performance, we have discovered a unique miscalibration behavior where both correct and incorrect predictions are assigned the same level of confidence. We refer to this phenomenon as indiscriminate miscalibration. We found that traditional calibration metrics, such as Expected Calibrated Errors (ECEs), are unable to capture this behavior effectively. To address this issue, we propose new metrics to measure the severity of indiscriminate miscalibration. Additionally, we develop a novel in-context comparative inference method to alleviate miscalibrations and improve classification performance. Through extensive experiments on five datasets, we demonstrate that our proposed method can achieve more accurate and calibrated predictions compared to regular zero-shot and few-shot prompting.
• Abstract（参考訳）: 大規模言語モデル (LLM) を用いた文脈内学習は印象的な性能を示したが, 正確かつ誤った予測が同一の信頼度に割り当てられる独自の誤校正行動が発見された。 我々はこの現象を無差別な誤認と呼ぶ。 その結果,期待校正誤差(ECE)のような従来の校正基準では,この挙動を効果的に捉えられないことがわかった。 この問題に対処するために,不特定誤校正の重症度を測定するための新しい指標を提案する。 さらに,誤校正を緩和し,分類性能を向上させるために,文脈内比較推論法を開発した。 5つのデータセットに対する広範な実験により,提案手法は通常のゼロショットや少数ショットのプロンプトよりも精度が高く校正された予測が可能であることを実証した。

関連論文リスト

• Rethinking Early Stopping: Refine, Then Calibrate [49.966899634962374]
  校正誤差と校正誤差は,訓練中に同時に最小化されないことを示す。 我々は,早期停止とハイパーパラメータチューニングのための新しい指標を導入し,トレーニング中の改善誤差を最小限に抑える。 本手法は,任意のアーキテクチャとシームレスに統合し,多様な分類タスクにおける性能を継続的に向上する。
  論文  参考訳（メタデータ） (2025-01-31T15:03:54Z)
• Reassessing How to Compare and Improve the Calibration of Machine Learning Models [7.183341902583164]
  結果の予測確率がモデル予測に基づいてその結果の観測周波数と一致した場合、機械学習モデルを校正する。 キャリブレーションと予測の指標が追加の一般化の指標を伴わない限り、最先端のように見えるような簡単な再校正手法が存在することを示す。
  論文  参考訳（メタデータ） (2024-06-06T13:33:45Z)
• From Uncertainty to Precision: Enhancing Binary Classifier Performance through Calibration [0.3495246564946556]
  モデル予測スコアはイベント確率として一般的に見なされるので、キャリブレーションは正確な解釈に不可欠である。 歪み評価のための様々なキャリブレーション尺度の感度を解析し,改良された指標であるローカルスコアを導入する。 これらの知見をランダムフォレスト分類器と回帰器を用いて実世界のシナリオに適用し、キャリブレーションを同時に測定しながら信用デフォルトを予測する。
  論文  参考訳（メタデータ） (2024-02-12T16:55:19Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Variable-Based Calibration for Machine Learning Classifiers [11.9995808096481]
  モデルのキャリブレーション特性を特徴付けるために,変数ベースのキャリブレーションの概念を導入する。 ほぼ完全なキャリブレーション誤差を持つモデルでは,データの特徴の関数としてかなりの誤校正が期待できることがわかった。
  論文  参考訳（メタデータ） (2022-09-30T00:49:31Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)
• Learning to Predict Error for MRI Reconstruction [67.76632988696943]
  提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。 本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-02-13T15:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。