論文の概要: Prototypical Calibration for Few-shot Learning of Language Models

• arxiv url: http://arxiv.org/abs/2205.10183v1
• Date: Fri, 20 May 2022 13:50:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-23 14:23:43.016041
• Title: Prototypical Calibration for Few-shot Learning of Language Models
• Title（参考訳）: 言語モデルのFew-shot学習のためのプロトタイプ校正
• Authors: Zhixiong Han, Yaru Hao, Li Dong, Furu Wei
• Abstract要約: GPTライクなモデルは、さまざまな手作りテンプレートやデモ順列にまたがる脆弱であると認識されている。 ゼロショットと少数ショットの分類において、より堅牢な決定境界を適応的に学習するためのプロトタイプキャリブレーションを提案する。 提案手法は決定境界を期待通りに校正し,テンプレート,置換,クラス不均衡に対するGPTの堅牢性を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 84.5759596754605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning of GPT-like models has been recognized as fragile across different hand-crafted templates, and demonstration permutations. In this work, we propose prototypical calibration to adaptively learn a more robust decision boundary for zero- and few-shot classification, instead of greedy decoding. Concretely, our method first adopts Gaussian mixture distribution to estimate the prototypical clusters for all categories. Then we assign each cluster to the corresponding label by solving a weighted bipartite matching problem. Given an example, its prediction is calibrated by the likelihood of prototypical clusters. Experimental results show that prototypical calibration yields a 15% absolute improvement on a diverse set of tasks. Extensive analysis across different scales also indicates that our method calibrates the decision boundary as expected, greatly improving the robustness of GPT to templates, permutations, and class imbalance.
• Abstract（参考訳）: GPTライクなモデルのコンテキスト内学習は、さまざまな手作りテンプレートやデモ順列にまたがる脆弱さとして認識されている。 そこで本研究では,ゼロと少数ショットの分類において,より堅牢な決定境界を適応的に学習するプロトタイプキャリブレーションを提案する。 具体的には,まずガウス混合分布を用いて全カテゴリの原型クラスタを推定する。 次に,重み付き2部マッチング問題を解くことにより,各クラスタを対応するラベルに割り当てる。 例として、その予測は原型クラスターの可能性によって調整される。 実験の結果,多種多様なタスクに対して15%の絶対的改善が得られた。 また,提案手法は予測通りに決定境界を校正し,テンプレート,置換,クラス不均衡に対するGPTの堅牢性を大幅に向上することを示す。

関連論文リスト

• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Twice Class Bias Correction for Imbalanced Semi-Supervised Learning [59.90429949214134]
  textbfTwice textbfClass textbfBias textbfCorrection (textbfTCBC) と呼ばれる新しいアプローチを導入する。 トレーニング過程におけるモデルパラメータのクラスバイアスを推定する。 非ラベル標本に対してモデルの擬似ラベルに二次補正を適用する。
  論文  参考訳（メタデータ） (2023-12-27T15:06:36Z)
• Multi-Head Multi-Loss Model Calibration [13.841172927454204]
  我々は,深層アンサンブルの訓練と推論に要する費用を省く,単純化されたアンサンブルの形式を導入する。 具体的には、各頭部は、重み付きクロスエントロピー損失を最小限に抑えるために訓練されるが、重みは異なる枝によって異なる。 その結果,2つの挑戦データセットにおいて精度を犠牲にすることなく,精度の高いキャリブレーションを達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-03-02T09:32:32Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• On the Calibration of Pre-trained Language Models using Mixup Guided by Area Under the Margin and Saliency [47.90235939359225]
  モデルキャリブレーションをさらに改善する事前学習型言語モデルのための新しい混合戦略を提案する。 本手法は,ドメイン内およびドメイン外テストサンプルの強いベースラインと比較して,最小のキャリブレーション誤差を実現する。
  論文  参考訳（メタデータ） (2022-03-14T23:45:08Z)
• Heterogeneous Calibration: A post-hoc model-agnostic framework for improved generalization [8.815439276597818]
  モデル出力にポストホックモデル非依存変換を適用した不均一キャリブレーションの概念を導入し、二項分類タスクにおけるAUC性能を改善する。 単純なパターンを特徴空間の不均一なパーティションと呼び、各パーティションの完全校正がAUCを個別に最適化することを理論的に示す。 このフレームワークの理論的最適性はどんなモデルにも当てはまるが、ディープニューラルネットワーク(DNN)に注目し、このパラダイムの最も単純なインスタンス化をさまざまなオープンソースデータセットでテストする。
  論文  参考訳（メタデータ） (2022-02-10T05:08:50Z)
• MBCT: Tree-Based Feature-Aware Binning for Individual Uncertainty Calibration [29.780204566046503]
  我々はMultiple Boosting Trees (MBCT)と呼ばれる特徴認識型バイナリフレームワークを提案する。 MBCTは非単調であり,学習可能なビンニング方式と個々のキャリブレーションにより,順序精度が向上する可能性がある。 その結果,本手法はキャリブレーション誤差と順序精度の両方で競合するモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-02-09T08:59:16Z)
• Learn then Test: Calibrating Predictive Algorithms to Achieve Risk Control [67.52000805944924]
  Learn then Test (LTT)は、機械学習モデルを校正するフレームワークである。 私たちの主な洞察は、リスクコントロール問題を複数の仮説テストとして再設計することです。 我々は、コンピュータビジョンの詳細な実例を用いて、コア機械学習タスクの新しいキャリブレーション手法を提供するために、我々のフレームワークを使用します。
  論文  参考訳（メタデータ） (2021-10-03T17:42:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。