論文の概要: Token-based Decision Criteria Are Suboptimal in In-context Learning
- arxiv url: http://arxiv.org/abs/2406.16535v2
- Date: Wed, 16 Oct 2024 12:00:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-17 13:40:15.991238
- Title: Token-based Decision Criteria Are Suboptimal in In-context Learning
- Title(参考訳): トークンに基づく意思決定基準は文脈内学習において最適である
- Authors: Hakaze Cho, Yoshihiro Sakai, Mariko Kato, Kenshiro Tanaka, Akira Ishii, Naoya Inoue,
- Abstract要約: In-Context Learning (ICL) は通常、手動で選択したラベルトークンの出力確率から分類基準を利用する。
このようなトークンベースの分類基準は、最適下決定境界につながると我々は主張する。
トークン確率を放棄し,LMの最後の隠蔽状態に最も近いセントロイドを使用するHiddenを提案する。
- 参考スコア(独自算出の注目度): 2.2973949268669562
- License:
- Abstract: In-Context Learning (ICL) typically utilizes classification criteria from output probabilities of manually selected label tokens. However, we argue that such token-based classification criteria lead to suboptimal decision boundaries, despite delicate calibrations through translation and constrained rotation applied. To address this problem, we propose Hidden Calibration, which renounces token probabilities and uses the nearest centroid classifier on the LM's last hidden states. In detail, we assign the label of the nearest centroid previously estimated from a calibration set to the test sample as the predicted label. Our experiments on 6 models and 10 classification datasets indicate that Hidden Calibration consistently outperforms current token-based baselines by about 20%~50%, achieving a strong state-of-the-art in ICL. Our further analysis demonstrates that Hidden Calibration finds better classification criteria with less inter-class overlap, and LMs provide linearly separable intra-class clusters with the help of demonstrations, which supports Hidden Calibration and gives new insights into the principle of ICL.
- Abstract(参考訳): In-Context Learning (ICL) は通常、手動で選択したラベルトークンの出力確率から分類基準を利用する。
しかし、このようなトークンに基づく分類基準は、翻訳と制約付き回転による微妙な校正にもかかわらず、最適下決定境界につながると論じる。
この問題に対処するために,トークン確率を放棄し,LMの最後の隠蔽状態に最も近いセントロイド分類器を使用するHidden Calibrationを提案する。
そこで本研究では,実験試料のキャリブレーションセットから推定した最寄りのセントロイドのラベルを,予測ラベルとして割り当てる。
6つのモデルと10の分類データセットに関する実験により、隠れキャリブレーションは現在のトークンベースベースラインを約20%~50%上回り、ICLの強い最先端を実現していることが示された。
さらに分析した結果,Hidden Calibrationはクラス間重複を少なくしてより良い分類基準を示し,LMはHidden Calibrationをサポートし,ICLの原理に新たな洞察を与える実演による線形分離可能なクラス内クラスタを提供することがわかった。
関連論文リスト
- ProTeCt: Prompt Tuning for Taxonomic Open Set Classification [59.59442518849203]
分類学的オープンセット(TOS)設定では、ほとんどショット適応法はうまくいきません。
本稿では,モデル予測の階層的一貫性を校正する即時チューニング手法を提案する。
次に,階層整合性のための新しいPrompt Tuning(ProTeCt)手法を提案し,ラベル集合の粒度を分類する。
論文 参考訳(メタデータ) (2023-06-04T02:55:25Z) - Parametric Classification for Generalized Category Discovery: A Baseline
Study [70.73212959385387]
Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。
パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。
エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
論文 参考訳(メタデータ) (2022-11-21T18:47:11Z) - Complementary Labels Learning with Augmented Classes [22.460256396941528]
補完ラベル学習 (Complementary Labels Learning, CLL) は、プライベート質問分類やオンライン学習など、現実世界の多くのタスクに現れる。
CLLAC(Complementary Labels Learning with Augmented Classs)と呼ばれる新しい問題設定を提案する。
ラベルのないデータを用いて,CLLACの分類リスクの偏りのない推定手法を提案する。
論文 参考訳(メタデータ) (2022-11-19T13:55:27Z) - Estimating Classification Confidence Using Kernel Densities [0.0]
本稿では,「探索的」機械学習分類問題に対する信頼性のポストホック校正について検討する。
カテゴリー固有の信頼度推定の慣用性を扱うために設計された4つの新しいアルゴリズムを導入・テストする。
論文 参考訳(メタデータ) (2022-07-13T21:57:44Z) - Hidden Heterogeneity: When to Choose Similarity-Based Calibration [12.788224825185633]
ブラックボックスキャリブレーション法は、キャリブレーションが予測精度を向上させるサブポレーションを検出することができない。
隠れ不均一性(HH)の定量的尺度を提案する。
実験により, 類似度に基づくキャリブレーション法によって達成されたキャリブレーションの改善は, 現在あるHH量と相関し, 十分なキャリブレーションデータを得た場合, 大域的なキャリブレーション法で達成したキャリブレーションを概ね上回っていることがわかった。
論文 参考訳(メタデータ) (2022-02-03T20:43:25Z) - When in Doubt: Improving Classification Performance with Alternating
Normalization [57.39356691967766]
分類のための非パラメトリック後処理ステップである交互正規化(CAN)を用いた分類を導入する。
CANは、予測されたクラス確率分布を再調整することで、挑戦的な例の分類精度を向上させる。
多様な分類課題にまたがってその効果を実証的に示す。
論文 参考訳(メタデータ) (2021-09-28T02:55:42Z) - Rethinking Pseudo Labels for Semi-Supervised Object Detection [84.697097472401]
物体検出に適した確実な擬似ラベルを導入する。
我々は,クラス不均衡問題を緩和するために,各カテゴリの擬似ラベルと再重み付き損失関数を生成するために使用する閾値を動的に調整する。
提案手法では,COCOのラベル付きデータのみを用いて,教師付きベースラインを最大10%改善する。
論文 参考訳(メタデータ) (2021-06-01T01:32:03Z) - Binary Classification from Multiple Unlabeled Datasets via Surrogate Set
Classification [94.55805516167369]
我々は m 個の U 集合を $mge2$ で二進分類する新しい手法を提案する。
我々のキーとなる考え方は、サロゲート集合分類(SSC)と呼ばれる補助的分類タスクを考えることである。
論文 参考訳(メタデータ) (2021-02-01T07:36:38Z) - Multi-Class Uncertainty Calibration via Mutual Information
Maximization-based Binning [8.780958735684958]
ポストホック多クラスキャリブレーションは、ディープニューラルネットワーク予測の信頼度推定を提供する一般的なアプローチである。
近年の研究では、広く使われているスケーリング手法がキャリブレーション誤差を過小評価していることが示されている。
類似クラス間で1つのキャリブレータを共有する共有クラスワイド(sCW)キャリブレーション戦略を提案する。
論文 参考訳(メタデータ) (2020-06-23T15:31:59Z) - Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。
古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。
提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文 参考訳(メタデータ) (2020-06-23T07:18:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。