論文の概要: Token-based Decision Criteria Are Suboptimal in In-context Learning

• arxiv url: http://arxiv.org/abs/2406.16535v1
• Date: Mon, 24 Jun 2024 11:16:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 15:04:12.058357
• Title: Token-based Decision Criteria Are Suboptimal in In-context Learning
• Title（参考訳）: トークンに基づく意思決定基準は文脈内学習において最適である
• Authors: Hakaze Cho, Yoshihiro Sakai, Mariko Kato, Kenshiro Tanaka, Akira Ishii, Naoya Inoue,
• Abstract要約: In-Context Learning (ICL) は通常、手動で選択したラベルトークンの確率から分類基準を利用する。 トークン確率を放棄し,LMの最後の隠蔽状態に最も近いセントロイドを使用するHiddenを提案する。 3つのモデルと10の分類データセットに関する実験は、Hiddenが現在のトークンベースのキャリブレーションを約20%上回っていることを示している。
• 参考スコア（独自算出の注目度）: 2.2973949268669562
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-Context Learning (ICL) typically utilizes classification criteria from probabilities of manually selected label tokens. However, we argue that such token-based classification criteria lead to suboptimal decision boundaries, despite delicate calibrations through translation and constrained rotation. To address this problem, we propose Hidden Calibration, which renounces token probabilities and uses the nearest centroid classifier on the LM's last hidden states. In detail, we use the nearest centroid classification on the hidden states, assigning the category of the nearest centroid previously observed from a few-shot calibration set to the test sample as the predicted label. Our experiments on 3 models and 10 classification datasets indicate that Hidden Calibration consistently outperforms current token-based calibrations by about 20%. Our further analysis demonstrates that Hidden Calibration finds better classification criteria with less inter-categories overlap, and LMs provide linearly separable intra-category clusters with the help of demonstrations, which supports Hidden Calibration and gives new insights into the conventional ICL.
• Abstract（参考訳）: In-Context Learning (ICL) は通常、手動で選択したラベルトークンの確率から分類基準を利用する。 しかし、このようなトークンベースの分類基準は、翻訳と制約付き回転による微妙な校正にもかかわらず、最適下決定境界につながると論じる。 この問題に対処するために,トークン確率を放棄し,LMの最後の隠蔽状態に最も近いセントロイド分類器を使用するHidden Calibrationを提案する。 詳細は,隠れ状態に最も近いセントロイド分類を用いて,数発のキャリブレーションセットから以前に観測された最も近いセントロイドのカテゴリを,テストサンプルに予測ラベルとして割り当てる。 3つのモデルと10の分類データセットに関する実験は、隠れキャリブレーションが現在のトークンベースのキャリブレーションを約20%上回っていることを示している。 さらに分析した結果,Hidden Calibration はカテゴリー間重複の少ないより良い分類基準が得られ,LM はHidden Calibration をサポートし,従来のICL に新たな洞察を与える実演の助けを借りて線形分離可能なカテゴリ内クラスタを提供することがわかった。

関連論文リスト

• ProTeCt: Prompt Tuning for Taxonomic Open Set Classification [59.59442518849203]
  分類学的オープンセット(TOS)設定では、ほとんどショット適応法はうまくいきません。 本稿では,モデル予測の階層的一貫性を校正する即時チューニング手法を提案する。 次に,階層整合性のための新しいPrompt Tuning(ProTeCt)手法を提案し,ラベル集合の粒度を分類する。
  論文  参考訳（メタデータ） (2023-06-04T02:55:25Z)
• Rapid Adaptation in Online Continual Learning: Are We Evaluating It Right? [135.71855998537347]
  オンライン連続学習(OCL)アルゴリズムの適応性を評価するための一般的な手法を,オンライン精度の指標を用いて再検討する。 空白のブラインド分類器でさえ、非現実的に高いオンライン精度を達成できるため、この指標は信頼できない。 既存のOCLアルゴリズムは、オンラインの精度も高いが、有用な情報の保持は不十分である。
  論文  参考訳（メタデータ） (2023-05-16T08:29:33Z)
• Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
  Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。 パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。 エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:47:11Z)
• Complementary Labels Learning with Augmented Classes [22.460256396941528]
  補完ラベル学習 (Complementary Labels Learning, CLL) は、プライベート質問分類やオンライン学習など、現実世界の多くのタスクに現れる。 CLLAC(Complementary Labels Learning with Augmented Classs)と呼ばれる新しい問題設定を提案する。 ラベルのないデータを用いて,CLLACの分類リスクの偏りのない推定手法を提案する。
  論文  参考訳（メタデータ） (2022-11-19T13:55:27Z)
• Estimating Classification Confidence Using Kernel Densities [0.0]
  本稿では,「探索的」機械学習分類問題に対する信頼性のポストホック校正について検討する。 カテゴリー固有の信頼度推定の慣用性を扱うために設計された4つの新しいアルゴリズムを導入・テストする。
  論文  参考訳（メタデータ） (2022-07-13T21:57:44Z)
• Rethinking Pseudo Labels for Semi-Supervised Object Detection [84.697097472401]
  物体検出に適した確実な擬似ラベルを導入する。 我々は,クラス不均衡問題を緩和するために,各カテゴリの擬似ラベルと再重み付き損失関数を生成するために使用する閾値を動的に調整する。 提案手法では,COCOのラベル付きデータのみを用いて,教師付きベースラインを最大10%改善する。
  論文  参考訳（メタデータ） (2021-06-01T01:32:03Z)
• In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
  Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。 そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-15T23:29:57Z)
• Local Temperature Scaling for Probability Calibration [22.069749881109992]
  本稿では,セマンティックセグメンテーションに着目した学習に基づくキャリブレーション手法を提案する。 具体的には、確率校正のための局所的な温度値を予測するために畳み込みニューラルネットワークを採用する。 COCO、CamVid、LPBA40データセットの実験では、さまざまなメトリクスのキャリブレーション性能が改善された。
  論文  参考訳（メタデータ） (2020-08-12T04:39:32Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)
• Mix-n-Match: Ensemble and Compositional Methods for Uncertainty Calibration in Deep Learning [21.08664370117846]
  我々は,Mix-n-Matchキャリブレーション戦略が,データ効率と表現力を大幅に向上することを示す。 標準評価プラクティスの潜在的な問題も明らかにします。 我々の手法はキャリブレーションと評価タスクの両方において最先端のソリューションより優れている。
  論文  参考訳（メタデータ） (2020-03-16T17:00:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。