論文の概要: Token-based Decision Criteria Are Suboptimal in In-context Learning

• arxiv url: http://arxiv.org/abs/2406.16535v2
• Date: Wed, 16 Oct 2024 12:00:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:40:15.991238
• Title: Token-based Decision Criteria Are Suboptimal in In-context Learning
• Title（参考訳）: トークンに基づく意思決定基準は文脈内学習において最適である
• Authors: Hakaze Cho, Yoshihiro Sakai, Mariko Kato, Kenshiro Tanaka, Akira Ishii, Naoya Inoue,
• Abstract要約: In-Context Learning (ICL) は通常、手動で選択したラベルトークンの出力確率から分類基準を利用する。 このようなトークンベースの分類基準は、最適下決定境界につながると我々は主張する。 トークン確率を放棄し,LMの最後の隠蔽状態に最も近いセントロイドを使用するHiddenを提案する。
• 参考スコア（独自算出の注目度）: 2.2973949268669562
• License:
• Abstract: In-Context Learning (ICL) typically utilizes classification criteria from output probabilities of manually selected label tokens. However, we argue that such token-based classification criteria lead to suboptimal decision boundaries, despite delicate calibrations through translation and constrained rotation applied. To address this problem, we propose Hidden Calibration, which renounces token probabilities and uses the nearest centroid classifier on the LM's last hidden states. In detail, we assign the label of the nearest centroid previously estimated from a calibration set to the test sample as the predicted label. Our experiments on 6 models and 10 classification datasets indicate that Hidden Calibration consistently outperforms current token-based baselines by about 20%~50%, achieving a strong state-of-the-art in ICL. Our further analysis demonstrates that Hidden Calibration finds better classification criteria with less inter-class overlap, and LMs provide linearly separable intra-class clusters with the help of demonstrations, which supports Hidden Calibration and gives new insights into the principle of ICL.
• Abstract（参考訳）: In-Context Learning (ICL) は通常、手動で選択したラベルトークンの出力確率から分類基準を利用する。 しかし、このようなトークンに基づく分類基準は、翻訳と制約付き回転による微妙な校正にもかかわらず、最適下決定境界につながると論じる。 この問題に対処するために,トークン確率を放棄し,LMの最後の隠蔽状態に最も近いセントロイド分類器を使用するHidden Calibrationを提案する。 そこで本研究では,実験試料のキャリブレーションセットから推定した最寄りのセントロイドのラベルを,予測ラベルとして割り当てる。 6つのモデルと10の分類データセットに関する実験により、隠れキャリブレーションは現在のトークンベースベースラインを約20%～50%上回り、ICLの強い最先端を実現していることが示された。 さらに分析した結果,Hidden Calibrationはクラス間重複を少なくしてより良い分類基準を示し,LMはHidden Calibrationをサポートし,ICLの原理に新たな洞察を与える実演による線形分離可能なクラス内クラスタを提供することがわかった。

関連論文リスト

• Selective Classification Under Distribution Shifts [2.6541808384534478]
  選別分類において、分類器は過度なエラーを避けるために誤りとなる可能性のある予測を棄却する。 本稿では,分散シフトを考慮したSCフレームワークを提案する。 提案したスコア関数は、一般化されたSCのための既存のスコア関数よりも効果的で信頼性が高いことを示す。
  論文  参考訳（メタデータ） (2024-05-08T15:52:50Z)
• ProTeCt: Prompt Tuning for Taxonomic Open Set Classification [59.59442518849203]
  分類学的オープンセット(TOS)設定では、ほとんどショット適応法はうまくいきません。 本稿では,モデル予測の階層的一貫性を校正する即時チューニング手法を提案する。 次に,階層整合性のための新しいPrompt Tuning(ProTeCt)手法を提案し,ラベル集合の粒度を分類する。
  論文  参考訳（メタデータ） (2023-06-04T02:55:25Z)
• Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
  Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。 パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。 エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:47:11Z)
• Complementary Labels Learning with Augmented Classes [22.460256396941528]
  補完ラベル学習 (Complementary Labels Learning, CLL) は、プライベート質問分類やオンライン学習など、現実世界の多くのタスクに現れる。 CLLAC(Complementary Labels Learning with Augmented Classs)と呼ばれる新しい問題設定を提案する。 ラベルのないデータを用いて,CLLACの分類リスクの偏りのない推定手法を提案する。
  論文  参考訳（メタデータ） (2022-11-19T13:55:27Z)
• Estimating Classification Confidence Using Kernel Densities [0.0]
  本稿では,「探索的」機械学習分類問題に対する信頼性のポストホック校正について検討する。 カテゴリー固有の信頼度推定の慣用性を扱うために設計された4つの新しいアルゴリズムを導入・テストする。
  論文  参考訳（メタデータ） (2022-07-13T21:57:44Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)
• Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
  そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。 PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
  論文  参考訳（メタデータ） (2022-01-26T19:59:14Z)
• Rethinking Pseudo Labels for Semi-Supervised Object Detection [84.697097472401]
  物体検出に適した確実な擬似ラベルを導入する。 我々は,クラス不均衡問題を緩和するために,各カテゴリの擬似ラベルと再重み付き損失関数を生成するために使用する閾値を動的に調整する。 提案手法では,COCOのラベル付きデータのみを用いて,教師付きベースラインを最大10%改善する。
  論文  参考訳（メタデータ） (2021-06-01T01:32:03Z)
• Label-Imbalanced and Group-Sensitive Classification under Overparameterization [32.923780772605596]
  ラベルの不均衡でグループに敏感な分類は、関連するメトリクスを最適化するための標準トレーニングアルゴリズムを適切に修正することを目指す。 標準実証的リスク最小化に対するロジット調整による損失修正は,一般的には効果がない可能性がある。 本研究では, 2つの共通する不均衡(ラベル/グループ)を統一的に処理し, 敏感群の二値分類に自然に適用できることを示した。
  論文  参考訳（メタデータ） (2021-03-02T08:09:43Z)
• Binary Classification from Multiple Unlabeled Datasets via Surrogate Set Classification [94.55805516167369]
  我々は m 個の U 集合を $mge2$ で二進分類する新しい手法を提案する。 我々のキーとなる考え方は、サロゲート集合分類(SSC)と呼ばれる補助的分類タスクを考えることである。
  論文  参考訳（メタデータ） (2021-02-01T07:36:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。