論文の概要: Enhancing In-context Learning via Linear Probe Calibration
- arxiv url: http://arxiv.org/abs/2401.12406v1
- Date: Mon, 22 Jan 2024 23:35:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-24 17:34:14.164652
- Title: Enhancing In-context Learning via Linear Probe Calibration
- Title（参考訳）: 線形プローブ校正による文脈内学習の強化
- Authors: Momin Abbas and Yi Zhou and Parikshit Ram and Nathalie Baracaldo and
Horst Samulowitz and Theodoros Salonidis and Tianyi Chen
- Abstract要約: In-context Learning (ICL)は、GPT(Generative Pre-trained Transformer)のようなモデルを利用した自然言語処理の新しいパラダイムである。
実ケースでのICLの適用は、サンプルの数とともにスケールせず、異なるプロンプトテンプレートやデモの置換に対する堅牢性に欠ける。
本稿では、ICLを用いたGPT様モデルにより、シャノンエントロピーに基づく新しい指標に基づく信頼性の低い予測結果が得られることを示す。
リニアプローブ(LinC)と呼ばれる新しい手法を提案する。これはモデルの出力確率を校正し、信頼性の高い予測と改善をもたらす。
- 参考スコア（独自算出の注目度）: 42.74836047963721
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In-context learning (ICL) is a new paradigm for natural language processing
that utilizes Generative Pre-trained Transformer (GPT)-like models. This
approach uses prompts that include in-context demonstrations to generate the
corresponding output for a new query input. However, applying ICL in real cases
does not scale with the number of samples, and lacks robustness to different
prompt templates and demonstration permutations. In this paper, we first show
that GPT-like models using ICL result in unreliable predictions based on a new
metric based on Shannon entropy. Then, to solve this problem, we propose a new
technique called the Linear Probe Calibration (LinC), a method that calibrates
the model's output probabilities, resulting in reliable predictions and
improved performance, while requiring only minimal additional samples (as few
as five labeled data samples). LinC significantly enhances the ICL test
performance of GPT models on various benchmark datasets, with an average
improvement of up to 21%, and up to a 50% improvement in some cases, and
significantly boosts the performance of PEFT methods, especially in the low
resource regime. Moreover, LinC achieves lower expected calibration error, and
is highly robust to varying label proportions, prompt templates, and
demonstration permutations. Our code is available at
\url{https://github.com/mominabbass/LinC}.
- Abstract（参考訳）: In-context Learning (ICL)は、GPT(Generative Pre-trained Transformer)のようなモデルを利用した自然言語処理の新しいパラダイムである。
このアプローチでは、コンテキスト内デモを含むプロンプトを使用して、新しいクエリ入力に対応する出力を生成する。
しかし、実例でのICLの適用はサンプル数に応じてスケールせず、異なるプロンプトテンプレートやデモの置換に対する堅牢性に欠ける。
本稿では,ICLを用いたGPT様モデルを用いて,シャノンエントロピーに基づく新しい指標に基づく信頼性の低い予測結果を示す。
この問題を解決するために,線形プローブ校正法 (LinC) と呼ばれる新しい手法を提案する。この手法はモデルの出力確率を校正し,信頼性の高い予測と性能向上を実現し,最小限の追加サンプル(ラベル付きデータサンプルは5つまで)しか必要としない。
LinCは、様々なベンチマークデータセット上でのGPTモデルのICLテスト性能を大幅に向上させ、平均21%まで改善し、いくつかのケースでは50%改善し、特に低リソース環境においてPEFT法の性能を大幅に向上させる。
さらに、LinCはより低いキャリブレーション誤差を達成し、ラベルの比率、テンプレートのプロンプト、デモの置換に対して非常に堅牢である。
私たちのコードは \url{https://github.com/mominabbass/LinC} で利用可能です。
関連論文リスト
- LP++: A Surprisingly Strong Linear Probe for Few-Shot CLIP [20.86307407685542]
リニアプローブ(LP)は、数発のCLIP適応の弱いベースラインとしてしばしば報告されている。
本研究では,コンベックス最適化の観点から標準LPベースラインの一般化について検討する。
我々の画像言語目的関数は、これらの非自明な最適化の洞察や成分とともに、驚くほど、競争力の高いCLIPパフォーマンスをもたらす。
論文 参考訳（メタデータ） (2024-04-02T20:23:10Z) - Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。
テスト時間フォワード最適化適応法(FOA)を提案する。
FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
論文 参考訳（メタデータ） (2024-04-02T05:34:33Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - Fine-tune Language Models to Approximate Unbiased In-context Learning [8.609157988755896]
RICL(Reweighted In-context Learning)と呼ばれる再重み付きアルゴリズムを導入する。
このアルゴリズムは、各入力出力サンプルの最適な重みを決定するために、バイアスのない検証セットを使用して言語モデルを微調整する。
また、LARICLと呼ばれる線形最適重み近似アルゴリズムである、低コスト再重み付きアルゴリズムも導入する。
論文 参考訳（メタデータ） (2023-10-05T06:16:01Z) - The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳（メタデータ） (2023-09-20T10:31:17Z) - Unsupervised Calibration through Prior Adaptation for Text
Classification using Large Language Models [37.39843935632105]
ラベル付きサンプルを必要とせずにテキスト分類タスクを実行するために,先行クラス分布に適応する手法を提案する。
その結果,これらの手法は,プロンプト内の訓練ショット数が異なる場合,適応しないモデルよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-07-13T12:11:36Z) - Prototypical Calibration for Few-shot Learning of Language Models [84.5759596754605]
GPTライクなモデルは、さまざまな手作りテンプレートやデモ順列にまたがる脆弱であると認識されている。
ゼロショットと少数ショットの分類において、より堅牢な決定境界を適応的に学習するためのプロトタイプキャリブレーションを提案する。
提案手法は決定境界を期待通りに校正し,テンプレート,置換,クラス不均衡に対するGPTの堅牢性を大幅に向上させる。
論文 参考訳（メタデータ） (2022-05-20T13:50:07Z) - Gaussian Process Convolutional Dictionary Learning [6.097542448692324]
ガウスプロセス(GP)を用いたテンプレートの優先度を強制する畳み込み辞書学習フレームワークGPCDLを提案する。
滑らか性に着目して,gpを事前設定することは,学習したテンプレートのワイナーフィルタリングと等価であることを示し,高周波成分の抑制と滑らか性の向上を理論的に示す。
GPCDLは,SNRの非正規化よりもスムーズな辞書を学習できることを示す。
論文 参考訳（メタデータ） (2021-03-28T21:40:03Z) - Calibrating Structured Output Predictors for Natural Language Processing [8.361023354729731]
本稿では,ニューラルネットワークに基づく構造化予測モデルに注目する出力要素の一般的なキャリブレーション手法を提案する。
提案手法は,任意のバイナリクラスキャリブレーションスキームとニューラルネットワークモデルを用いて適用することができる。
提案手法は, 話者認識, パート・オブ・音声, 質問応答における現在のキャリブレーション手法より優れていることを示す。
論文 参考訳（メタデータ） (2020-04-09T04:14:46Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。