論文の概要: Embroid: Unsupervised Prediction Smoothing Can Improve Few-Shot
Classification
- arxiv url: http://arxiv.org/abs/2307.11031v1
- Date: Thu, 20 Jul 2023 17:07:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-21 11:47:22.099030
- Title: Embroid: Unsupervised Prediction Smoothing Can Improve Few-Shot
Classification
- Title（参考訳）: Embroid: 教師なし予測の平滑化は、わずかなショットの分類を改善できる
- Authors: Neel Guha, Mayee F. Chen, Kush Bhatia, Azalia Mirhoseini, Frederic
Sala, Christopher R\'e
- Abstract要約: ラベル付きデータを追加せずに即時学習を改善することができることを示す。
組込み関数の異なるデータセットの複数の表現を演算するEmbroidを提案する。
Embroidはオリジナルのプロンプトよりも性能が大幅に向上することがわかった。
- 参考スコア（独自算出の注目度）: 20.85088711770188
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent work has shown that language models' (LMs) prompt-based learning
capabilities make them well suited for automating data labeling in domains
where manual annotation is expensive. The challenge is that while writing an
initial prompt is cheap, improving a prompt is costly -- practitioners often
require significant labeled data in order to evaluate the impact of prompt
modifications. Our work asks whether it is possible to improve prompt-based
learning without additional labeled data. We approach this problem by
attempting to modify the predictions of a prompt, rather than the prompt
itself. Our intuition is that accurate predictions should also be consistent:
samples which are similar under some feature representation should receive the
same prompt prediction. We propose Embroid, a method which computes multiple
representations of a dataset under different embedding functions, and uses the
consistency between the LM predictions for neighboring samples to identify
mispredictions. Embroid then uses these neighborhoods to create additional
predictions for each sample, and combines these predictions with a simple
latent variable graphical model in order to generate a final corrected
prediction. In addition to providing a theoretical analysis of Embroid, we
conduct a rigorous empirical evaluation across six different LMs and up to 95
different tasks. We find that (1) Embroid substantially improves performance
over original prompts (e.g., by an average of 7.3 points on GPT-JT), (2) also
realizes improvements for more sophisticated prompting strategies (e.g.,
chain-of-thought), and (3) can be specialized to domains like law through the
embedding functions.
- Abstract（参考訳）: 近年の研究では、手動アノテーションが高価である領域において、言語モデル(LM)のプロンプトベースの学習機能がデータラベリングの自動化に適していることが示されている。
課題は、初期プロンプトを書くのは安価だが、プロンプトを改善するのはコストがかかることだ。
我々の研究は、ラベル付きデータを追加せずに、プロンプトベースの学習を改善することができるかどうかを問うものである。
我々は,プロンプト自体ではなく,プロンプトの予測を変更することでこの問題にアプローチする。
我々の直感では、正確な予測も一貫性があるべきである:ある特徴表現の下で類似したサンプルは、同じプロンプト予測を受けなければならない。
Embroidは、異なる埋め込み関数の下でデータセットの複数の表現を計算し、近隣のサンプルに対するLM予測間の整合性を利用して誤予測を識別する手法である。
次にembroidは、これらの近傍を使用して各サンプルに対する追加の予測を作成し、これらの予測を単純な潜在変数のグラフィカルモデルと組み合わせて最終補正された予測を生成する。
Embroidの理論解析に加えて、6つの異なるLMと最大95の異なるタスクに対して厳密な経験的評価を行う。
その結果,(1)エンブロイドは元々のプロンプト(例えばgpt-jtの平均7.3ポイント)よりも大幅に性能が向上し,(2)より洗練されたプロンプト戦略(例えばチェーン・オブ・マインド)の改善を実現し,(3)埋め込み関数を通じて法のような領域に特化できることがわかった。
関連論文リスト
- Correct after Answer: Enhancing Multi-Span Question Answering with Post-Processing Method [11.794628063040108]
マルチスパン質問回答(Multi-Span Question Answering、MSQA)は、ある質問に答えるために、与えられたコンテキストから1つまたは複数の回答スパンを抽出するモデルを必要とする。
本稿では,不正確な予測処理に後処理戦略を用いるAnswering-Classifying-Correcting(ACC)フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-22T08:04:32Z) - Ensemble Predicate Decoding for Unbiased Scene Graph Generation [40.01591739856469]
シーングラフ生成(SGG)は、与えられたシナリオの意味情報をキャプチャする包括的なグラフィカル表現を生成することを目的としている。
よりきめ細かい述語を予測する際のモデルの性能は、有意な述語バイアスによって妨げられる。
本稿では,複数のデコーダを用いて非バイアスなシーングラフ生成を実現するEnsemble Predicate Decoding (EPD)を提案する。
論文 参考訳（メタデータ） (2024-08-26T11:24:13Z) - Stochastic Online Conformal Prediction with Semi-Bandit Feedback [29.334511328067777]
実例が時間とともに現れるオンライン学習環境について検討し、その目標は予測セットを動的に構築することである。
本稿では,この設定を対象とする新しい共形予測アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-05-22T00:42:49Z) - Less is More: One-shot Subgraph Reasoning on Large-scale Knowledge Graphs [49.547988001231424]
効率的かつ適応的な予測を実現するために,ワンショットサブグラフリンク予測を提案する。
設計原理は、KG全体に直接作用する代わりに、予測手順を2つのステップに分離する。
5つの大規模ベンチマークにおいて,効率の向上と性能の向上を実現している。
論文 参考訳（メタデータ） (2024-03-15T12:00:12Z) - ASPEST: Bridging the Gap Between Active Learning and Selective
Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。
アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。
本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文 参考訳（メタデータ） (2023-04-07T23:51:07Z) - The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。
入力と論理的に整合した説明は、通常より正確な予測を示す。
本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
論文 参考訳（メタデータ） (2022-05-06T17:57:58Z) - Backward-Compatible Prediction Updates: A Probabilistic Approach [12.049279991559091]
本稿では,予測更新問題を定式化し,上記の質問に対する効率的な確率的アプローチを提案する。
標準分類ベンチマークデータセットの広範な実験において,提案手法は後方互換性のある予測更新のための代替戦略よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-07-02T13:05:31Z) - Calibrate Before Use: Improving Few-Shot Performance of Language Models [68.17016463756474]
GPT-3は、いくつかのトレーニング例を含む自然言語プロンプトを提供すると、多数のタスクを実行できます。
この種の少数ショット学習は不安定である。
プロンプト形式、トレーニング例、およびトレーニング例の順序の選択は、精度をほぼチャンスから最先端のものに変化させる可能性があります。
論文 参考訳（メタデータ） (2021-02-19T00:23:59Z) - Explain and Predict, and then Predict Again [6.865156063241553]
説明生成フェーズにおけるマルチタスク学習を用いたExPredを、効果的なトレードオフ説明と予測損失として提案します。
3つの多様な言語データセットに対するアプローチを幅広く評価しています。
論文 参考訳（メタデータ） (2021-01-11T19:36:52Z) - Ambiguity in Sequential Data: Predicting Uncertain Futures with
Recurrent Models [110.82452096672182]
逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。
また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
論文 参考訳（メタデータ） (2020-03-10T09:15:42Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。