論文の概要: Selective Annotation Makes Language Models Better Few-Shot Learners
- arxiv url: http://arxiv.org/abs/2209.01975v1
- Date: Mon, 5 Sep 2022 14:01:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-07 13:39:51.343333
- Title: Selective Annotation Makes Language Models Better Few-Shot Learners
- Title(参考訳): Selective Annotationは、Few-Shot学習者の言語モデルを改善する
- Authors: Hongjin Su, Jungo Kasai, Chen Henry Wu, Weijia Shi, Tianlu Wang, Jiayi
Xin, Rui Zhang, Mari Ostendorf, Luke Zettlemoyer, Noah A. Smith, Tao Yu
- Abstract要約: 大規模な言語モデルはコンテキスト内学習を実行でき、いくつかのタスクデモから新しいタスクを学ぶことができる。
本研究は、新しい自然言語タスクのためのデータセット作成において、文脈内学習がもたらす意味について考察する。
本稿では,無教師付きグラフベースの選択的アノテーションであるvoke-kを提案する。
- 参考スコア(独自算出の注目度): 97.07544941620367
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many recent approaches to natural language tasks are built on the remarkable
abilities of large language models. Large language models can perform
in-context learning, where they learn a new task from a few task
demonstrations, without any parameter updates. This work examines the
implications of in-context learning for the creation of datasets for new
natural language tasks. Departing from recent in-context learning methods, we
formulate an annotation-efficient, two-step framework: selective annotation
that chooses a pool of examples to annotate from unlabeled data in advance,
followed by prompt retrieval that retrieves task examples from the annotated
pool at test time. Based on this framework, we propose an unsupervised,
graph-based selective annotation method, voke-k, to select diverse,
representative examples to annotate. Extensive experiments on 10 datasets
(covering classification, commonsense reasoning, dialogue, and text/code
generation) demonstrate that our selective annotation method improves the task
performance by a large margin. On average, vote-k achieves a 12.9%/11.4%
relative gain under an annotation budget of 18/100, as compared to randomly
selecting examples to annotate. Compared to state-of-the-art supervised
finetuning approaches, it yields similar performance with 10-100x less
annotation cost across 10 tasks. We further analyze the effectiveness of our
framework in various scenarios: language models with varying sizes, alternative
selective annotation methods, and cases where there is a test data domain
shift. We hope that our studies will serve as a basis for data annotations as
large language models are increasingly applied to new tasks. Our code is
available at https://github.com/HKUNLP/icl-selective-annotation.
- Abstract(参考訳): 自然言語タスクに対する最近の多くのアプローチは、大きな言語モデルの驚くべき能力に基づいている。
大きな言語モデルは、コンテキスト内学習を実行し、パラメータの更新なしに、いくつかのタスクデモから新しいタスクを学習する。
本稿では,新しい自然言語タスクのためのデータセット作成における文脈内学習の意義について検討する。
最近のin-context learningメソッドを離れて、アノテーション効率のよい2段階のフレームワークを定式化した。事前にラベルなしのデータから注釈付きサンプルのプールを選択し、テスト時に注釈付きプールからタスク例を取得するプロンプト検索を行う。
本稿では,このフレームワークに基づき,非教師なし,グラフベースの選択的アノテーション手法voke-kを提案する。
10のデータセット(分類、コモンセンス推論、対話、テキスト/コード生成など)に関する広範な実験により、選択的なアノテーション手法がタスクパフォーマンスを大きなマージンで改善できることが示されている。
平均投票率は18/100のアノテーション予算で12.9%/11.4%の相対利得を達成している。
最先端の教師付き微調整手法と比較すると、10タスク間で10~100倍のアノテーションコストで同様の性能が得られる。
我々は、さまざまなサイズを持つ言語モデル、代替の選択的アノテーションメソッド、テストデータドメインシフトがあるケースなど、さまざまなシナリオにおけるフレームワークの有効性をさらに分析する。
大規模な言語モデルが新たなタスクにますます適用されていくにつれて、私たちの研究がデータアノテーションの基礎となることを期待しています。
私たちのコードはhttps://github.com/hkunlp/icl-selective-annotationで利用可能です。
関連論文リスト
- Label-Efficient Model Selection for Text Generation [15.487728508845704]
DiffUseは、候補テキスト生成モデル間の情報決定を効率的に行う方法である。
これにより、必要な好みアノテーションの量を削減し、評価を行う上で貴重な時間とリソースを節約できる。
DiffUseは、高い評価信頼性を維持しながら、必要なアノテーションの数(最大75%)を劇的に削減できることを示した。
論文 参考訳(メタデータ) (2024-02-12T18:54:02Z) - IDEAL: Influence-Driven Selective Annotations Empower In-Context
Learners in Large Language Models [66.32043210237768]
本稿では,影響駆動型選択的アノテーション手法を提案する。
アノテーションのコストを最小限に抑えつつ、コンテキスト内サンプルの品質を向上させることを目的としている。
様々なベンチマークで提案手法の優位性を確認する実験を行った。
論文 参考訳(メタデータ) (2023-10-16T22:53:54Z) - RetICL: Sequential Retrieval of In-Context Examples with Reinforcement
Learning [77.34726150561087]
In-Context Learning (RetICL) のための検索式を提案する。
我々は、マルコフ決定プロセスとして逐次サンプル選択の問題を定義し、LSTMを用いてサンプルレトリバーモデルを設計し、近似ポリシー最適化を用いてそれを訓練する。
論文 参考訳(メタデータ) (2023-05-23T20:15:56Z) - Compositional Exemplars for In-context Learning [21.961094715261133]
大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。
本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。
我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
論文 参考訳(メタデータ) (2023-02-11T14:02:08Z) - Beyond Contrastive Learning: A Variational Generative Model for
Multilingual Retrieval [109.62363167257664]
本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。
我々のモデルは、$N$言語で並列データを操作する。
本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
論文 参考訳(メタデータ) (2022-12-21T02:41:40Z) - Annotation Error Detection: Analyzing the Past and Present for a More
Coherent Future [63.99570204416711]
我々は、潜在的なアノテーションの誤りを検知するための18の手法を再実装し、9つの英語データセット上で評価する。
アノテーションエラー検出タスクの新しい形式化を含む一様評価設定を定義する。
私たちはデータセットと実装を,使いやすく,オープンソースのソフトウェアパッケージとしてリリースしています。
論文 参考訳(メタデータ) (2022-06-05T22:31:45Z) - Optimizing Active Learning for Low Annotation Budgets [6.753808772846254]
ディープラーニングでは、アクティブな学習は通常、微調整によって連続した深層モデルを更新する反復的なプロセスとして実装される。
移行学習にインスパイアされたアプローチを用いてこの問題に対処する。
本稿では,ALプロセスの反復性を利用してより堅牢なサンプルを抽出する新しい取得関数を提案する。
論文 参考訳(メタデータ) (2022-01-18T18:53:10Z) - Active Learning for Coreference Resolution using Discrete Annotation [76.36423696634584]
我々は、コア参照解決におけるアクティブラーニングのためのペアワイズアノテーションを改善した。
提案された参照ペアがコアフェレントでないと判断された場合、アノテータに参照アンテセントを識別するよう依頼する。
既存のベンチマークコアベンチマークデータセットを用いた実験では、この追加質問からの信号が人間のアノテーション時間当たりの大幅なパフォーマンス向上につながることが示された。
論文 参考訳(メタデータ) (2020-04-28T17:17:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。