論文の概要: In-Context Learning on a Budget: A Case Study in Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2406.13274v1
• Date: Wed, 19 Jun 2024 07:09:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 22:49:46.564267
• Title: In-Context Learning on a Budget: A Case Study in Named Entity Recognition
• Title（参考訳）: 予算の文脈学習--名前付きエンティティ認識を事例として-
• Authors: Uri Berger, Tal Baumel, Gabriel Stanovsky,
• Abstract要約: 事前定義された予算内でアノテートするサンプルを選択するための様々な方法について検討する。 注釈付きサンプルの比較的小さなプールは、トレーニングセット全体の使用に匹敵する結果が得られることがわかった。
• 参考スコア（独自算出の注目度）: 16.664472010838132
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few shot in-context learning (ICL) typically assumes access to large annotated training sets. However, in many real world scenarios, such as domain adaptation, there is only a limited budget to annotate a small number of samples, with the goal of maximizing downstream performance. We study various methods for selecting samples to annotate within a predefined budget, specifically focusing on the named entity recognition (NER) task, which has real-world applications, is expensive to annotate, and is relatively less studied in ICL setups. Across different models and datasets, we find that a relatively small pool of annotated samples can achieve results comparable to using the entire training set. Moreover, we discover that random selection of samples for annotation yields surprisingly good performance. Finally, we observe that a diverse annotation pool is correlated with improved performance. We hope that future work adopts our realistic paradigm which takes annotation budget into account.
• Abstract（参考訳）: ショット・イン・コンテキスト・ラーニング(ICL)は一般的に大規模な注釈付きトレーニングセットへのアクセスを前提としている。 しかし、ドメイン適応のような現実世界のシナリオでは、下流のパフォーマンスを最大化することを目的として、少数のサンプルに注釈をつけるための限られた予算しか存在しない。 提案手法は,実世界のアプリケーションでアノテートに費用がかかり,ICL設定では比較的研究の少ない,名前付きエンティティ認識(NER)タスクに着目し,事前定義された予算内でアノテートするサンプルを選択するための様々な手法について検討する。 異なるモデルやデータセットによって、比較的小さなアノテートされたサンプルのプールが、トレーニングセット全体と同等の結果を得ることができることが分かりました。 さらに、アノテーションのためのサンプルのランダムな選択が驚くほど優れた性能をもたらすことが判明した。 最後に、多様なアノテーションプールが性能改善と相関していることを確認する。 将来的な作業には、アノテーション予算を考慮した現実的なパラダイムが採用されることを願っています。

関連論文リスト

• Realistic Test-Time Adaptation of Vision-Language Models [23.972884634610413]
  VLM(Vision-Language Models)は、予測性能を改善するために広く活用されている。 トランスダクティブまたはテストタイム適応(TTA)に関する以前の研究は、しばしばデータ分布について強い仮定を下す。 私たちの作業は、これらの好ましいデプロイメントシナリオに挑戦し、より現実的な評価フレームワークを導入します。
  論文  参考訳（メタデータ） (2025-01-07T12:17:25Z)
• Enhancing Semi-Supervised Learning via Representative and Diverse Sample Selection [3.9620215314408984]
  半監督学習(SSL)は多くのディープラーニングタスクにおいて好まれるパラダイムとなっている。 ラベル付けのためのサンプルの選択方法も,特に低予算環境下では,パフォーマンスに大きく影響する。 新たな基準である$alpha$-Maximum Mean Discrepancy(alpha$-MMD)を最小化するために修正されたFrank-Wolfeアルゴリズムを採用することで、RDSSはラベルなしデータからアノテーションの代表的なサブセットをサンプリングする。
  論文  参考訳（メタデータ） (2024-09-18T02:40:31Z)
• $Se^2$: Sequential Example Selection for In-Context Learning [83.17038582333716]
  インコンテキスト学習(ICL)のための大規模言語モデル(LLM)は、実演例によって起動する必要がある。 以前の研究は、主に"select then organize"パラダイムに従って、ICLの例の選択を幅広く検討してきた。 本稿では,この問題を$Se$quential $Se$lection問題として定式化し,シーケンシャル・アウェア法である$Se2$を導入する。
  論文  参考訳（メタデータ） (2024-02-21T15:35:04Z)
• An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models [55.01592097059969]
  命令データセットの監視された微調整は、目覚ましいゼロショットの一般化能力を達成する上で重要な役割を担っている。 アクティブラーニングは、未ラベルのプールからアノテートするサンプルの有用なサブセットを特定するのに効果的である。 本研究では,能動学習の計算ボトルネックを回避するための実験設計を提案する。
  論文  参考訳（メタデータ） (2024-01-12T16:56:54Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Leveraging Importance Weights in Subset Selection [45.54597544672441]
  本稿では,任意のモデルファミリを実用的なバッチ設定で扱うように設計されたサブセット選択アルゴリズムを提案する。 我々のアルゴリズムであるIWeSは、各サンプルに割り当てられたサンプリング確率が、以前選択されたバッチで訓練されたモデルのエントロピーに基づいて、重要サンプリングによってサンプルを選択する。
  論文  参考訳（メタデータ） (2023-01-28T02:07:31Z)
• Learning New Tasks from a Few Examples with Soft-Label Prototypes [18.363177410917597]
  ソフトラベルのプロトタイプ(SLP)に基づく新しい数ショット学習手法を提案する。 これまでにないNLPタスク(4,8,16)の学習に重点を置いている。 このデータ・リーン・セッティングにおけるテスト作業の大部分において,本手法が優れた性能を発揮することを実験的に実証した。
  論文  参考訳（メタデータ） (2022-10-31T16:06:48Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
  オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。 本稿では,直感的かつ統一的な半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。