論文の概要: Designing Informative Metrics for Few-Shot Example Selection

• arxiv url: http://arxiv.org/abs/2403.03861v1
• Date: Wed, 6 Mar 2024 17:11:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 14:11:41.969582
• Title: Designing Informative Metrics for Few-Shot Example Selection
• Title（参考訳）: ファウショット事例選択のためのインフォーマティブメトリックの設計
• Authors: Rishabh Adiga, Lakshminarayanan Subramanian, Varun Chandrasekaran
• Abstract要約: 本稿では,複雑性に基づく逐次タギングタスクのプロンプト選択手法を提案する。 このアプローチは、サンプルの選択専用のモデルのトレーニングを避ける。 文レベルと単語レベルの両方のメトリクスを用いて、例の複雑さと検討中の(テスト)文とを一致させる。
• 参考スコア（独自算出の注目度）: 16.344370325204356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained language models (PLMs) have shown remarkable few-shot learning capabilities when provided with properly formatted examples. However, selecting the "best" examples remains an open challenge. We propose a complexity-based prompt selection approach for sequence tagging tasks. This approach avoids the training of a dedicated model for selection of examples, and instead uses certain metrics to align the syntactico-semantic complexity of test sentences and examples. We use both sentence- and word-level metrics to match the complexity of examples to the (test) sentence being considered. Our results demonstrate that our approach extracts greater performance from PLMs: it achieves state-of-the-art performance on few-shot NER, achieving a 5% absolute improvement in F1 score on the CoNLL2003 dataset for GPT-4. We also see large gains of upto 28.85 points (F1/Acc.) in smaller models like GPT-j-6B.
• Abstract（参考訳）: 事前訓練された言語モデル(PLM)は、適切にフォーマットされた例を提供すると、顕著な数ショットの学習能力を示す。 しかし、"最良の"例を選択することは、まだ未解決の課題である。 シーケンスタグ付けタスクのための複雑性に基づくプロンプト選択手法を提案する。 このアプローチでは、サンプル選択のための専用モデルのトレーニングを回避し、代わりに特定のメトリクスを使用してテスト文や例の構文-意味的複雑性を調整する。 文レベルと単語レベルの両方のメトリクスを用いて、例の複雑さと検討中の(テスト)文とを一致させる。 その結果,本手法がplmから高い性能を抽出できることが証明された。npm ner で最先端のパフォーマンスを達成し,gpt-4 の conll2003 データセットで f1 スコアを 5% 絶対的に改善した。 また、GPT-j-6Bのような小型モデルでは28.85ポイント(F1/Acc.)まで大きく上昇する。

関連論文リスト

• Large Language Models Prompting With Episodic Memory [53.8690170372303]
  本稿では,POEM(PrOmpting with Episodic Memory)を提案する。 テストフェーズでは、各テストクエリのサンプルのシーケンスを最適化し、エピソードメモリにおけるトップkで最も類似したトレーニング例から最も高い合計報酬を得るシーケンスを選択する。 その結果,POEMはテキスト分類タスクにおいてTEMPERAやRLPromptといった最近の技術よりも5.3%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-08-14T11:19:28Z)
• Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
  大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。 これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。 既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
  論文  参考訳（メタデータ） (2024-05-25T08:23:05Z)
• ParaICL: Towards Robust Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• Metric-Based In-context Learning: A Case Study in Text Simplification [5.33024001730262]
  大規模言語モデルのインコンテキスト学習(ICL)は多くの自然言語処理タスクにおいて強力なアプローチであることが証明されている。 ICLのサンプルを選択する最良の方法を決定するのは簡単ではなく、その結果は使用するサンプルの品質、量、順序によって大きく異なる。 本稿では、SARI、圧縮比、BERT-Precisionなどの一般的なTSメトリクスを利用して、メトリクスベースのインコンテキスト学習(MBL)手法を提案する。
  論文  参考訳（メタデータ） (2023-07-27T05:45:35Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• Finding Support Examples for In-Context Learning [73.90376920653507]
  本稿では,この課題を2段階に解決するためのfilter-thEN-Search法であるLENSを提案する。 まず、データセットをフィルタリングして、個別に情報的インコンテキストの例を得る。 そこで本研究では,反復的に改良し,選択したサンプル順列を評価可能な多様性誘導型サンプル探索を提案する。
  論文  参考訳（メタデータ） (2023-02-27T06:32:45Z)
• Improving Few-Shot Performance of Language Models via Nearest Neighbor Calibration [12.334422701057674]
  In-context Learning のための近辺校正フレームワークを提案する。 インコンテキスト学習パラダイムは、トレーニングインスタンスを推論する際に誤ったラベルを生成するという現象にインスパイアされている。 テキスト分類タスクの多種多様な実験により,本手法はテキスト内学習を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2022-12-05T12:49:41Z)
• Learning New Tasks from a Few Examples with Soft-Label Prototypes [18.363177410917597]
  ソフトラベルのプロトタイプ(SLP)に基づく新しい数ショット学習手法を提案する。 これまでにないNLPタスク(4,8,16)の学習に重点を置いている。 このデータ・リーン・セッティングにおけるテスト作業の大部分において,本手法が優れた性能を発揮することを実験的に実証した。
  論文  参考訳（メタデータ） (2022-10-31T16:06:48Z)
• What Makes Good In-Context Examples for GPT-$3$? [101.99751777056314]
  GPT-$3$はNLPタスクの広い範囲でその優れた性能のために多くの注目を集めています。 その成功にもかかわらず、我々はGPT-$3$の実証結果が文脈内例の選択に大きく依存していることを発見した。 本研究では,文脈内事例を適切に選択するためのより効果的な戦略が存在するかを検討する。
  論文  参考訳（メタデータ） (2021-01-17T23:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。