論文の概要: Metric-Based In-context Learning: A Case Study in Text Simplification
- arxiv url: http://arxiv.org/abs/2307.14632v1
- Date: Thu, 27 Jul 2023 05:45:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-28 15:39:01.375686
- Title: Metric-Based In-context Learning: A Case Study in Text Simplification
- Title(参考訳): メトリクスベースのインコンテキスト学習:テキスト単純化におけるケーススタディ
- Authors: Subha Vadlamannati, G\"ozde G\"ul \c{S}ahin
- Abstract要約: 大規模言語モデルのインコンテキスト学習(ICL)は多くの自然言語処理タスクにおいて強力なアプローチであることが証明されている。
ICLのサンプルを選択する最良の方法を決定するのは簡単ではなく、その結果は使用するサンプルの品質、量、順序によって大きく異なる。
本稿では、SARI、圧縮比、BERT-Precisionなどの一般的なTSメトリクスを利用して、メトリクスベースのインコンテキスト学習(MBL)手法を提案する。
- 参考スコア(独自算出の注目度): 5.33024001730262
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In-context learning (ICL) for large language models has proven to be a
powerful approach for many natural language processing tasks. However,
determining the best method to select examples for ICL is nontrivial as the
results can vary greatly depending on the quality, quantity, and order of
examples used. In this paper, we conduct a case study on text simplification
(TS) to investigate how to select the best and most robust examples for ICL. We
propose Metric-Based in-context Learning (MBL) method that utilizes commonly
used TS metrics such as SARI, compression ratio, and BERT-Precision for
selection. Through an extensive set of experiments with various-sized GPT
models on standard TS benchmarks such as TurkCorpus and ASSET, we show that
examples selected by the top SARI scores perform the best on larger models such
as GPT-175B, while the compression ratio generally performs better on smaller
models such as GPT-13B and GPT-6.7B. Furthermore, we demonstrate that MBL is
generally robust to example orderings and out-of-domain test sets, and
outperforms strong baselines and state-of-the-art finetuned language models.
Finally, we show that the behaviour of large GPT models can be implicitly
controlled by the chosen metric. Our research provides a new framework for
selecting examples in ICL, and demonstrates its effectiveness in text
simplification tasks, breaking new ground for more accurate and efficient NLG
systems.
- Abstract(参考訳): 大規模言語モデルのインコンテキスト学習(ICL)は多くの自然言語処理タスクにおいて強力なアプローチであることが証明されている。
しかしながら、iclのサンプルを選択する最良の方法を決定することは、結果が使用するサンプルの品質、量、順序によって大きく異なるため、非自明である。
本稿では,テキスト簡易化(ts)に関するケーススタディを行い,iclのベストかつ最も堅牢な例を選択する方法について検討する。
本稿では、SARI、圧縮比、BERT-Precisionなどの一般的なTSメトリクスを利用して、メトリクスベースのインコンテキスト学習(MBL)手法を提案する。
TurkCorpus や ASSET のような標準 TS ベンチマークにおける様々なサイズの GPT モデルによる広範な実験を通して、上位 SARI スコアが選択した例は GPT-175B のような大きなモデルで最高であるのに対して、圧縮比は GPT-13B や GPT-6.7B のようなより小さなモデルでより良く動作することを示した。
さらに、mblは一般に、サンプルの順序付けやドメイン外テストセットに頑健であり、強力なベースラインや最先端の言語モデルを上回ることを実証する。
最後に,大規模GPTモデルの挙動を,選択した計量によって暗黙的に制御できることを示す。
本研究は, iclのサンプル選択のための新しいフレームワークを提供し, テキスト簡易化タスクにおけるその効果を実証し, より正確かつ効率的なnlgシステムのための新たな基盤を壊す。
関連論文リスト
- Designing Informative Metrics for Few-Shot Example Selection [16.344370325204356]
本稿では,複雑性に基づく逐次タギングタスクのプロンプト選択手法を提案する。
このアプローチは、サンプルの選択専用のモデルのトレーニングを避ける。
文レベルと単語レベルの両方のメトリクスを用いて、例の複雑さと検討中の(テスト)文とを一致させる。
論文 参考訳(メタデータ) (2024-03-06T17:11:38Z) - One Shot Learning as Instruction Data Prospector for Large Language
Models [111.0897473747819]
Nuggetsは、ワンショット学習を用いて、拡張データセットから高品質な命令データを選択する手法である。
提案手法は,Nuggets が生成した例の上位1%による命令チューニングが,全データセットを使用する従来の手法よりも大幅に優れていたことを実証する。
論文 参考訳(メタデータ) (2023-12-16T03:33:12Z) - BLESS: Benchmarking Large Language Models on Sentence Simplification [55.461555829492866]
我々は、テキスト単純化(TS)タスク上で、最新の最先端の大規模言語モデル(LLM)のパフォーマンスベンチマークであるBLESSを紹介する。
異なるドメイン(Wikipedia、ニュース、医療)の3つのテストセットに対して、サイズ、アーキテクチャ、事前学習方法、アクセシビリティの異なる44のモデルを評価する。
評価の結果,最高のLSMはTSのトレーニングを受けていないにもかかわらず,最先端のTSベースラインと相容れない性能を示した。
論文 参考訳(メタデータ) (2023-10-24T12:18:17Z) - LLM-augmented Preference Learning from Natural Language [19.700169351688768]
大規模言語モデル(LLM)は、より大きな文脈長を扱う。
LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。
ゼロショット学習よりもパフォーマンスが向上する。
論文 参考訳(メタデータ) (2023-10-12T17:17:27Z) - Coverage-based Example Selection for In-Context Learning [27.215972147196805]
BERTScore-Recall (BSR) がテスト入力の健全な側面をよりよく示すより良い例を選択していることを示す。
6つのタスクにまたがる15のデータセットと7つの LLM に対して、(1) BSR は、ボード全体のコンテキスト内サンプル選択において優れた指標であり、(2) 構成タスクでは、Set-BSR は、平均17ポイントまで独立したランキングを上回ります。
論文 参考訳(メタデータ) (2023-05-24T08:58:28Z) - RetICL: Sequential Retrieval of In-Context Examples with Reinforcement
Learning [77.34726150561087]
In-Context Learning (RetICL) のための検索式を提案する。
我々は、マルコフ決定プロセスとして逐次サンプル選択の問題を定義し、LSTMを用いてサンプルレトリバーモデルを設計し、近似ポリシー最適化を用いてそれを訓練する。
論文 参考訳(メタデータ) (2023-05-23T20:15:56Z) - Active Learning Principles for In-Context Learning with Large Language
Models [65.09970281795769]
本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。
ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
論文 参考訳(メタデータ) (2023-05-23T17:16:04Z) - Analyzing Bagging Methods for Language Models [0.5161531917413708]
我々は,バッジ言語モデルの解析を行い,単一言語モデルと最終モデルサイズで大まかに等価なタグ付きアンサンブルを比較した。
我々のアンサンブル法は、少なくとも1つのLMベースラインとほぼ同等である。
論文 参考訳(メタデータ) (2022-07-19T06:30:37Z) - True Few-Shot Learning with Language Models [78.42578316883271]
ホールドアウト例が利用できない場合, LMの少数ショット能力を評価する。
以上の結果から,先行研究はLMの真少ショット能力を大幅に過大評価していたことが示唆された。
論文 参考訳(メタデータ) (2021-05-24T17:55:51Z) - SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。
既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
論文 参考訳(メタデータ) (2021-01-02T01:15:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。