Fugu-MT 論文翻訳(概要): Effective In-Context Example Selection through Data Compression

論文の概要: Effective In-Context Example Selection through Data Compression

arxiv url: http://arxiv.org/abs/2405.11465v1
Date: Sun, 19 May 2024 06:46:28 GMT
ステータス: 処理完了
システム内更新日: 2024-05-21 17:28:11.690448
Title: Effective In-Context Example Selection through Data Compression
Title（参考訳）: データ圧縮による効果的な実例選択
Authors: Zhongxiang Sun, Kepu Zhang, Haoyu Wang, Xiao Zhang, Jun Xu,
Abstract要約: 本稿では,テキスト内サンプルの選択に対するデータ圧縮手法を提案する。提案手法は,5つの実世界のデータセットに対して平均5.90%の大幅な改善を示した。
参考スコア（独自算出の注目度）: 9.799432584527336
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In-context learning has been extensively validated in large language models. However, the mechanism and selection strategy for in-context example selection, which is a crucial ingredient in this approach, lacks systematic and in-depth research. In this paper, we propose a data compression approach to the selection of in-context examples. We introduce a two-stage method that can effectively choose relevant examples and retain sufficient information about the training dataset within the in-context examples. Our method shows a significant improvement of an average of 5.90% across five different real-world datasets using four language models.
Abstract（参考訳）: インコンテキスト学習は、大規模な言語モデルで広く検証されている。しかし、本手法において重要な要素である文脈内サンプル選択のメカニズムと選択戦略は、体系的かつ詳細な研究を欠いている。本稿では,テキスト内サンプルの選択に対するデータ圧縮手法を提案する。そこで本研究では,実例を効果的に選択し,トレーニングデータセットに関する十分な情報を保持するための2段階の手法を提案する。提案手法は,4つの言語モデルを用いて,5つの実世界のデータセットに対して平均5.90%の大幅な改善を示す。

関連論文リスト

Target-Aware Language Modeling via Granular Data Sampling [25.957424920194914]
言語モデルの事前訓練は、一般的に幅広いユースケースをターゲットにし、多様なソースからのデータを取り込む。コスト効率が高く簡単なアプローチは、低次元のデータ特徴をサンプリングすることである。事前学習したモデルはRefinedWebの全データと同等に動作し、125Mから1.5Bまでのモデルサイズに対してランダムに選択されたサンプルより優れた性能を示す。
論文参考訳（メタデータ） (2024-09-23T04:52:17Z)
Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
論文参考訳（メタデータ） (2024-01-22T16:25:27Z)
One-Shot Learning as Instruction Data Prospector for Large Language Models [108.81681547472138]
textscNuggetsはワンショット学習を使用して、広範なデータセットから高品質な命令データを選択する。我々は,textscNuggets がキュレートした例の上位1%による命令チューニングが,データセット全体を用いた従来の手法よりも大幅に優れていることを示す。
論文参考訳（メタデータ） (2023-12-16T03:33:12Z)
Few-Shot Data-to-Text Generation via Unified Representation and Multi-Source Learning [114.54944761345594]
本稿では,既存の手法の限界に対処する構造化データ・テキスト生成手法を提案する。提案手法は,マルチタスクトレーニング,ゼロショット,少数ショットシナリオの性能向上を目的としている。
論文参考訳（メタデータ） (2023-08-10T03:09:12Z)
Skill-Based Few-Shot Selection for In-Context Learning [123.26522773708683]
Skill-KNNは、文脈内学習のためのスキルベースの少ショット選択手法である。モデルはトレーニングや微調整を必要とせず、頻繁に銀行を拡大したり変更したりするのに適している。 5つのドメイン間セマンティックパーシングデータセットと6つのバックボーンモデルによる実験結果から、Skill-KNNは既存の手法よりも大幅に優れていることが示された。
論文参考訳（メタデータ） (2023-05-23T16:28:29Z)
SPEC: Summary Preference Decomposition for Low-Resource Abstractive Summarization [21.037841262371355]
本稿では,ソースコーパスからターゲットコーパスへ数発の学習プロセスを転送するフレームワークを提案する。提案手法は, ROUGE-1/2/Lを10例, 100例で平均改良した6種類のコーパスに対して, 30.11%/33.95%/27.51%, 26.74%/31.14%/24.48%の最先端性能を実現する。
論文参考訳（メタデータ） (2023-03-24T14:07:03Z)
Compositional Exemplars for In-context Learning [21.961094715261133]
大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
論文参考訳（メタデータ） (2023-02-11T14:02:08Z)
Selective Annotation Makes Language Models Better Few-Shot Learners [97.07544941620367]
大規模な言語モデルはコンテキスト内学習を実行でき、いくつかのタスクデモから新しいタスクを学ぶことができる。本研究は、新しい自然言語タスクのためのデータセット作成において、文脈内学習がもたらす意味について考察する。本稿では,無教師付きグラフベースの選択的アノテーションであるvoke-kを提案する。
論文参考訳（メタデータ） (2022-09-05T14:01:15Z)
Improving Multi-Turn Response Selection Models with Complementary Last-Utterance Selection by Instance Weighting [84.9716460244444]
我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。 2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
論文参考訳（メタデータ） (2020-02-18T06:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。