論文の概要: Training Data is More Valuable than You Think: A Simple and Effective
Method by Retrieving from Training Data
- arxiv url: http://arxiv.org/abs/2203.08773v1
- Date: Wed, 16 Mar 2022 17:37:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-17 13:45:40.710634
- Title: Training Data is More Valuable than You Think: A Simple and Effective
Method by Retrieving from Training Data
- Title（参考訳）: トレーニングデータは、あなたが考えるよりも有益である:トレーニングデータから取り出すシンプルで効果的な方法
- Authors: Shuohang Wang, Yichong Xu, Yuwei Fang, Yang Liu, Siqi Sun, Ruochen Xu,
Chenguang Zhu, Michael Zeng
- Abstract要約: 検索に基づく手法は,外部知識を導入してNLPタスクに有効であることが示されている。
意外なことに、Retrieving from the training datA (REINA) は複数のNLGおよびNLUタスクにおいて大きな改善をもたらすことが判明した。
実験結果から,本手法は様々なNLUタスクやNLGタスクにおいて,大幅な性能向上が期待できることがわかった。
- 参考スコア（独自算出の注目度）: 82.92758444543689
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-based methods have been shown to be effective in NLP tasks via
introducing external knowledge. However, the indexing and retrieving of
large-scale corpora bring considerable computational cost. Surprisingly, we
found that REtrieving from the traINing datA (REINA) only can lead to
significant gains on multiple NLG and NLU tasks. We retrieve the labeled
training instances most similar to the input text and then concatenate them
with the input to feed into the model to generate the output. Experimental
results show that this simple method can achieve significantly better
performance on a variety of NLU and NLG tasks, including summarization, machine
translation, language modeling, and question answering tasks. For instance, our
proposed method achieved state-of-the-art results on XSum, BigPatent, and
CommonsenseQA. Our code is released, https://github.com/microsoft/REINA .
- Abstract（参考訳）: 検索に基づく手法は,外部知識を導入してNLPタスクに有効であることが示されている。
しかし、大規模なコーパスのインデックス化と検索は、かなりの計算コストをもたらす。
意外なことに、Retrieving from the training datA (REINA) は複数のNLGおよびNLUタスクにおいて大きな改善をもたらすことが判明した。
ラベル付きトレーニングインスタンスを入力テキストに最もよく似たものを取得し、それらをモデルに入力して出力を生成します。
実験の結果, この単純な手法は, 要約, 機械翻訳, 言語モデリング, 質問応答タスクなど, 様々なnluおよびnlgタスクにおいて, 著しく優れた性能が得られることがわかった。
例えば,提案手法は,XSum,BigPatent,CommonsenseQAで最先端の結果を得た。
私たちのコードは、https://github.com/microsoft/REINA です。
関連論文リスト
- RUIE: Retrieval-based Unified Information Extraction using Large Language Model [6.788855739199981]
統一された情報抽出は、単一のモデルまたはフレームワークを使用して全ての情報抽出タスクを完了することを目的としている。
本稿では,テキスト内学習を活用して迅速な一般化を実現するフレームワークRUIE(Retrieval-based Unified Information extract)を提案する。
8つのホールドアウトデータセットの実験結果から、未確認タスクを一般化するRUIEの有効性が示された。
論文 参考訳（メタデータ） (2024-09-18T03:20:04Z) - Great Memory, Shallow Reasoning: Limits of $k$NN-LMs [71.73611113995143]
検索とnext-word予測を統合した$k$NN-LMsは、言語モデリングにおいて強力な性能を示している。
この改良された情報リコール能力が、本当に下流の能力に変換されるかどうかを問う。
論文 参考訳（メタデータ） (2024-08-21T17:59:05Z) - Instruction Distillation Makes Large Language Models Efficient Zero-shot
Rankers [56.12593882838412]
本稿では,文書のランク付けのための新しい命令蒸留手法を提案する。
まず、複雑な命令で効果的なペアワイズ手法を用いて文書をランク付けし、簡単な指示で教師の予測をポイントワイズ方式で抽出する。
提案手法は,MonoT5のような既存の教師付きメソッドの性能を超越し,最先端のゼロショット手法と同等である。
論文 参考訳（メタデータ） (2023-11-02T19:16:21Z) - LLMaAA: Making Large Language Models as Active Annotators [32.57011151031332]
本稿では,大規模な言語モデルをアノテータとして利用し,それをアクティブな学習ループに配置して,アノテートを効率的に行うLLMaAAを提案する。
我々は、エンティティ認識と関係抽出という、2つの古典的NLPタスクの実験と分析を行う。
LLMaAAでは、LLM生成ラベルからトレーニングされたタスク固有のモデルが、数百の注釈付きサンプルで教師より優れている。
論文 参考訳（メタデータ） (2023-10-30T14:54:15Z) - Bag of Tricks for Training Data Extraction from Language Models [98.40637430115204]
公開データセットを用いてトレーニングデータ抽出を改善するための手法とベンチマーク手法について検討する。
実験結果から,これまで見過ごされていたいくつかのトリックが,トレーニングデータ抽出の成功に不可欠であることが示唆された。
論文 参考訳（メタデータ） (2023-02-09T06:46:42Z) - All Birds with One Stone: Multi-task Text Classification for Efficient
Inference with One Forward Pass [34.85886030306857]
Webコンテンツ分類では、Web記事のような同じ入力テキストから複数の分類タスクを予測する。
既存のマルチタスクトランスモデルは、O(N)コストでNタスクに対してNフォワードパスを実行する必要がある。
本稿では,O(1)計算コストを1つのフォワードパスのみに設定することで,高い性能を実現するスケーラブルな手法を提案する。
論文 参考訳（メタデータ） (2022-05-22T05:16:03Z) - Learning To Retrieve Prompts for In-Context Learning [33.176481861880724]
本稿では,注釈付きデータとLMを用いたテキスト内学習のためのプロンプトを効率よく検索する手法を提案する。
言語発話を意味表現にマッピングする3つのシーケンス・ツー・シーケンスタスクに対するアプローチを評価する。
論文 参考訳（メタデータ） (2021-12-16T05:17:56Z) - Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
トレーニングデータアーティファクトの識別を容易にする手法を提案する。
提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。
我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
論文 参考訳（メタデータ） (2021-07-01T09:26:13Z) - Bootstrapping Relation Extractors using Syntactic Search by Examples [47.11932446745022]
非NLP専門家によって迅速に実行できるトレーニングデータセットのブートストラッププロセスを提案する。
フレンドリーなバイサンプル構文を公開する構文グラフよりも検索エンジンを利用する。
得られたモデルは,手作業による注釈付きデータや遠隔監視から得られたデータに基づいて訓練されたモデルと競合することを示す。
論文 参考訳（メタデータ） (2021-02-09T18:17:59Z) - MC-BERT: Efficient Language Pre-Training via a Meta Controller [96.68140474547602]
大規模事前学習は計算コストが高い。
事前トレーニングを加速する初期の試みであるELECTRAは、各入力トークンがジェネレータに置き換えられたかどうかを予測する識別モデルを訓練している。
本稿では,MC-BERTというメタラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-10T09:22:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。