論文の概要: Fine Tuning with Abnormal Examples
- arxiv url: http://arxiv.org/abs/2304.13783v1
- Date: Wed, 26 Apr 2023 18:59:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-28 15:20:42.754670
- Title: Fine Tuning with Abnormal Examples
- Title（参考訳）: 異常例による微調整
- Authors: Will Rieger
- Abstract要約: トレーニングのために、より均一なディストリビューションを生成する10,500のサンプルを特定します。
この例のサブセットを細調整したELECTRAは、すべての87,000の例でトレーニングされたモデルよりも優れたパフォーマンスが得られる。
そこで,本研究では,サンプル性能を向上するために,データセットを体系的に刈り取る手法について紹介する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Given the prevalence of crowd sourced labor in creating Natural Language
processing datasets, these aforementioned sets have become increasingly large.
For instance, the SQUAD dataset currently sits at over 80,000 records. However,
because the English language is rather repetitive in structure, the
distribution of word frequencies in the SQUAD dataset's contexts are relatively
unchanged. By measuring each sentences distance from the co-variate distance of
frequencies of all sentences in the dataset, we identify 10,500 examples that
create a more uniform distribution for training. While fine-tuning ELECTRA [4]
on this subset of examples reaches better performance to a model trained on all
87,000 examples. Herein we introduce a methodology for systematically pruning
datasets for fine tuning reaching better out of sample performance.
- Abstract（参考訳）: 自然言語処理データセット作成におけるクラウドソースの作業の頻度を考えると、これらのデータセットはますます大きくなる。
例えば、SQUADデータセットは現在、80,000レコードを超えている。
しかし、英語は構造的にかなり反復的であるため、SQUADデータセットの文脈における単語頻度の分布は比較的変化しない。
データセット内の全ての文の周波数の共変量距離から各文の距離を測定することで、トレーニングのためにより均一な分布を作る10,500の例を識別する。
この例のサブセットで細調整されたELECTRA [4] は87,000の例すべてでトレーニングされたモデルよりも優れたパフォーマンスを実現します。
そこで,本研究では,サンプル性能を向上するために,データセットを体系的に刈り取る手法を提案する。
関連論文リスト
- Target-Aware Language Modeling via Granular Data Sampling [25.957424920194914]
言語モデルの事前訓練は、一般的に幅広いユースケースをターゲットにし、多様なソースからのデータを取り込む。
コスト効率が高く簡単なアプローチは、低次元のデータ特徴をサンプリングすることである。
事前学習したモデルはRefinedWebの全データと同等に動作し、125Mから1.5Bまでのモデルサイズに対してランダムに選択されたサンプルより優れた性能を示す。
論文 参考訳（メタデータ） (2024-09-23T04:52:17Z) - One size doesn't fit all: Predicting the Number of Examples for In-Context Learning [16.712595387955574]
In-context Learning (ICL)は、ラベル付きデータのトレーニングセットに少数の局所的な例(入力と意味的に類似しているもの)を追加するプロセスを指す。
私たちの作業は、この'one fits all'アプローチの制限を軽減し、数ショットの推論で使用する各データインスタンスの例数を動的に予測します。
テキスト分類ベンチマーク実験の結果,AICLが標準ICLを最大17%上回っていることがわかった。
論文 参考訳（メタデータ） (2024-03-11T03:28:13Z) - Characterizing and Measuring Linguistic Dataset Drift [65.28821163863665]
本稿では,語彙,構造,意味的ドリフトという3次元の言語データセットドリフトを提案する。
これらの次元は、内容語頻度の発散、統語的発散、および単語周波数で捉えない意味の変化に対応している。
ドリフトメトリクスは、ドメイン外モデルの精度を予測する上で、以前のメトリクスよりも効果的であることが分かりました。
論文 参考訳（メタデータ） (2023-05-26T17:50:51Z) - In-context Examples Selection for Machine Translation [101.50473468507697]
大規模生成モデルは、コンテキスト内学習を用いて、幅広い自然言語処理(NLP)タスクを実行するという印象的な能力を示している。
機械翻訳(MT)の場合、これらの例は、通常、開発データセットからランダムにサンプリングされ、評価セットと同じような分布を持つ。
テキスト内サンプルの翻訳品質とドメインが重要であり,1ショットノイズ非関連例が出力品質に破滅的な影響を及ぼす可能性が示唆された。
論文 参考訳（メタデータ） (2022-12-05T17:25:15Z) - Generating Data to Mitigate Spurious Correlations in Natural Language
Inference Datasets [27.562256973255728]
自然言語処理モデルはしばしば、タスクに依存しない特徴とデータセットのラベルの間の急激な相関を利用して、トレーニング対象のディストリビューション内でのみうまく機能する。
そこで本研究では, 脱バイアス化したデータセットを生成して, 脱バイアス化したオフザシェルフモデルをトレーニングする手法を提案する。
提案手法は,1)高品質なラベル一貫性のあるデータサンプルを生成するためのデータジェネレータの訓練方法,2)素粒子相関に寄与するデータ点を除去するフィルタリング機構から構成される。
論文 参考訳（メタデータ） (2022-03-24T09:08:05Z) - Structurally Diverse Sampling Reduces Spurious Correlations in Semantic
Parsing Datasets [51.095144091781734]
本稿では,構造化された出力を持つラベル付きインスタンスプールから,構造的に多様なインスタンス群をサンプリングする新しいアルゴリズムを提案する。
提案アルゴリズムは, 合成テンプレート分割だけでなく, 従来のID分割においても, 従来のアルゴリズムよりも競合的に動作することを示す。
一般に、多種多様な列車集合は、10組のデータセット分割ペアのうち9組で同じ大きさのランダムな訓練集合よりも優れた一般化をもたらす。
論文 参考訳（メタデータ） (2022-03-16T07:41:27Z) - BigSSL: Exploring the Frontier of Large-Scale Semi-Supervised Learning
for Automatic Speech Recognition [126.5605160882849]
事前学習,自己学習,モデルサイズのスケールアップの組み合わせによって,データの効率が大幅に向上することがわかった。
本稿では,大規模な下流タスクに対して,事前学習モデルと自己学習モデルを使用することによって得られる普遍的なメリットについて報告する。
論文 参考訳（メタデータ） (2021-09-27T17:59:19Z) - Few-shot learning through contextual data augmentation [74.20290390065475]
機械翻訳モデルは、時間とともに性能を維持するために新しいデータに適応する必要がある。
一つの例から5つの例への適応が可能であることを示す。
本モデルでは,平均313個の並列例でトレーニングした基準システムよりも精度がよいことを示す。
論文 参考訳（メタデータ） (2021-03-31T09:05:43Z) - Comparative analysis of word embeddings in assessing semantic similarity
of complex sentences [8.873705500708196]
既存のベンチマークデータセットの文を解析し,文の複雑さに関する各種単語埋め込みの感度を解析する。
その結果, 文の複雑さの増大は, 埋め込みモデルの性能に重大な影響を及ぼすことがわかった。
論文 参考訳（メタデータ） (2020-10-23T19:55:11Z) - ToTTo: A Controlled Table-To-Text Generation Dataset [61.83159452483026]
ToTToはオープンドメインの英語のテーブル・トゥ・テキストのデータセットで、12万以上のトレーニングサンプルがある。
本稿では、ウィキペディアから既存の候補文を直接修正するデータセット構築プロセスを紹介する。
通常流動的であるが、既存の方法は多くの場合、表がサポートしていないフレーズを幻覚させる。
論文 参考訳（メタデータ） (2020-04-29T17:53:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。