論文の概要: Aligning the Pretraining and Finetuning Objectives of Language Models
- arxiv url: http://arxiv.org/abs/2002.02000v1
- Date: Wed, 5 Feb 2020 21:40:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-03 20:52:35.113091
- Title: Aligning the Pretraining and Finetuning Objectives of Language Models
- Title（参考訳）: 言語モデルの事前学習と微調整対象の調整
- Authors: Nuo Wang Pierse, Jingwen Lu
- Abstract要約: 言語モデル学習において,事前学習目標と微調整目標との整合性はタスクの微調整性能を著しく向上させることを示す。
我々は、何百もの訓練例かそれ以下の「いくつかの事例学習」の存在下で、微調整された小言語モデルを命名する。
実際には、客観的アライメントによって実現されたFew Example Learningは、人間のラベリングコストを節約するだけでなく、よりリアルタイムなアプリケーションで言語モデルを活用することもできる。
- 参考スコア（独自算出の注目度）: 1.0965065178451106
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We demonstrate that explicitly aligning the pretraining objectives to the
finetuning objectives in language model training significantly improves the
finetuning task performance and reduces the minimum amount of finetuning
examples required. The performance margin gained from objective alignment
allows us to build language models with smaller sizes for tasks with less
available training data. We provide empirical evidence of these claims by
applying objective alignment to concept-of-interest tagging and acronym
detection tasks. We found that, with objective alignment, our 768 by 3 and 512
by 3 transformer language models can reach accuracy of 83.9%/82.5% for
concept-of-interest tagging and 73.8%/70.2% for acronym detection using only
200 finetuning examples per task, outperforming the 768 by 3 model pretrained
without objective alignment by +4.8%/+3.4% and +9.9%/+6.3%. We name finetuning
small language models in the presence of hundreds of training examples or less
"Few Example learning". In practice, Few Example Learning enabled by objective
alignment not only saves human labeling costs, but also makes it possible to
leverage language models in more real-time applications.
- Abstract（参考訳）: 言語モデル学習における事前学習目標を微調整目標に明示的に整合させることにより、微調整タスクの性能が大幅に向上し、必要な微調整例の最小量を削減できることを実証する。
客観的アライメントから得られるパフォーマンスマージンにより、トレーニングデータが少ないタスクに対して、より小さなサイズの言語モデルを構築することができます。
これらの主張の実証的証拠として、関心のタグ付けや頭字語検出タスクに客観的なアライメントを適用する。
客観的アライメントでは、3つのトランスフォーマー言語モデルによる768 by 3と512の精度が83.9%/82.5%に達し、タスク毎に200の微調整例しか使用していない頭字語検出では73.8%/70.2%、客観的アライメントのない3モデルでは+4.8%/+3.4%、+9.9%/+6.3%に達した。
何百ものトレーニング例かそれ以下の"いくつかの例学習"が存在する場合、微調整の小さな言語モデルに名前を付けます。
実際には、客観的アライメントによって実現されるサンプル学習は、人間のラベル付けコストを節約するだけでなく、よりリアルタイムなアプリケーションで言語モデルを活用することができる。
関連論文リスト
- Emergent Abilities in Reduced-Scale Generative Language Models [10.51168925267033]
大規模言語モデルはタスク固有の微調整なしで新しいタスクを解くことができる。
この能力は創発的能力と見なされ、数十億のパラメータを持つ大きな言語モデルで主に見られる。
本研究では,そのような創発特性がモデルサイズと厳密に結びついているか,縮小スケールで訓練されたより小さなモデルで示すことができるかを検討する。
論文 参考訳（メタデータ） (2024-04-02T18:00:28Z) - LIMA: Less Is More for Alignment [112.93890201395477]
65B パラメータ LLaMa 言語モデル LIMA のトレーニングを行う。
LIMAは、非常に強力なパフォーマンスを示し、少数の例から特定のレスポンスフォーマットに従うことを学ぶ。
制御されたヒトの研究では、LIMAからの反応は43%の症例において、GPT-4に等しいか、厳格に好まれる。
論文 参考訳（メタデータ） (2023-05-18T17:45:22Z) - Contrastive Alignment of Vision to Language Through Parameter-Efficient
Transfer Learning [60.26952378997713]
コントラスト的視覚言語モデル(例えばCLIP)は、コントラスト的トレーニングを通じて視覚モデルと言語モデルの全てのパラメータを更新することによって作成される。
パラメータ更新の最小セット($7%)が、フルモデルトレーニングと同じパフォーマンスを実現可能であることを示す。
既存の知識がパラメータ効率のトレーニングにおいてより強く保存されていることを示す。
論文 参考訳（メタデータ） (2023-03-21T14:12:08Z) - Go-tuning: Improving Zero-shot Learning Abilities of Smaller Language
Models [23.818751895205132]
Go-tuningは幾何学誘導型自己教師型学習法である。
ゴーチューニングは、T5-XL(3B)のような大きな言語モデルと比較して、T5-小(80M)の競合ゼロショット結果を可能にする。
論文 参考訳（メタデータ） (2022-12-20T17:36:49Z) - Forging Multiple Training Objectives for Pre-trained Language Models via
Meta-Learning [97.28779163988833]
複数の事前学習目標が単一目的言語モデリングの理解能力の欠如を埋める。
メタラーニングに基づく新しい適応型サンプリングシステムであるtextitMOMETAS を提案し,任意の事前学習対象に対して潜時サンプリングパターンを学習する。
論文 参考訳（メタデータ） (2022-10-19T04:38:26Z) - Look Ma, Only 400 Samples! Revisiting the Effectiveness of Automatic
N-Gram Rule Generation for Spelling Normalization in Filipino [0.0]
フィリピンのNLPアプリケーションの開発には、オンラインテキストをモデルで処理する能力が不可欠である。
自動ルール抽出によるN-Gram + Damerau Levenshtein距離モデルを提案する。
論文 参考訳（メタデータ） (2022-10-06T04:41:26Z) - Super-Prompting: Utilizing Model-Independent Contextual Data to Reduce
Data Annotation Required in Visual Commonsense Tasks [3.42658286826597]
我々は,言語モデルとマルチモーダル因果変換器モデルの両方における結果を改善するために,異なるプロンプトベースの微調整手法を解析する。
以上の結果から,モデルに依存しないインシデントベースの微調整により,微調整データセットの35%～40%のみを用いて,同等の精度で達成できることが示唆された。
論文 参考訳（メタデータ） (2022-04-25T18:56:55Z) - PaLM: Scaling Language Modeling with Pathways [180.69584031908113]
我々は,パスウェイズ言語モデル PaLM と呼ばれるトランスフォーマー言語モデルを用いて,540ビリオンのパラメータを訓練した。
我々はPathwaysという新しいMLシステムを用いて,6144 TPU v4チップ上でPaLMをトレーニングした。
数百の言語理解および生成ベンチマーク上で、最先端の数発の学習結果を達成し、スケーリングの継続的なメリットを実証する。
論文 参考訳（メタデータ） (2022-04-05T16:11:45Z) - Few-shot Learning with Multilingual Language Models [66.49496434282564]
多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。
私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。
本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
論文 参考訳（メタデータ） (2021-12-20T16:52:35Z) - Finetuned Language Models Are Zero-Shot Learners [67.70352207685558]
命令チューニングは、目に見えないタスクにおけるゼロショット性能を向上することを示す。
137Bパラメータを事前訓練した言語モデルと、自然言語の命令テンプレートを介して言語化された60以上のNLPタスクにチューニングする。
FLANと呼ばれるこの命令調整モデルについて、未知のタスクタイプで評価する。
論文 参考訳（メタデータ） (2021-09-03T17:55:52Z) - ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language
Understanding and Generation [25.430130072811075]
大規模知識強化モデルの事前学習のための統合フレームワーク ERNIE 3.0 を提案する。
自動回帰ネットワークと自動エンコードネットワークを融合することで、トレーニングされたモデルを自然言語理解と生成タスクの両方に容易に適合させることができる。
我々は,テキストと大規模知識グラフからなる4TBコーパス上で,100億のパラメータでモデルを訓練した。
論文 参考訳（メタデータ） (2021-07-05T16:54:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。