論文の概要: NEFTune: Noisy Embeddings Improve Instruction Finetuning

• arxiv url: http://arxiv.org/abs/2310.05914v2
• Date: Tue, 10 Oct 2023 17:31:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 04:30:01.299627
• Title: NEFTune: Noisy Embeddings Improve Instruction Finetuning
• Title（参考訳）: NEFTune: インストラクションファインタニングを改善するノイズの埋め込み
• Authors: Neel Jain, Ping-yeh Chiang, Yuxin Wen, John Kirchenbauer, Hong-Min Chu, Gowthami Somepalli, Brian R. Bartoldson, Bhavya Kailkhura, Avi Schwarzschild, Aniruddha Saha, Micah Goldblum, Jonas Geiping, Tom Goldstein
• Abstract要約: NEFTuneは、トレーニング中に埋め込みベクターにノイズを追加する。 Evol-Instructでトレーニングされたモデルは10%改善され、ShareGPTは8%改善され、OpenPlatypusは8%改善された。
• 参考スコア（独自算出の注目度）: 113.34098028348946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that language model finetuning can be improved, sometimes dramatically, with a simple augmentation. NEFTune adds noise to the embedding vectors during training. Standard finetuning of LLaMA-2-7B using Alpaca achieves 29.79% on AlpacaEval, which rises to 64.69% using noisy embeddings. NEFTune also improves over strong baselines on modern instruction datasets. Models trained with Evol-Instruct see a 10% improvement, with ShareGPT an 8% improvement, and with OpenPlatypus an 8% improvement. Even powerful models further refined with RLHF such as LLaMA-2-Chat benefit from additional training with NEFTune.
• Abstract（参考訳）: 言語モデルの微調整は、単純な拡張によって、時には劇的に改善できることを示している。 NEFTuneはトレーニング中に埋め込みベクトルにノイズを追加する。 Alpacaを用いたLLaMA-2-7Bの標準的な微調整では、AlpacaEvalの29.79%が達成され、ノイズの多い埋め込みを使用して64.69%まで上昇する。 NEFTuneは、モダンな命令データセットの強いベースラインも改善している。 Evol-Instructでトレーニングされたモデルは10%改善され、ShareGPTは8%改善され、OpenPlatypusは8%改善された。 LLaMA-2-ChatのようなRLHFで改良された強力なモデルでさえNEFTuneでの追加訓練の恩恵を受けた。

関連論文リスト

• Variational Low-Rank Adaptation Using IVON [50.0349688602232]
  変動学習はローランド適応(LoRA)の精度と校正を著しく向上させることができることを示す。 我々はAdamWを改良変分オンラインニュートン(IVON)アルゴリズムで置き換え、大きな言語モデルを微調整する。
  論文  参考訳（メタデータ） (2024-11-07T04:17:30Z)
• CDR: Customizable Density Ratios of Strong-over-weak LLMs for Preference Annotation [15.776175440446414]
  大規模言語モデル(LLM)の優先度調整は、高品質な人間の嗜好データに依存している。 そこで本研究では,既製のLCMを優先データアノテーションとして活用するトレーニングフリーかつ高効率な手法であるカスタマイズ密度比(CDR)を導入する。 本研究では,特定基準と嗜好を組み込んだ密度比報酬関数の調整により,領域内および対象領域内での性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-11-04T18:54:39Z)
• Aligner: Efficient Alignment by Learning to Correct [10.056049435141645]
  モデルに依存しないプラグアンドプレイモジュールであるAlignerを導入し、好ましくない回答と好ましくない回答の補正残差を学習する。 トレーニングはワンオフで、さまざまなオープンソースおよびAPIベースのモデルに適用できるため、迅速なイテレーションに適している。 実験では、11の異なる言語モデルに同じAlignerモデルをデプロイすることで、パフォーマンスの向上を実証した。
  論文  参考訳（メタデータ） (2024-02-04T09:24:51Z)
• SymNoise: Advancing Language Model Fine-tuning with Symmetric Noise [1.8399030634592846]
  埋め込みプロセスに対称雑音を組み込む言語モデルのための新しい微調整手法を提案する。 本手法は,局所曲率をより厳密に制御し,現行手法NEFTuneよりも優れた性能を示すことにより,モデルの機能を向上することを目的としている。
  論文  参考訳（メタデータ） (2023-12-03T22:44:58Z)
• AlpaGasus: Training A Better Alpaca with Fewer Data [93.6949102689243]
  低品質なデータを自動的に識別しフィルタリングする、シンプルで効果的なデータ選択戦略を提案する。 52kのAlpacaデータからフィルタした9kの高品質データのみを微調整したAlpaGasusを紹介する。 AlpaGasusは、複数のテストセットと制御された人間の評価において、オリジナルのAlpacaを著しく上回っている。
  論文  参考訳（メタデータ） (2023-07-17T17:59:40Z)
• Reliable Label Correction is a Good Booster When Learning with Extremely Noisy Labels [65.79898033530408]
  極音下での学習に明示的に取り組むために,LC-Boosterと呼ばれる新しい枠組みを導入する。 LC-Boosterは、ラベル補正をサンプル選択に組み込むことで、信頼性の高いラベル修正を通じて、より精製されたサンプルをトレーニングに利用することができる。 実験により、LC-Boosterはいくつかのノイズラベルベンチマークで最先端の結果を前進させることが示された。
  論文  参考訳（メタデータ） (2022-04-30T07:19:03Z)
• Exploring Wav2vec 2.0 fine-tuning for improved speech emotion recognition [78.92428622630861]
  wav2vec 2.0は、音声感情認識(SER)に使用できる バニラ微調整(V-FT)とタスク適応事前訓練(TAPT)の2つの基本手法を最初に提示する。 V-FTがIEMOCAPデータセットの最先端モデルより優れていることを示す。 P-TAPTと呼ばれる新しい微調整手法も導入し、TAPTの目的を変更して文脈化された感情表現を学習する。
  論文  参考訳（メタデータ） (2021-10-12T19:55:55Z)
• Comparing CTC and LFMMI for out-of-domain adaptation of wav2vec 2.0 acoustic model [6.338178373376447]
  wav2vec 2.0自己監督プリトレーニングが、接続主義の時系列分類におけるオーバーフィット問題を緩和するのに役立つかどうかを検討する。 wav2vec 2.0モデルの教師付き適応には、E2E-LFMMIとCTCの両方が同様の結果を得る。 babel言語では,スワヒリ語では26%,スワヒリ語では23%,タガログ語では17%,タガログ語では17%の相対的改善が得られた。
  論文  参考訳（メタデータ） (2021-04-06T14:56:04Z)
• DeBERTa: Decoding-enhanced BERT with Disentangled Attention [119.77305080520718]
  2つの新しい手法を用いてBERTモデルとRoBERTaモデルを改善する新しいモデルアーキテクチャDeBERTaを提案する。 これらの手法により,モデル事前学習の効率化と,自然言語理解(NLU)と自然言語生成(NLG)の両方の性能向上が期待できる。
  論文  参考訳（メタデータ） (2020-06-05T19:54:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。