論文の概要: Fighting Randomness with Randomness: Mitigating Optimisation Instability of Fine-Tuning using Delayed Ensemble and Noisy Interpolation

• arxiv url: http://arxiv.org/abs/2406.12471v2
• Date: Thu, 03 Oct 2024 14:56:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-04 23:30:27.349620
• Title: Fighting Randomness with Randomness: Mitigating Optimisation Instability of Fine-Tuning using Delayed Ensemble and Noisy Interpolation
• Title（参考訳）: ランダム性と戦うランダム性:遅延アンサンブルと雑音補間による微調整の最適化不安定性の軽減
• Authors: Branislav Pecher, Jan Cegin, Robert Belanec, Jakub Simko, Ivan Srba, Maria Bielikova,
• Abstract要約: 雑音補間による遅延アンサンブル(DENI)と呼ばれる新しい緩和戦略を提案する。 DENIと3つのモデル,4つのチューニング戦略,7つのテキスト分類データセットの9つの代表的な緩和戦略を比較した。 DENIは,コストのごく一部を使用しながら,最良性能の緩和戦略(Ensemble)より優れていることを示す。
• 参考スコア（独自算出の注目度）: 4.89606179888165
• License:
• Abstract: While fine-tuning of pre-trained language models generally helps to overcome the lack of labelled training samples, it also displays model performance instability. This instability mainly originates from randomness in initialisation or data shuffling. To address this, researchers either modify the training process or augment the available samples, which typically results in increased computational costs. We propose a new mitigation strategy, called Delayed Ensemble with Noisy Interpolation (DENI), that leverages the strengths of ensembling, noise regularisation and model interpolation, while retaining computational efficiency. We compare DENI with 9 representative mitigation strategies across 3 models, 4 tuning strategies and 7 text classification datasets. We show that: 1) DENI outperforms the best performing mitigation strategy (Ensemble), while using only a fraction of its cost; 2) the mitigation strategies are beneficial for parameter-efficient fine-tuning (PEFT) methods, outperforming full fine-tuning in specific cases; and 3) combining DENI with data augmentation often leads to even more effective instability mitigation.
• Abstract（参考訳）: 事前訓練された言語モデルの微調整は、一般にラベル付きトレーニングサンプルの欠如を克服するのに役立つが、モデルパフォーマンスの不安定性も示している。 この不安定性は主に初期化やデータのシャッフルにおけるランダム性に起因する。 これを解決するために、研究者はトレーニングプロセスを変更したり、利用可能なサンプルを増やしたりします。 提案手法は遅延アンサンブル (Delayed Ensemble with Noisy Interpolation, DENI) と呼ばれる新しい緩和戦略であり, 計算効率を維持しつつ, アンサンブル, ノイズ正規化, モデル補間といった強みを利用する。 DENIと3つのモデル,4つのチューニング戦略,7つのテキスト分類データセットの9つの代表的な緩和戦略を比較した。 以下に示す。 1)DENIは、コストのごく一部を使用しながら、最高の緩和戦略(アンサンブル)を上回ります。 2) 緩和戦略は, パラメータ効率の良い微調整法(PEFT)に有効であり, 特定の場合において, 完全微調整よりも優れている。 3) DENIとデータ拡張を組み合わせることで、より効果的な不安定性の軽減につながることが多い。

関連論文リスト

• Fine Tuning without Catastrophic Forgetting via Selective Low Rank Adaptation [13.084333776247743]
  微調整は分散シフトに対する堅牢性を低下させ、アウト・オブ・ディストリビューション(OOD)のパフォーマンスに影響を及ぼす。 本稿では,低ランク適応(LoRA)ブロックを選択的に活性化するインジケータ関数を用いたパラメータ効率細調整(PEFT)手法を提案する。 有効微調整は5%のアクティブブロックで実現でき、効率が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2025-01-26T03:22:22Z)
• Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
  既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。 本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
  論文  参考訳（メタデータ） (2025-01-08T20:11:09Z)
• An Efficient Rehearsal Scheme for Catastrophic Forgetting Mitigation during Multi-stage Fine-tuning [55.467047686093025]
  このような忘れを緩和するための一般的なアプローチは、微調整中に以前のタスクからサンプルをリハーサルすることである。 側方損傷のリハーサルを優先するサンプリング手法である textttbf mix-cd を提案する。 我々の手法は計算効率が高く、実装が容易で、計算制約のある設定においていくつかの主要な連続学習手法より優れています。
  論文  参考訳（メタデータ） (2024-02-12T22:32:12Z)
• RECOMBINER: Robust and Enhanced Compression with Bayesian Implicit Neural Representations [8.417694229876371]
  COMBINERは量子化を回避し、レート歪み性能の直接最適化を可能にする。 我々は,COMBINERの限界を克服するために,Robust and Enhanced COMBINER (RECOMBINER)を提案する。 我々は,RECOMBINERがINRベースの最良の手法と競合し,低解像度画像上でのオートエンコーダベースのコーデックよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-29T12:27:15Z)
• Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
  大規模未ラベルデータから学ぶための2つの戦略を提案する。 第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。 第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
  論文  参考訳（メタデータ） (2023-07-26T16:19:19Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• A Simple but Tough-to-Beat Data Augmentation Approach for Natural Language Understanding and Generation [53.8171136907856]
  カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。 カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。 cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2020-09-29T07:08:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。