論文の概要: Scalable Fine-tuning from Multiple Data Sources: A First-Order Approximation Approach

• arxiv url: http://arxiv.org/abs/2409.19458v2
• Date: Mon, 25 Nov 2024 06:09:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:16:58.978029
• Title: Scalable Fine-tuning from Multiple Data Sources: A First-Order Approximation Approach
• Title（参考訳）: 複数のデータソースからのスケーラブルな微調整:一階近似アプローチ
• Authors: Dongyue Li, Ziniu Zhang, Lu Wang, Hongyang R. Zhang,
• Abstract要約: 目的タスクに対する言語モデル(LM)の微調整の問題について,$n$補助タスクの情報を用いて最適に検討する。 この問題には、NLPにおけるターゲット命令チューニングや、チェーン・オブ・ファインタニングにおけるデータ選択など、幅広い応用がある。 繰り返し学習せずにモデル微調整性能を推定する新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 17.79010397902909
• License:
• Abstract: We study the problem of fine-tuning a language model (LM) for a target task by optimally using the information from $n$ auxiliary tasks. This problem has broad applications in NLP, such as targeted instruction tuning and data selection in chain-of-thought fine-tuning. The key challenge of this problem is that not all auxiliary tasks are useful to improve the performance of the target task. Thus, choosing the right subset of auxiliary tasks is crucial. Conventional subset selection methods, such as forward and backward stepwise selection, are unsuitable for LM fine-tuning because they require repeated training on subsets of auxiliary tasks. This paper introduces a new algorithm to estimate model fine-tuning performances without repeated training. Our algorithm first performs multitask training using the data of all the tasks to obtain a meta initialization. Then, we approximate the model fine-tuning loss of a subset using functional values and gradients from the meta initialization. Empirically, we find that this gradient-based approximation holds with remarkable accuracy for twelve transformer-based LMs. Thus, we can now estimate fine-tuning performances on CPUs within a few seconds. Finally, we fine-tune the pretrained base model for once on the selected subset of tasks. We conduct extensive experiments to validate this approach, delivering a speedup of $30\times$ over conventional subset selection while incurring only $1\%$ error of the true fine-tuning performances. In downstream evaluations involving both instruction tuning and chain-of-thought fine-tuning, this loss-based selection approach improves over prior gradient or representation similarity-based methods for subset selection by up to $3.8\%$.
• Abstract（参考訳）: 目的タスクの言語モデル(LM)を,$n$の補助タスクの情報を用いて最適に調整する問題について検討する。 この問題には、NLPにおけるターゲット命令チューニングや、チェーン・オブ・ファインタニングにおけるデータ選択など、幅広い応用がある。 この問題の鍵となる課題は、全ての補助タスクが目標タスクの性能を向上させるのに役立つわけではないことである。 したがって、補助的なタスクの正しい部分集合を選択することが重要である。 前向きと後向きの選択のような従来のサブセット選択法は、補助的なタスクのサブセットの繰り返しの訓練を必要とするため、LMの微調整には適さない。 本稿では,繰り返し学習することなくモデル微調整性能を推定するアルゴリズムを提案する。 提案アルゴリズムはまず,すべてのタスクのデータを用いてマルチタスクトレーニングを行い,メタ初期化を実現する。 次に,機能値とメタ初期化からの勾配を用いて,サブセットの微調整損失を近似する。 実験により、この勾配に基づく近似は、12個の変圧器ベースのLMに対して顕著な精度で成り立つことがわかった。 これにより、数秒以内にCPU上での微調整性能を推定できる。 最後に、選択したタスクのサブセットに対して、事前訓練されたベースモデルを一度に微調整する。 我々は、このアプローチを検証するために、従来のサブセット選択よりも30\times$のスピードアップを提供しながら、真の微調整性能の誤差をわずか1\%しか生じない、広範囲な実験を行った。 インストラクションチューニングとチェーンオブファインチューニングの両方を含む下流評価において、この損失ベース選択アプローチは、サブセット選択のための事前勾配や表現類似性に基づくメソッドを最大3.8 %$で改善する。

関連論文リスト

• TSDS: Data Selection for Task-Specific Model Finetuning [39.19448080265558]
  タスク固有の微調整の有効性は、適切なトレーニングデータの選択に大きく依存する。 本稿では,タスク固有のモデル微調整のためのデータ選択フレームワークであるTSDS(Task-Specific Data Selection)を提案する。 提案手法で選択したデータを用いて,1%選択率で命令チューニングを行う場合,全データセットで処理性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-15T05:54:17Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• DynamoRep: Trajectory-Based Population Dynamics for Classification of Black-box Optimization Problems [0.755972004983746]
  簡単な統計量を用いて最適化アルゴリズムの軌道を記述する特徴抽出法を提案する。 提案するDynamoRep機能は,最適化アルゴリズムが動作している問題クラスを特定するのに十分な情報を取得する。
  論文  参考訳（メタデータ） (2023-06-08T06:57:07Z)
• Active Finetuning: Exploiting Annotation Budget in the Pretraining-Finetuning Paradigm [132.9949120482274]
  本稿では,事前学習ファインタニングパラダイムにおけるアノテーションのためのサンプルの選択に焦点を当てる。 本研究では,アクティブな微調整タスクのためのActiveFTと呼ばれる新しい手法を提案する。 画像分類とセマンティックセグメンテーションの両方に基づくベースラインよりも優れたActiveFTの先行性能と高効率性を示す。
  論文  参考訳（メタデータ） (2023-03-25T07:17:03Z)
• Unsupervised Learning of Initialization in Deep Neural Networks via Maximum Mean Discrepancy [74.34895342081407]
  本稿では,入力データに対する優れた初期化を求めるための教師なしアルゴリズムを提案する。 まず、パラメータ空間における各パラメータ構成が、d-way分類の特定の下流タスクに対応することに気付く。 次に、学習の成功は、初期パラメータの近傍で下流タスクがいかに多様であるかに直接関連していると推測する。
  論文  参考訳（メタデータ） (2023-02-08T23:23:28Z)
• Probabilistic Bilevel Coreset Selection [24.874967723659022]
  本稿では,各トレーニングサンプルの確率的重みを学習することにより,コアセット選択の連続確率的2レベル定式化を提案する。 暗黙的な微分の問題を伴わずに、偏りのない政策勾配を経由し、二段階最適化問題に対する効率的な解法を開発する。
  論文  参考訳（メタデータ） (2023-01-24T09:37:00Z)
• RoMA: Robust Model Adaptation for Offline Model-based Optimization [115.02677045518692]
  入力出力クエリの静的データセットからブラックボックス目的関数を最大化する入力を探索する問題を考える。 この問題を解決するための一般的なアプローチは、真の客観的関数を近似するプロキシモデルを維持することである。 ここでの大きな課題は、検索中に逆最適化された入力を避ける方法である。
  論文  参考訳（メタデータ） (2021-10-27T05:37:12Z)
• Hyperparameter Transfer Learning with Adaptive Complexity [5.695163312473305]
  ネストされたドロップアウトと自動関連性判定によって複雑性を高める順序付き非線形基底関数の集合を学習する新しいマルチタスクBO法を提案する。
  論文  参考訳（メタデータ） (2021-02-25T12:26:52Z)
• Adaptive Submodular Meta-Learning [28.24164217929491]
  適応的なサブモジュラーメタラーニング問題を紹介し,研究する。 私たちの問題の入力は、各アイテムが最初に不明なランダムな状態を持つアイテムのセットです。 本研究の目的は,タスクセット上で最高のパフォーマンスを達成する項目群を適応的に選択することである。
  論文  参考訳（メタデータ） (2020-12-11T01:28:55Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)
• Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning [100.83444258562263]
  本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。 結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。 我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
  論文  参考訳（メタデータ） (2020-01-12T09:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。