論文の概要: Stay Tuned: An Empirical Study of the Impact of Hyperparameters on LLM Tuning in Real-World Applications
- arxiv url: http://arxiv.org/abs/2407.18990v2
- Date: Wed, 7 Aug 2024 07:46:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-08 14:56:01.223007
- Title: Stay Tuned: An Empirical Study of the Impact of Hyperparameters on LLM Tuning in Real-World Applications
- Title（参考訳）: Stay Tuned: LLMチューニングにおけるハイパーパラメータの影響に関する実証的研究
- Authors: Alon Halfon, Shai Gretz, Ofir Arviv, Artem Spector, Orith Toledo-Ronen, Yoav Katz, Liat Ein-Dor, Michal Shmueli-Scheuer, Noam Slonim,
- Abstract要約: 細調整型大規模言語モデル(LLM)は、下流タスクのパフォーマンスを向上させる効果的な方法である。
ここでは、実践者にとってより良い出発点を示す実用的なユースケースのための推奨HP構成を提供する。
我々はLlama-3-8BとMistral-7B、そして完全な微調整とLoRaに焦点を合わせ、合計1万回以上のチューニング実験を行った。
- 参考スコア（独自算出の注目度）: 16.200913679109508
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fine-tuning Large Language Models (LLMs) is an effective method to enhance their performance on downstream tasks. However, choosing the appropriate setting of tuning hyperparameters (HPs) is a labor-intensive and computationally expensive process. Here, we provide recommended HP configurations for practical use-cases that represent a better starting point for practitioners, when considering two SOTA LLMs and two commonly used tuning methods. We describe Coverage-based Search (CBS), a process for ranking HP configurations based on an offline extensive grid search, such that the top ranked configurations collectively provide a practical robust recommendation for a wide range of datasets and domains. We focus our experiments on Llama-3-8B and Mistral-7B, as well as full fine-tuning and LoRa, conducting a total of > 10,000 tuning experiments. Our results suggest that, in general, Llama-3-8B and LoRA should be preferred, when possible. Moreover, we show that for both models and tuning methods, exploring only a few HP configurations, as recommended by our analysis, can provide excellent results in practice, making this work a valuable resource for practitioners.
- Abstract（参考訳）: 細調整型大規模言語モデル(LLM)は、下流タスクのパフォーマンスを向上させる効果的な方法である。
しかしながら、ハイパーパラメータ(HP)のチューニングの適切な設定を選択することは、労働集約的で計算コストのかかるプロセスである。
本稿では,2つのSOTA LLMと2つの一般的なチューニング手法を検討する際に,実践者にとってより良い出発点を示す実用的なユースケースのためのHP構成を提案する。
オフラインの広範グリッドサーチに基づいてHP構成をランク付けするプロセスであるCoverage-based Search (CBS)について述べる。
我々はLlama-3-8BとMistral-7B、そして完全な微調整とLoRaに焦点を合わせ、合計1万回以上のチューニング実験を行った。
以上の結果から,Llama-3-8BとLoRAは可能な限り好適であることが示唆された。
さらに,本研究では,モデルとチューニング手法の両面において,HPの構成をわずかに探すことによって,実運用において優れた結果が得られることを示し,実践者にとって貴重な資源となることを示す。
関連論文リスト
- Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。
Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。
本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文 参考訳（メタデータ） (2024-10-25T17:07:13Z) - A Deep Dive into the Trade-Offs of Parameter-Efficient Preference Alignment Techniques [63.10251271444959]
大規模言語モデルは最初、数兆のトークンで事前訓練され、その後、特定の好みに合わせて命令調整または調整される。
我々は,3つの重要な軸に対する人気選択の影響を詳細に調査する。
300以上の実験にまたがるセットアップでは、一貫した傾向と予期せぬ結果が明らかになる。
論文 参考訳（メタデータ） (2024-06-07T12:25:51Z) - Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。
我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。
提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
論文 参考訳（メタデータ） (2024-05-01T11:10:24Z) - Hyperparameter Optimization for Large Language Model Instruction-Tuning [6.743825167463901]
トレーニング済みLLMをブラックボックスとして微調整と検証を行うパイプライン全体について検討する。
本研究では,提案アルゴリズムを用いて高次パラメータの空間を効率的に探索し,チューニングモデルの性能向上と人為的アライメントを実現する。
論文 参考訳（メタデータ） (2023-12-01T22:03:12Z) - RA-DIT: Retrieval-Augmented Dual Instruction Tuning [90.98423540361946]
Retrieval-augmented Language Model (RALMs) は、外部データストアからロングテールおよび最新の知識にアクセスすることで、パフォーマンスを向上させる。
既存のアプローチでは、LM事前トレーニングに高価な検索固有の修正が必要になるか、あるいは、最適以下のパフォーマンスをもたらすデータストアのポストホック統合を使用する必要がある。
本稿では,第3の選択肢を提供する軽量な微調整手法であるRetrieval-Augmented Dual Instruction Tuning (RA-DIT)を紹介する。
論文 参考訳（メタデータ） (2023-10-02T17:16:26Z) - Learning Regions of Interest for Bayesian Optimization with Adaptive
Level-Set Estimation [84.0621253654014]
本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。
理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
論文 参考訳（メタデータ） (2023-07-25T09:45:47Z) - Hyperparameters in Reinforcement Learning and How To Tune Them [25.782420501870295]
深層強化学習におけるハイパーパラメータの選択は,エージェントの最終的な性能とサンプル効率に大きな影響を及ぼすことを示す。
我々は,シードのチューニングとテストの分離など,AutoMLから確立されたベストプラクティスを採用することを提案する。
我々は、最先端のHPOツールを、RLアルゴリズムや環境を手作りのツールと比較することで、これをサポートする。
論文 参考訳（メタデータ） (2023-06-02T07:48:18Z) - Pre-training helps Bayesian optimization too [49.28382118032923]
機能的事前設定のための代替的なプラクティスを模索する。
特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。
提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
論文 参考訳（メタデータ） (2022-07-07T04:42:54Z) - Practical and sample efficient zero-shot HPO [8.41866793161234]
利用可能なアプローチの概要と、この問題に対処する2つの新しいテクニックを紹介します。
1つは、サロゲートモデルに基づいて、クエリのためのデータセットと設定のペアを適応的に選択する。
2つ目は、サロゲートモデルの検出、チューニング、テストが問題となる設定のためのもので、HyperBandとサブモジュラー最適化を組み合わせた多要素技術である。
論文 参考訳（メタデータ） (2020-07-27T08:56:55Z) - Better Trees: An empirical study on hyperparameter tuning of
classification decision tree induction algorithms [5.4611430411491115]
決定木誘導アルゴリズムは高い予測性能と解釈可能な分類モデルを示す。
本稿では,CARTとC4.5の2つのDT誘導アルゴリズムに対するハイパーパラメータチューニングの効果について検討する。
OpenMLから94の分類データセットを用いて,モデルを誘導し,HPの妥当性を評価するための異なるチューニング手法を用いて実験を行った。
論文 参考訳（メタデータ） (2018-12-05T19:59:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。