Fugu-MT 論文翻訳(概要): Packing Analysis: Packing Is More Appropriate for Large Models or Datasets in Supervised Fine-tuning

論文の概要: Packing Analysis: Packing Is More Appropriate for Large Models or Datasets in Supervised Fine-tuning

arxiv url: http://arxiv.org/abs/2410.08081v3
Date: Wed, 6 Nov 2024 07:31:28 GMT
ステータス: 処理完了
システム内更新日: 2024-11-07 19:39:48.015792
Title: Packing Analysis: Packing Is More Appropriate for Large Models or Datasets in Supervised Fine-tuning
Title（参考訳）: Packing Analysis: 監督されたファインチューニングにおいて、大規模モデルやデータセットにパッキングが適している
Authors: Shuhe Wang, Guoyin Wang, Yizhong Wang, Jiwei Li, Eduard Hovy, Chen Guo,
Abstract要約: Packingは、異なるトレーニングシーケンスを組み合わせて、モデルの最大入力長に適合させることで、ハードウェアリソース効率を最大化する最適化技術である。本稿では,69Kから1.2Mのデータセットと8Bから70Bのモデルを対象として,パディングとパッキングを用いたSFT法の比較を行った。これは、パッキング対パディングの利点と制限に関する最初の包括的な分析と、さまざまなトレーニングシナリオでパッキングを実装するための実践的な考慮を提供する。
参考スコア（独自算出の注目度）: 28.38312460468955
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Packing, initially utilized in the pre-training phase, is an optimization technique designed to maximize hardware resource efficiency by combining different training sequences to fit the model's maximum input length. Although it has demonstrated effectiveness during pre-training, there remains a lack of comprehensive analysis for the supervised fine-tuning (SFT) stage on the following points: (1) whether packing can effectively enhance training efficiency while maintaining performance, (2) the suitable size of the model and dataset for fine-tuning with the packing method, and (3) whether packing unrelated or related training samples might cause the model to either excessively disregard or over-rely on the context. In this paper, we perform extensive comparisons between SFT methods using padding and packing, covering SFT datasets ranging from 69K to 1.2M and models from 8B to 70B. This provides the first comprehensive analysis of the advantages and limitations of packing versus padding, as well as practical considerations for implementing packing in various training scenarios. Our analysis covers various benchmarks, including knowledge, reasoning, and coding, as well as GPT-based evaluations, time efficiency, and other fine-tuning parameters. We also open-source our code for fine-tuning and evaluation and provide checkpoints fine-tuned on datasets of different sizes, aiming to advance future research on packing methods. Code is available at: https://github.com/ShuheWang1998/Packing-Analysis?tab=readme-ov-file.
Abstract（参考訳）: プリトレーニングフェーズで最初に使用されるパッキングは、異なるトレーニングシーケンスを組み合わせてモデルの最大入力長に適合させることで、ハードウェアリソース効率を最大化する最適化技術である。プレトレーニングにおいて有効性を示したが,(1)パッキングが性能を維持しつつトレーニング効率を効果的に向上するか否か,(2)パッキング法に適合するモデルとデータセットのサイズ,(3)無関係または関連するトレーニングサンプルのパッキングが過度に無視または過度にモデルに影響を及ぼす可能性があるか,といった点において,教師付き微調整(SFT)段階の総合的な分析が欠如している。本稿では,69Kから1.2MまでのSFTデータセットと8Bから70Bのモデルを対象として,パディングとパッキングを用いたSFT法の比較を行った。これは、パッキング対パディングの利点と制限に関する最初の包括的な分析と、さまざまなトレーニングシナリオでパッキングを実装するための実践的な考慮を提供する。我々の分析では、知識、推論、コーディング、GPTに基づく評価、時間効率、その他の微調整パラメータなど、様々なベンチマークを網羅している。また、細調整と評価のためのコードをオープンソースとして公開し、さまざまなサイズのデータセットに微調整されたチェックポイントを提供し、今後のパッキング手法の研究を進めることを目指しています。コードは、https://github.com/ShuheWang1998/Packing-Analysis? tab=readme-ov-file

関連論文リスト

In2Core: Leveraging Influence Functions for Coreset Selection in Instruction Finetuning of Large Language Models [37.45103473809928]
In2Coreアルゴリズムは,トレーニングモデルと評価サンプルの相関関係を解析し,コアセットを選択する。 LLMの微調整データにアルゴリズムを適用することで、トレーニングデータの50%で同様の性能を実現することができる。
論文参考訳（メタデータ） (2024-08-07T05:48:05Z)
AutoScale: Automatic Prediction of Compute-optimal Data Composition for Training LLMs [61.13296177652599]
本稿では,異なる領域からのトレーニングデータの最適構成がスケール依存であることを示す。我々は、潜在的に大規模なトレーニングデータスケールでデータ合成を最適化するための、新しい実用的なアプローチである*AutoScale*を紹介します。 GPT-2Large and BERT pre-training の評価は,トレーニング収束性および下流性能向上における *AutoScale* の有効性を示す。
論文参考訳（メタデータ） (2024-07-29T17:06:30Z)
CorDA: Context-Oriented Decomposition Adaptation of Large Language Models for Task-Aware Parameter-Efficient Fine-tuning [101.81127587760831]
現在の微調整手法は、学習すべき下流タスクのコンテキストや、維持すべき重要な知識のコンテキストに広く適用できるアダプタを構築している。学習可能なタスク対応アダプタを構築するコンテキスト指向の分解適応手法であるCorDAを提案する。本手法は,知識保存型適応と指導レビュー型適応の2つの選択肢を実現する。
論文参考訳（メタデータ） (2024-06-07T19:10:35Z)
Empirical Analysis of Efficient Fine-Tuning Methods for Large Pre-Trained Language Models [4.096453902709292]
BitFitとアダプタモジュールは、標準のフルモデルファインチューニングと比較される。 BitFitアプローチは、さまざまなトレーニングデータにわたる完全な微調整パフォーマンスと一致します。アダプタモジュールは、デフォルトモデルよりも一貫性のないゲインを持つ、高い可変性を示す。
論文参考訳（メタデータ） (2024-01-08T17:44:43Z)
Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文参考訳（メタデータ） (2023-07-19T04:07:33Z)
How to Train an Accurate and Efficient Object Detection Model on Any Dataset [0.0]
オブジェクト検出訓練のためのデータセットに依存しないテンプレートを提案する。慎重に選択され、事前訓練されたモデルと、さらなるトレーニングのための堅牢なトレーニングパイプラインで構成される。私たちのソリューションは最初から動作し、幅広いデータセットに対して強力なベースラインを提供します。
論文参考訳（メタデータ） (2022-11-30T17:09:01Z)
Pre-training helps Bayesian optimization too [49.28382118032923]
機能的事前設定のための代替的なプラクティスを模索する。特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
論文参考訳（メタデータ） (2022-07-07T04:42:54Z)
Parameter-Efficient Sparsity for Large Language Models Fine-Tuning [63.321205487234074]
私たちはaを提案します。 Sparse- efficient Sparse Training (PST) は、スパース・アウェア・トレーニング中にトレーニング可能なパラメータの数を減少させる手法である。多様なネットワーク(BERT、RoBERTa、GPT-2)を用いた実験では、PSTは従来のスパーシリティ法よりも同等以上の性能を示した。
論文参考訳（メタデータ） (2022-05-23T02:43:45Z)
DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
論文参考訳（メタデータ） (2021-10-30T03:29:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。