論文の概要: Domain Adaptation of Llama3-70B-Instruct through Continual Pre-Training and Model Merging: A Comprehensive Evaluation
- arxiv url: http://arxiv.org/abs/2406.14971v1
- Date: Fri, 21 Jun 2024 08:29:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-24 14:13:25.524384
- Title: Domain Adaptation of Llama3-70B-Instruct through Continual Pre-Training and Model Merging: A Comprehensive Evaluation
- Title（参考訳）: Llama3-70B-インストラクションのドメイン適応 : 総合的評価
- Authors: Shamane Siriwardhana, Mark McQuade, Thomas Gauthier, Lucas Atkins, Fernando Fernandes Neto, Luke Meyers, Anneketh Vij, Tyler Odenthal, Charles Goddard, Mary MacCarthy, Jacob Solawetz,
- Abstract要約: SECデータに対するMeta-Llama-3-70B-Instructモデルのドメイン適応に関する広範な実験を行った。
我々の焦点は、継続事前学習(CPT)とモデルのマージであり、モデルのドメイン固有の機能を強化することを目的としていた。
これは、プロセス全体を理解するための徹底的な評価を備えた、プレプリントの技術レポートです。
- 参考スコア（独自算出の注目度）: 31.61985215677114
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We conducted extensive experiments on domain adaptation of the Meta-Llama-3-70B-Instruct model on SEC data, exploring its performance on both general and domain-specific benchmarks. Our focus included continual pre-training (CPT) and model merging, aiming to enhance the model's domain-specific capabilities while mitigating catastrophic forgetting. Through this study, we evaluated the impact of integrating financial regulatory data into a robust language model and examined the effectiveness of our model merging techniques in preserving and improving the model's instructive abilities. The model is accessible at hugging face: https://huggingface.co/arcee-ai/Llama-3-SEC-Base, arcee-ai/Llama-3-SEC-Base. This is an intermediate checkpoint of our final model, which has seen 20B tokens so far. The full model is still in the process of training. This is a preprint technical report with thorough evaluations to understand the entire process.
- Abstract（参考訳）: SECデータに対するMeta-Llama-3-70B-Instructモデルのドメイン適応に関する広範囲な実験を行い,一般ベンチマークおよびドメイン固有ベンチマークの性能について検討した。
CPT(Continuous pre-training)とモデルマージ(Model merging)は,破滅的な忘れを軽減しつつ,モデルのドメイン固有能力を向上することを目的としている。
本研究では,金融規制データをロバスト言語モデルに統合することによる影響を評価し,モデル統合手法の有効性について検討した。
https://huggingface.co/arcee-ai/Llama-3-SEC-Base, arcee-ai/Llama-3-SEC-Base。
これは最終モデルの中間チェックポイントで、これまでに20億のトークンが見られます。
フルモデルはまだトレーニング中の段階です。
これは、プロセス全体を理解するための徹底的な評価を備えた、プレプリントの技術レポートです。
関連論文リスト
- A Three-Phases SFT Hybrid Model Integrated Strong Prior Module and Data Overlap Estimation in the Eduation Context [0.0]
教師付き微調整モデルとして,エンド・ツー・エンドの3相モデルを提案する。
本モデルは,学習知識の構造的分解と漸進的指導によるアウトプットを実現する。
当社のモデルは,オープンソースモデルと比較して,コード能力の最先端性も達成している。
論文 参考訳（メタデータ） (2024-03-13T05:38:39Z) - Has Your Pretrained Model Improved? A Multi-head Posterior Based
Approach [25.927323251675386]
我々は、世界的知識の源として各エンティティに関連するメタ機能を活用し、モデルからエンティティ表現を採用する。
本稿では,これらの表現とメタ機能との整合性を,事前学習モデルの評価指標として用いることを提案する。
提案手法の有効性は,関係データセットを用いたモデル,大規模言語モデル,画像モデルなど,様々な領域で実証されている。
論文 参考訳（メタデータ） (2024-01-02T17:08:26Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-03T07:45:53Z) - GEO-Bench: Toward Foundation Models for Earth Monitoring [139.77907168809085]
6つの分類と6つのセグメンテーションタスクからなるベンチマークを提案する。
このベンチマークは、さまざまな地球観測タスクの進行の原動力となる。
論文 参考訳（メタデータ） (2023-06-06T16:16:05Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳（メタデータ） (2023-05-18T16:28:29Z) - An Empirical Study on Multi-Domain Robust Semantic Segmentation [42.79166534691889]
我々は、いくつかの人気セグメンテーションデータセットに基づいて、ドメイン間でうまく機能することが期待される統一モデルをトレーニングする。
RVC 2022セマンティックセマンティックセグメンテーションタスクでは,データセットは第1モデルの1/3に過ぎなかった。
論文 参考訳（メタデータ） (2022-12-08T12:04:01Z) - Learning to Augment via Implicit Differentiation for Domain
Generalization [107.9666735637355]
ドメイン一般化(DG)は、複数のソースドメインを活用してドメイン一般化可能なモデルを学ぶことで、この問題を克服することを目的としている。
本稿では,AugLearnと呼ばれる新しい拡張型DG手法を提案する。
AugLearnは、PACS、Office-Home、Digits-DGの3つの標準DGベンチマークで効果を示す。
論文 参考訳（メタデータ） (2022-10-25T18:51:51Z) - A self-training framework for glaucoma grading in OCT B-scans [6.382852973055393]
そこで本研究では,OCT B-Scansを用いた緑内障検診のための自己学習型フレームワークを提案する。
2段階の学習手法は、最初のステップで生成された擬似ラベルを利用して、ターゲットドメイン上のトレーニングデータセットを拡大する。
提案する新しい緑内障特異的バックボーンは,遅延空間の埋め込み特性を改良するために,スキップ接続による残像と注意点のモジュールを導入している。
論文 参考訳（メタデータ） (2021-11-23T10:33:55Z) - Unified Instance and Knowledge Alignment Pretraining for Aspect-based
Sentiment Analysis [96.53859361560505]
Aspect-based Sentiment Analysis (ABSA) は、ある側面に対する感情の極性を決定することを目的としている。
事前トレーニングと下流ABSAデータセットの間には、常に深刻なドメインシフトが存在する。
我々は,バニラ・プレトレイン・ファインチューンパイプラインにアライメント事前訓練フレームワークを導入する。
論文 参考訳（メタデータ） (2021-10-26T04:03:45Z) - Source-Free Open Compound Domain Adaptation in Semantic Segmentation [99.82890571842603]
SF-OCDAでは、ターゲットモデルを学習するために、ソース事前訓練されたモデルとターゲットデータのみが利用可能である。
そこで我々は,Cross-Patch Style Swap (CPSS)を提案する。
提案手法は,C-Drivingデータセット上で最先端の結果を生成する。
論文 参考訳（メタデータ） (2021-06-07T08:38:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。