論文の概要: Multi-Agent Collaborative Data Selection for Efficient LLM Pretraining
- arxiv url: http://arxiv.org/abs/2410.08102v2
- Date: Mon, 14 Oct 2024 14:22:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-15 13:08:22.866794
- Title: Multi-Agent Collaborative Data Selection for Efficient LLM Pretraining
- Title(参考訳): 効率的なLLM事前学習のためのマルチエージェント協調データ選択
- Authors: Tianyi Bai, Ling Yang, Zhen Hao Wong, Jiahui Peng, Xinlin Zhuang, Chi Zhang, Lijun Wu, Jiantao Qiu, Wentao Zhang, Binhang Yuan, Conghui He,
- Abstract要約: 本稿では,大規模言語モデル(LLM)事前学習のための新しいマルチエージェント協調データ選択機構を提案する。
このフレームワークでは、各データ選択メソッドが独立したエージェントとして機能し、エージェントコンソールは、すべてのエージェントからの情報を動的に統合するように設計されている。
- 参考スコア(独自算出の注目度): 40.21546440726592
- License:
- Abstract: Efficient data selection is crucial to accelerate the pretraining of large language models (LLMs). While various methods have been proposed to enhance data efficiency, limited research has addressed the inherent conflicts between these approaches to achieve optimal data selection for LLM pretraining. To tackle this problem, we propose a novel multi-agent collaborative data selection mechanism. In this framework, each data selection method serves as an independent agent, and an agent console is designed to dynamically integrate the information from all agents throughout the LLM training process. We conduct extensive empirical studies to evaluate our multi-agent framework. The experimental results demonstrate that our approach significantly improves data efficiency, accelerates convergence in LLM training, and achieves an average performance gain up to 10.5% across multiple language model benchmarks compared to the state-of-the-art methods.
- Abstract(参考訳): 大規模言語モデル(LLM)の事前学習を加速するためには,効率的なデータ選択が不可欠である。
データ効率を向上させるための様々な手法が提案されているが、LLM事前学習のための最適なデータ選択を実現するために、これらの手法間の固有の対立に対処する研究は限られている。
そこで本研究では,新しいマルチエージェント協調データ選択機構を提案する。
このフレームワークでは、各データ選択方法は独立したエージェントとして機能し、エージェントコンソールは、LLMトレーニングプロセス全体を通して、すべてのエージェントからの情報を動的に統合するように設計されている。
マルチエージェントフレームワークを評価するために、広範な実証的研究を行っている。
実験の結果,本手法はデータ効率を大幅に向上し,LLMトレーニングの収束を加速し,複数の言語モデルベンチマークの平均性能向上率を,最先端の手法と比較して10.5%に向上することが示された。
関連論文リスト
- Entropy Law: The Story Behind Data Compression and LLM Performance [115.70395740286422]
モデル性能はトレーニングデータの圧縮比と負の相関関係にあり,トレーニング損失が小さくなるのが普通である。
エントロピー法則の知見に基づいて, 極めて効率的で普遍的なデータ選択法を提案する。
また,モデルトレーニング開始時の潜在的な性能リスクを検出するエントロピー法則の興味深い応用を提案する。
論文 参考訳(メタデータ) (2024-07-09T08:14:29Z) - Multi-Scenario Combination Based on Multi-Agent Reinforcement Learning to Optimize the Advertising Recommendation System [38.501423778989704]
本稿では,異なるシナリオを共通の目的の下で整列するマルチエージェント・リカレント決定性ポリシー勾配(MARDPG)アルゴリズムを提案する。
その結果,クリックスルー率 (CTR) , コンバージョン率, 総売上など, 指標の大幅な改善が見られた。
論文 参考訳(メタデータ) (2024-07-03T02:33:20Z) - LOLA: LLM-Assisted Online Learning Algorithm for Content Experiments [2.2021543101231167]
本稿では LLM-Assisted Online Learning Algorithm (LOLA) を紹介する。
LOLAは、LLM(Large Language Models)と適応的な実験を統合し、コンテンツ配信を最適化する。
Upworthyデータに対する数値実験により、LOLAは標準A/B試験法よりも優れていることが示された。
論文 参考訳(メタデータ) (2024-06-03T07:56:58Z) - Feedback-aligned Mixed LLMs for Machine Language-Molecule Translation [11.778576032848482]
言語-分子自動翻訳の課題に焦点をあてる。
私たちは、クロスモーダルな設定で人間中心の最適化アルゴリズムを最初に使用しました。
使用可能なデータの10%のみを使用して実験を行い、記憶効果を緩和する。
論文 参考訳(メタデータ) (2024-05-22T20:40:53Z) - Take the Bull by the Horns: Hard Sample-Reweighted Continual Training
Improves LLM Generalization [165.98557106089777]
大きな言語モデル(LLM)の能力を高めることが大きな課題だ。
本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。
次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
論文 参考訳(メタデータ) (2024-02-22T04:10:57Z) - How to Train Data-Efficient LLMs [56.41105687693619]
事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。
Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。
何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
論文 参考訳(メタデータ) (2024-02-15T02:27:57Z) - DPP-based Client Selection for Federated Learning with Non-IID Data [97.1195165400568]
本稿では,統合学習(FL)のコミュニケーションボトルネックに対処するクライアント選択(CS)手法を提案する。
まず、FLにおけるCSの効果を分析し、各学習ラウンドにおけるトレーニングデータセットの多様化に参加者を適切に選択することで、FLトレーニングを加速させることができることを示す。
我々は、データプロファイリングと決定点プロセス(DPP)サンプリング技術を活用し、DPPに基づく参加者選択(FL-DP$3$S)によるフェデレートラーニング(Federated Learning)と呼ばれるアルゴリズムを開発する。
論文 参考訳(メタデータ) (2023-03-30T13:14:54Z) - A Scalable MIP-based Method for Learning Optimal Multivariate Decision
Trees [17.152864798265455]
1ノルムサポートベクトルマシンモデルに基づく新しいMIP定式化を提案し、分類問題に対する多変量 ODT の訓練を行う。
我々は, MIP定式化の線形緩和を緩和する切削面技術を提供し, 実行時間の改善と最適性を実現する。
我々の定式化は、平均的なサンプル外テストの精度で、文献において、平均で約10%上回っていることを実証する。
論文 参考訳(メタデータ) (2020-11-06T14:17:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。