論文の概要: FedLLM-Bench: Realistic Benchmarks for Federated Learning of Large Language Models

• arxiv url: http://arxiv.org/abs/2406.04845v1
• Date: Fri, 7 Jun 2024 11:19:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 14:20:58.753051
• Title: FedLLM-Bench: Realistic Benchmarks for Federated Learning of Large Language Models
• Title（参考訳）: FedLLM-Bench: 大規模言語モデルのフェデレーションラーニングのための現実的なベンチマーク
• Authors: Rui Ye, Rui Ge, Xinyu Zhu, Jingyi Chai, Yaxin Du, Yang Liu, Yanfeng Wang, Siheng Chen,
• Abstract要約: フェデレートラーニングにより、複数のパーティがデータを直接共有することなく、協力的に大きな言語モデルをトレーニングできるようになった(FedLLM)。 現在、FedLLMの現実的なデータセットやベンチマークは存在しない。 我々は,8つのトレーニング手法,4つのトレーニングデータセット,6つの評価指標を含むFedLLM-Benchを提案する。
• 参考スコア（独自算出の注目度）: 48.484485609995986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning has enabled multiple parties to collaboratively train large language models without directly sharing their data (FedLLM). Following this training paradigm, the community has put massive efforts from diverse aspects including framework, performance, and privacy. However, an unpleasant fact is that there are currently no realistic datasets and benchmarks for FedLLM and previous works all rely on artificially constructed datasets, failing to capture properties in real-world scenarios. Addressing this, we propose FedLLM-Bench, which involves 8 training methods, 4 training datasets, and 6 evaluation metrics, to offer a comprehensive testbed for the FedLLM community. FedLLM-Bench encompasses three datasets (e.g., user-annotated multilingual dataset) for federated instruction tuning and one dataset (e.g., user-annotated preference dataset) for federated preference alignment, whose scale of client number ranges from 38 to 747. Our datasets incorporate several representative diversities: language, quality, quantity, instruction, length, embedding, and preference, capturing properties in real-world scenarios. Based on FedLLM-Bench, we conduct experiments on all datasets to benchmark existing FL methods and provide empirical insights (e.g., multilingual collaboration). We believe that our FedLLM-Bench can benefit the FedLLM community by reducing required efforts, providing a practical testbed, and promoting fair comparisons. Code and datasets are available at https://github.com/rui-ye/FedLLM-Bench.
• Abstract（参考訳）: フェデレートラーニングにより、複数のパーティがデータを直接共有することなく、大きな言語モデルを協調的にトレーニングすることが可能になった(FedLLM)。 このトレーニングパラダイムに従って、コミュニティはフレームワーク、パフォーマンス、プライバシといったさまざまな側面から多大な努力を払ってきた。 しかし、不愉快な事実は、現在FedLLMの現実的なデータセットやベンチマークは存在せず、以前の作業はすべて人工的に構築されたデータセットに依存しており、実際のシナリオでプロパティをキャプチャできないことである。 そこで我々は,FedLLMコミュニティ向けの総合的なテストベッドを提供するために,8つのトレーニングメソッド,4つのトレーニングデータセット,6つの評価指標を含むFedLLM-Benchを提案する。 FedLLM-Benchは、フェデレーションインストラクションチューニングのための3つのデータセット(例:ユーザアノテーション付き多言語データセット)と、フェデレーションプライオリティアライメントのための1つのデータセット(例:ユーザアノテーション付き嗜好データセット)を含み、クライアント番号のスケールは38から747の範囲である。 私たちのデータセットには、言語、品質、量、命令、長さ、埋め込み、嗜好といったいくつかの代表的な多様性が含まれています。 FedLLM-Benchに基づいて、既存のFLメソッドをベンチマークし、経験的な洞察(多言語協調など)を提供するため、すべてのデータセットで実験を行う。 我々はFedLLM-Benchが、必要な労力を削減し、実践的なテストベッドを提供し、公正な比較を促進することで、FedLLMコミュニティに利益をもたらすと信じている。 コードとデータセットはhttps://github.com/rui-ye/FedLLM-Bench.orgで公開されている。

関連論文リスト

• LUMA: A Benchmark Dataset for Learning from Uncertain and Multimodal Data [3.66486428341988]
  マルチモーダルディープラーニングは、テキスト、画像、オーディオ、ビデオなどの多様な情報ソースを統合することで意思決定を強化する。 信頼性の高いマルチモーダルアプローチを開発するためには、これらのモデルがいかに不確実性に与える影響を理解することが不可欠である。 我々は,不確実かつマルチモーダルなデータから学習するために,50クラスの音声,画像,テキストデータを含むユニークなベンチマークデータセットLUMAを提案する。
  論文  参考訳（メタデータ） (2024-06-14T09:22:07Z)
• A Universal Metric of Dataset Similarity for Cross-silo Federated Learning [0.0]
  フェデレートラーニングは、データ共有なしにモデルトレーニングを容易にするために、医療などの分野でますます使われている。 本稿では,データセットの類似性を評価するための新しい指標を提案する。 本稿では,我々の測定値がモデル性能と堅牢かつ解釈可能な関係を示し,プライバシ保護方式で計算可能であることを示す。
  論文  参考訳（メタデータ） (2024-04-29T15:08:24Z)
• OpenFedLLM: Training Large Language Models on Decentralized Private Data via Federated Learning [44.200613313936024]
  大規模言語モデル (LLM) は様々な分野で大きな成功を収めている。 本稿では,フェデレートラーニング(FL)による未利用分散プライベートデータに対する,現代LLMトレーニングの次のステップを提案する。 私たちはOpenFedLLMという名前の簡潔で統合され、研究に優しいフレームワーク/コードベースを構築します。 命令追従能力を高めるためのフェデレーション命令チューニング、人間の値に合わせるためのフェデレーション値アライメント、および7つの代表FLアルゴリズムをカバーしている。
  論文  参考訳（メタデータ） (2024-02-10T13:50:11Z)
• infoVerse: A Universal Framework for Dataset Characterization with Multidimensional Meta-information [68.76707843019886]
  infoVerseは、データセットの特徴付けのための普遍的なフレームワークである。 infoVerseは、様々なモデル駆動メタ情報を統合することで、データセットの多次元特性をキャプチャする。 実世界の3つのアプリケーション(データプルーニング、アクティブラーニング、データアノテーション)において、infoVerse空間で選択されたサンプルは、強いベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2023-05-30T18:12:48Z)
• DataComp: In search of the next generation of multimodal datasets [179.79323076587255]
  DataCompは、Common Crawlの128億の画像テキストペアの候補プールを中心にしたデータセット実験用のテストベッドである。 我々のベンチマークは、複数の計算スケールから成っている。 特に、最良のベースラインであるDataComp-1Bは、ImageNetでCLIP ViT-L/14をスクラッチから79.2%のゼロショット精度でトレーニングすることが可能です。
  論文  参考訳（メタデータ） (2023-04-27T11:37:18Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• FLamby: Datasets and Benchmarks for Cross-Silo Federated Learning in Realistic Healthcare Settings [51.09574369310246]
  Federated Learning(FL)は、センシティブなデータを保持している複数のクライアントが協力して機械学習モデルをトレーニングできる新しいアプローチである。 本稿では,医療分野に重点を置くクロスサイロ・データセット・スイートFLambyを提案し,クロスサイロ・FLの理論と実践のギャップを埋める。 私たちのフレキシブルでモジュラーなスイートによって、研究者は簡単にデータセットをダウンロードし、結果を再現し、研究のためにさまざまなコンポーネントを再利用することができます。
  論文  参考訳（メタデータ） (2022-10-10T12:17:30Z)
• FedScale: Benchmarking Model and System Performance of Federated Learning [4.1617240682257925]
  FedScaleは、連邦学習(FL)研究のための、挑戦的で現実的なベンチマークデータセットのセットである。 FedScaleはオープンソースで、寛容なライセンスを持ち、積極的にメンテナンスされている。
  論文  参考訳（メタデータ） (2021-05-24T15:55:27Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。