論文の概要: FlowerTune: A Cross-Domain Benchmark for Federated Fine-Tuning of Large Language Models

• arxiv url: http://arxiv.org/abs/2506.02961v1
• Date: Tue, 03 Jun 2025 14:54:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.806133
• Title: FlowerTune: A Cross-Domain Benchmark for Federated Fine-Tuning of Large Language Models
• Title（参考訳）: FlowerTune: 大規模言語モデルのフェデレーションファインチューニングのためのクロスドメインベンチマーク
• Authors: Yan Gao, Massimo Roberto Scamarcia, Javier Fernandez-Marques, Mohammad Naseri, Chong Shen Ng, Dimitris Stripelis, Zexi Li, Tao Shen, Jiamu Bai, Daoyuan Chen, Zikai Zhang, Rui Hu, InSeo Song, Lee KangYoon, Hong Jia, Ting Dang, Junyan Wang, Zheyuan Liu, Daniel Janes Beutel, Lingjuan Lyu, Nicholas D. Lane,
• Abstract要約: 大規模言語モデル(LLM)は様々な領域で最先端の成果を上げてきたが、その開発は大量の公開データに依存している。 この研究は、現実世界のアプリケーションのためのプライバシ保護、ドメイン特化LDMの開発の基礎を築いた。
• 参考スコア（独自算出の注目度）: 43.62847972139202
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have achieved state-of-the-art results across diverse domains, yet their development remains reliant on vast amounts of publicly available data, raising concerns about data scarcity and the lack of access to domain-specific, sensitive information. Federated Learning (FL) presents a compelling framework to address these challenges by enabling decentralized fine-tuning on pre-trained LLMs without sharing raw data. However, the compatibility and performance of pre-trained LLMs in FL settings remain largely under explored. We introduce the FlowerTune LLM Leaderboard, a first-of-its-kind benchmarking suite designed to evaluate federated fine-tuning of LLMs across four diverse domains: general NLP, finance, medical, and coding. Each domain includes federated instruction-tuning datasets and domain-specific evaluation metrics. Our results, obtained through a collaborative, open-source and community-driven approach, provide the first comprehensive comparison across 26 pre-trained LLMs with different aggregation and fine-tuning strategies under federated settings, offering actionable insights into model performance, resource constraints, and domain adaptation. This work lays the foundation for developing privacy-preserving, domain-specialized LLMs for real-world applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な領域で最先端の成果を上げてきたが、その開発は大量の公開データに依存しており、データの不足や、ドメイン固有の機密情報へのアクセスの欠如への懸念が高まっている。 Federated Learning (FL) は、生データを共有することなく、事前学習された LLM 上で分散化された微調整を可能にすることで、これらの課題に対処するための魅力的なフレームワークを提供する。 しかし、FL設定における事前学習LLMの互換性と性能は、いまだに検討中である。 FlowerTune LLM Leaderboardは、一般NLP、ファイナンス、医療、コーディングの4つの分野にわたるLLMのフェデレーション微調整を評価するために設計されたベンチマークスイートである。 各ドメインには、フェデレートされた命令チューニングデータセットとドメイン固有の評価指標が含まれている。 我々の結果は、協調的、オープンソース、コミュニティ主導のアプローチによって得られたもので、異なるアグリゲーションとファインチューニング戦略を備えた26の事前学習LCMに対して、モデル性能、リソース制約、ドメイン適応に関する実行可能な洞察を提供する最初の総合的な比較を提供する。 この研究は、現実世界のアプリケーションのためのプライバシ保護、ドメイン特化LDMの開発の基礎を築いた。

関連論文リスト

• FedMLLM: Federated Fine-tuning MLLM on Multimodal Heterogeneity Data [56.08867996209236]
  フェデレートラーニング(FL)による微調整型マルチモーダル大言語モデル(MLLM)は、プライベートデータソースを含めることで、トレーニングデータの範囲を拡大することができる。 マルチモーダルな異種シナリオにおけるMLLMのファインチューニング性能を評価するためのベンチマークを提案する。 従来のFL手法を2つのモダリティに依存しない戦略と組み合わせた一般的なFedMLLMフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-11-22T04:09:23Z)
• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 性能ギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• Federated Domain-Specific Knowledge Transfer on Large Language Models Using Synthetic Data [53.70870879858533]
  フェデレートされたドメイン固有の知識伝達フレームワークを紹介する。 クライアントのデータプライバシを保護しながら、LLMからSLMへのドメイン固有の知識転送を可能にする。 提案されたFDKTフレームワークは、プライバシー予算が10未満のSLMのタスクパフォーマンスを約5%改善する。
  論文  参考訳（メタデータ） (2024-05-23T06:14:35Z)
• General LLMs as Instructors for Domain-Specific LLMs: A Sequential Fusion Method to Integrate Extraction and Editing [12.017822691367705]
  複雑な文脈からの知識をLarge Language Models (LLM) に統合するための逐次融合法を提案する。 本手法を用いて,質問応答におけるドメイン固有LCMの精度は71.7%(平均39.1%)に達した。 これらの知見は、FDoR-ULにおけるアプローチの有効性と柔軟性を、様々な領域で示している。
  論文  参考訳（メタデータ） (2024-03-23T06:03:36Z)
• EcomGPT-CT: Continual Pre-training of E-commerce Large Language Models with Semi-structured Data [67.8302955948861]
  大規模コーパスで事前訓練された大規模言語モデル(LLM)は、様々なNLPタスクにおいて顕著な性能を示した。 これらのモデルを特定のドメインに適用しても、ドメイン知識の欠如など、大きな課題が生じる。 我々は、Eコマースドメインを例として用いたLLMのドメイン固有の継続事前学習に焦点を当てた。
  論文  参考訳（メタデータ） (2023-12-25T11:31:47Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• Integration of Large Language Models and Federated Learning [58.9876604258949]
  本稿では,LLMとFLの融合を3つの部分に分割する研究フレームワークを提案する。 まず,LLMの領域とFLを組み合わせた研究の現状について概説する。 次に、医療、金融、教育などの重要なシナリオにおけるLLMとFLの組み合わせの実践的応用について論じる。
  論文  参考訳（メタデータ） (2023-07-18T02:09:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。