論文の概要: FlowerTune: A Cross-Domain Benchmark for Federated Fine-Tuning of Large Language Models

• arxiv url: http://arxiv.org/abs/2506.02961v1
• Date: Tue, 03 Jun 2025 14:54:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.806133
• Title: FlowerTune: A Cross-Domain Benchmark for Federated Fine-Tuning of Large Language Models
• Title（参考訳）: FlowerTune: 大規模言語モデルのフェデレーションファインチューニングのためのクロスドメインベンチマーク
• Abstract要約: 大規模言語モデル(LLM)は様々な領域で最先端の成果を上げてきたが、その開発は大量の公開データに依存している。 この研究は、現実世界のアプリケーションのためのプライバシ保護、ドメイン特化LDMの開発の基礎を築いた。
• 参考スコア（独自算出の注目度）: 43.62847972139202
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have achieved state-of-the-art results across diverse domains, yet their development remains reliant on vast amounts of publicly available data, raising concerns about data scarcity and the lack of access to domain-specific, sensitive information. Federated Learning (FL) presents a compelling framework to address these challenges by enabling decentralized fine-tuning on pre-trained LLMs without sharing raw data. However, the compatibility and performance of pre-trained LLMs in FL settings remain largely under explored. We introduce the FlowerTune LLM Leaderboard, a first-of-its-kind benchmarking suite designed to evaluate federated fine-tuning of LLMs across four diverse domains: general NLP, finance, medical, and coding. Each domain includes federated instruction-tuning datasets and domain-specific evaluation metrics. Our results, obtained through a collaborative, open-source and community-driven approach, provide the first comprehensive comparison across 26 pre-trained LLMs with different aggregation and fine-tuning strategies under federated settings, offering actionable insights into model performance, resource constraints, and domain adaptation. This work lays the foundation for developing privacy-preserving, domain-specialized LLMs for real-world applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な領域で最先端の成果を上げてきたが、その開発は大量の公開データに依存しており、データの不足や、ドメイン固有の機密情報へのアクセスの欠如への懸念が高まっている。 Federated Learning (FL) は、生データを共有することなく、事前学習された LLM 上で分散化された微調整を可能にすることで、これらの課題に対処するための魅力的なフレームワークを提供する。 しかし、FL設定における事前学習LLMの互換性と性能は、いまだに検討中である。 FlowerTune LLM Leaderboardは、一般NLP、ファイナンス、医療、コーディングの4つの分野にわたるLLMのフェデレーション微調整を評価するために設計されたベンチマークスイートである。 各ドメインには、フェデレートされた命令チューニングデータセットとドメイン固有の評価指標が含まれている。 我々の結果は、協調的、オープンソース、コミュニティ主導のアプローチによって得られたもので、異なるアグリゲーションとファインチューニング戦略を備えた26の事前学習LCMに対して、モデル性能、リソース制約、ドメイン適応に関する実行可能な洞察を提供する最初の総合的な比較を提供する。 この研究は、現実世界のアプリケーションのためのプライバシ保護、ドメイン特化LDMの開発の基礎を築いた。

関連論文リスト

• Towards the Next Frontier of LLMs, Training on Private Data: A Cross-Domain Benchmark for Federated Fine-Tuning [0.44333156307871574]
  世界で最も価値のある情報は、特に医療や金融などの高度に規制された分野において、プライベートである。 本稿では,大規模言語モデル(LLM)適応のための,プライベートおよび分散機関データのアンロックに関する実践的アプローチを示す。 当社のフレームワークは,Sherpa.aiフェデレーテッドラーニングプラットフォーム上に構築されており,プライベートデータを交換することなく,共有LLMを共同で微調整することができる。
  論文  参考訳（メタデータ） (2026-05-13T16:20:33Z)
• FeDecider: An LLM-Based Framework for Federated Cross-Domain Recommendation [75.50721642765994]
  大規模言語モデル(LLM)ベースのレコメンデーションモデルは、素晴らしいパフォーマンスを示している。 We propose a LLM-based framework for Federated cross- domain recommendation, FeDecider。 多様なデータセットにわたる大規模な実験により、提案したFeDeciderの有効性が検証された。
  論文  参考訳（メタデータ） (2026-02-17T21:42:28Z)
• Bohdi: Heterogeneous LLM Fusion with Automatic Data Exploration [13.824354003574843]
  Bohdiは、合成データのみのヘテロジニアスなLarge Language Model(LLM)融合フレームワークである。 知識ドメインを階層木構造にまとめることで、Bohdiは自動ドメイン探索とマルチドメインデータ生成を可能にします。 Bohdiは、既存のベースラインを複数のLLMで大幅に上回っている。
  論文  参考訳（メタデータ） (2025-06-04T17:01:38Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• FedMLLM: Federated Fine-tuning MLLM on Multimodal Heterogeneity Data [56.08867996209236]
  フェデレートラーニング(FL)による微調整型マルチモーダル大言語モデル(MLLM)は、プライベートデータソースを含めることで、トレーニングデータの範囲を拡大することができる。 マルチモーダルな異種シナリオにおけるMLLMのファインチューニング性能を評価するためのベンチマークを提案する。 従来のFL手法を2つのモダリティに依存しない戦略と組み合わせた一般的なFedMLLMフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-11-22T04:09:23Z)
• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 性能ギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• Federated Domain-Specific Knowledge Transfer on Large Language Models Using Synthetic Data [53.70870879858533]
  フェデレートされたドメイン固有の知識伝達フレームワークを紹介する。 クライアントのデータプライバシを保護しながら、LLMからSLMへのドメイン固有の知識転送を可能にする。 提案されたFDKTフレームワークは、プライバシー予算が10未満のSLMのタスクパフォーマンスを約5%改善する。
  論文  参考訳（メタデータ） (2024-05-23T06:14:35Z)
• General LLMs as Instructors for Domain-Specific LLMs: A Sequential Fusion Method to Integrate Extraction and Editing [12.017822691367705]
  複雑な文脈からの知識をLarge Language Models (LLM) に統合するための逐次融合法を提案する。 本手法を用いて,質問応答におけるドメイン固有LCMの精度は71.7%(平均39.1%)に達した。 これらの知見は、FDoR-ULにおけるアプローチの有効性と柔軟性を、様々な領域で示している。
  論文  参考訳（メタデータ） (2024-03-23T06:03:36Z)
• OpenFedLLM: Training Large Language Models on Decentralized Private Data via Federated Learning [44.200613313936024]
  大規模言語モデル (LLM) は様々な分野で大きな成功を収めている。 本稿では,フェデレートラーニング(FL)による未利用分散プライベートデータに対する,現代LLMトレーニングの次のステップを提案する。 私たちはOpenFedLLMという名前の簡潔で統合され、研究に優しいフレームワーク/コードベースを構築します。 命令追従能力を高めるためのフェデレーション命令チューニング、人間の値に合わせるためのフェデレーション値アライメント、および7つの代表FLアルゴリズムをカバーしている。
  論文  参考訳（メタデータ） (2024-02-10T13:50:11Z)
• EcomGPT-CT: Continual Pre-training of E-commerce Large Language Models with Semi-structured Data [67.8302955948861]
  大規模コーパスで事前訓練された大規模言語モデル(LLM)は、様々なNLPタスクにおいて顕著な性能を示した。 これらのモデルを特定のドメインに適用しても、ドメイン知識の欠如など、大きな課題が生じる。 我々は、Eコマースドメインを例として用いたLLMのドメイン固有の継続事前学習に焦点を当てた。
  論文  参考訳（メタデータ） (2023-12-25T11:31:47Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• Integration of Large Language Models and Federated Learning [58.9876604258949]
  本稿では,LLMとFLの融合を3つの部分に分割する研究フレームワークを提案する。 まず,LLMの領域とFLを組み合わせた研究の現状について概説する。 次に、医療、金融、教育などの重要なシナリオにおけるLLMとFLの組み合わせの実践的応用について論じる。
  論文  参考訳（メタデータ） (2023-07-18T02:09:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。