論文の概要: Foundational Models and Federated Learning: Survey, Taxonomy, Challenges and Practical Insights

• arxiv url: http://arxiv.org/abs/2509.05142v1
• Date: Fri, 05 Sep 2025 14:34:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.615634
• Title: Foundational Models and Federated Learning: Survey, Taxonomy, Challenges and Practical Insights
• Title（参考訳）: 基礎モデルとフェデレーションラーニング--調査,分類,課題,実践的考察
• Authors: Cosmin-Andrei Hatfaludi, Alex Serban,
• Abstract要約: フェデレーション学習は、プライベートデータを共有することなく、協調的なモデルトレーニングを可能にすることによって、サイロ化されたデータと分散リソースをアンロックする可能性がある。 より複雑な基礎モデルが広く使われるようになると、トレーニングリソースを拡張し、プライベートに所有するデータを統合する必要性も高まる。 我々は,2つのパラダイムを統合する技術的手法を識別し,分類し,特徴付けることを目的とした,連合学習と基礎モデルの交わりについて検討する。
• 参考スコア（独自算出の注目度）: 0.42970700836450487
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning has the potential to unlock siloed data and distributed resources by enabling collaborative model training without sharing private data. As more complex foundational models gain widespread use, the need to expand training resources and integrate privately owned data grows as well. In this article, we explore the intersection of federated learning and foundational models, aiming to identify, categorize, and characterize technical methods that integrate the two paradigms. As a unified survey is currently unavailable, we present a literature survey structured around a novel taxonomy that follows the development life-cycle stages, along with a technical comparison of available methods. Additionally, we provide practical insights and guidelines for implementing and evolving these methods, with a specific focus on the healthcare domain as a case study, where the potential impact of federated learning and foundational models is considered significant. Our survey covers multiple intersecting topics, including but not limited to federated learning, self-supervised learning, fine-tuning, distillation, and transfer learning. Initially, we retrieved and reviewed a set of over 4,200 articles. This collection was narrowed to more than 250 thoroughly reviewed articles through inclusion criteria, featuring 42 unique methods. The methods were used to construct the taxonomy and enabled their comparison based on complexity, efficiency, and scalability. We present these results as a self-contained overview that not only summarizes the state of the field but also provides insights into the practical aspects of adopting, evolving, and integrating foundational models with federated learning.
• Abstract（参考訳）: フェデレーション学習は、プライベートデータを共有することなく、協調的なモデルトレーニングを可能にすることによって、サイロ化されたデータと分散リソースをアンロックする可能性がある。 より複雑な基礎モデルが広く使われるようになると、トレーニングリソースを拡張し、プライベートに所有するデータを統合する必要性も高まる。 本稿では,2つのパラダイムを統合する技術的手法の同定,分類,特徴化を目的とした,連合学習と基礎モデルの交わりについて考察する。 現在、統一的な調査は行われていないため、開発ライフサイクルの段階に続き、利用可能な方法の技術的比較とともに、新しい分類学を中心に構成された文献調査を提示する。 さらに、これらの手法の実装と発展のための実践的な洞察とガイドラインを提供し、医療領域に特に焦点をあて、フェデレートラーニングと基礎モデルの潜在的影響を重要視するケーススタディである。 本調査は,フェデレートラーニング,自己指導型ラーニング,ファインチューニング,蒸留,トランスファーラーニングなど,多岐にわたる横断的話題を対象としている。 最初は4,200以上の記事の集合を検索してレビューしました。 このコレクションは、包括的基準によって250以上の徹底的なレビュー記事に絞られ、42のユニークな方法が特徴となった。 これらの手法は分類学の構築に用いられ、複雑さ、効率、拡張性に基づいてそれらの比較を可能にした。 これらの結果は、フィールドの状態を要約するだけでなく、基礎モデルをフェデレート学習に取り入れ、進化させ、統合するという実践的な側面についての洞察を提供する自己完結した概要として提示する。

関連論文リスト

• UNIFORM: Unifying Knowledge from Large-scale and Diverse Pre-trained Models [62.76435672183968]
  UNIFORMと呼ばれる新しいフレームワークを導入し、多様なオフザシェルフモデルから1つの学生モデルへ知識を伝達する。 本稿では,ロジットレベルでも機能レベルでも知識のコンセンサスを捉えるための,専用の投票機構を提案する。 UNIFORMは、強い知識伝達ベースラインに比べて、教師なしオブジェクト認識性能を効果的に向上することを示した。
  論文  参考訳（メタデータ） (2025-08-27T00:56:11Z)
• Multi-objective methods in Federated Learning: A survey and taxonomy [2.519319150166215]
  本稿では,フェデレートラーニングに関連する多目的手法の活用に関する第1の分類法を提案する。 今後の研究に向けて、オープンな課題と可能な方向性を概説する。
  論文  参考訳（メタデータ） (2025-02-05T12:06:43Z)
• Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities [89.40778301238642]
  モデルマージは、機械学習コミュニティにおける効率的なエンパワーメント技術である。 これらの手法の体系的かつ徹底的なレビューに関する文献には大きなギャップがある。
  論文  参考訳（メタデータ） (2024-08-14T16:58:48Z)
• Advances in Robust Federated Learning: A Survey with Heterogeneity Considerations [25.261572089655264]
  主な課題は、異なるデータ分散、モデル構造、タスク目標、計算能力、通信リソースを持つ複数のクライアントでモデルを効率的にトレーニングすることである。 本稿ではまず,不均一なフェデレーション学習の基本概念について概説する。 次に、フェデレーション学習における研究課題を、データ、モデル、タスク、デバイス、コミュニケーションの5つの側面の観点から要約する。
  論文  参考訳（メタデータ） (2024-05-16T06:35:42Z)
• A Survey on Text Classification: From Shallow to Deep Learning [83.47804123133719]
  過去10年は、ディープラーニングが前例のない成功を収めたために、この分野の研究が急増している。 本稿では,1961年から2021年までの最先端のアプローチを見直し,そのギャップを埋める。 特徴抽出と分類に使用されるテキストとモデルに基づいて,テキスト分類のための分類を作成する。
  論文  参考訳（メタデータ） (2020-08-02T00:09:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。