論文の概要: Foundational Models and Federated Learning: Survey, Taxonomy, Challenges and Practical Insights
- arxiv url: http://arxiv.org/abs/2509.05142v1
- Date: Fri, 05 Sep 2025 14:34:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-08 14:27:25.615634
- Title: Foundational Models and Federated Learning: Survey, Taxonomy, Challenges and Practical Insights
- Title（参考訳）: 基礎モデルとフェデレーションラーニング--調査,分類,課題,実践的考察
- Authors: Cosmin-Andrei Hatfaludi, Alex Serban,
- Abstract要約: フェデレーション学習は、プライベートデータを共有することなく、協調的なモデルトレーニングを可能にすることによって、サイロ化されたデータと分散リソースをアンロックする可能性がある。
より複雑な基礎モデルが広く使われるようになると、トレーニングリソースを拡張し、プライベートに所有するデータを統合する必要性も高まる。
我々は,2つのパラダイムを統合する技術的手法を識別し,分類し,特徴付けることを目的とした,連合学習と基礎モデルの交わりについて検討する。
- 参考スコア（独自算出の注目度）: 0.42970700836450487
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning has the potential to unlock siloed data and distributed resources by enabling collaborative model training without sharing private data. As more complex foundational models gain widespread use, the need to expand training resources and integrate privately owned data grows as well. In this article, we explore the intersection of federated learning and foundational models, aiming to identify, categorize, and characterize technical methods that integrate the two paradigms. As a unified survey is currently unavailable, we present a literature survey structured around a novel taxonomy that follows the development life-cycle stages, along with a technical comparison of available methods. Additionally, we provide practical insights and guidelines for implementing and evolving these methods, with a specific focus on the healthcare domain as a case study, where the potential impact of federated learning and foundational models is considered significant. Our survey covers multiple intersecting topics, including but not limited to federated learning, self-supervised learning, fine-tuning, distillation, and transfer learning. Initially, we retrieved and reviewed a set of over 4,200 articles. This collection was narrowed to more than 250 thoroughly reviewed articles through inclusion criteria, featuring 42 unique methods. The methods were used to construct the taxonomy and enabled their comparison based on complexity, efficiency, and scalability. We present these results as a self-contained overview that not only summarizes the state of the field but also provides insights into the practical aspects of adopting, evolving, and integrating foundational models with federated learning.
- Abstract（参考訳）: フェデレーション学習は、プライベートデータを共有することなく、協調的なモデルトレーニングを可能にすることによって、サイロ化されたデータと分散リソースをアンロックする可能性がある。
より複雑な基礎モデルが広く使われるようになると、トレーニングリソースを拡張し、プライベートに所有するデータを統合する必要性も高まる。
本稿では,2つのパラダイムを統合する技術的手法の同定,分類,特徴化を目的とした,連合学習と基礎モデルの交わりについて考察する。
現在、統一的な調査は行われていないため、開発ライフサイクルの段階に続き、利用可能な方法の技術的比較とともに、新しい分類学を中心に構成された文献調査を提示する。
さらに、これらの手法の実装と発展のための実践的な洞察とガイドラインを提供し、医療領域に特に焦点をあて、フェデレートラーニングと基礎モデルの潜在的影響を重要視するケーススタディである。
本調査は,フェデレートラーニング,自己指導型ラーニング,ファインチューニング,蒸留,トランスファーラーニングなど,多岐にわたる横断的話題を対象としている。
最初は4,200以上の記事の集合を検索してレビューしました。
このコレクションは、包括的基準によって250以上の徹底的なレビュー記事に絞られ、42のユニークな方法が特徴となった。
これらの手法は分類学の構築に用いられ、複雑さ、効率、拡張性に基づいてそれらの比較を可能にした。
これらの結果は、フィールドの状態を要約するだけでなく、基礎モデルをフェデレート学習に取り入れ、進化させ、統合するという実践的な側面についての洞察を提供する自己完結した概要として提示する。
関連論文リスト
- A Survey on Generative Recommendation: Data, Model, and Tasks [55.36322811257545]
ジェネレーティブ・レコメンデーションは、差別的なスコアではなく、世代としてのレコメンデーションを再認識する。
この調査は、データ、モデル、タスク次元にまたがる統合された三部構成のフレームワークを通じて包括的な調査を提供する。
世界知識の統合、自然言語理解、推論能力、スケーリング法則、創造的生成の5つの主要な利点を特定します。
論文 参考訳（メタデータ） (2025-10-31T04:02:58Z) - UNIFORM: Unifying Knowledge from Large-scale and Diverse Pre-trained Models [62.76435672183968]
UNIFORMと呼ばれる新しいフレームワークを導入し、多様なオフザシェルフモデルから1つの学生モデルへ知識を伝達する。
本稿では,ロジットレベルでも機能レベルでも知識のコンセンサスを捉えるための,専用の投票機構を提案する。
UNIFORMは、強い知識伝達ベースラインに比べて、教師なしオブジェクト認識性能を効果的に向上することを示した。
論文 参考訳（メタデータ） (2025-08-27T00:56:11Z) - A Survey on Generative Model Unlearning: Fundamentals, Taxonomy, Evaluation, and Future Direction [21.966560704390716]
我々はジェネレーティブ・モデル・アンラーニング(GenMU)に関する最近の研究についてレビューする。
本研究では,未学習目標,方法論的戦略,評価指標を分類するための統合分析フレームワークを提案する。
実世界のアプリケーションにおける非学習技術の潜在的な実用的価値を強調した。
論文 参考訳（メタデータ） (2025-07-26T09:49:57Z) - Multi-objective methods in Federated Learning: A survey and taxonomy [2.519319150166215]
本稿では,フェデレートラーニングに関連する多目的手法の活用に関する第1の分類法を提案する。
今後の研究に向けて、オープンな課題と可能な方向性を概説する。
論文 参考訳（メタデータ） (2025-02-05T12:06:43Z) - Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities [89.40778301238642]
モデルマージは、機械学習コミュニティにおける効率的なエンパワーメント技術である。
これらの手法の体系的かつ徹底的なレビューに関する文献には大きなギャップがある。
論文 参考訳（メタデータ） (2024-08-14T16:58:48Z) - Advances in Robust Federated Learning: A Survey with Heterogeneity Considerations [25.261572089655264]
主な課題は、異なるデータ分散、モデル構造、タスク目標、計算能力、通信リソースを持つ複数のクライアントでモデルを効率的にトレーニングすることである。
本稿ではまず,不均一なフェデレーション学習の基本概念について概説する。
次に、フェデレーション学習における研究課題を、データ、モデル、タスク、デバイス、コミュニケーションの5つの側面の観点から要約する。
論文 参考訳（メタデータ） (2024-05-16T06:35:42Z) - Continual Learning with Pre-Trained Models: A Survey [61.97613090666247]
継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。
本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
論文 参考訳（メタデータ） (2024-01-29T18:27:52Z) - A Comprehensive Survey on Deep Clustering: Taxonomy, Challenges, and
Future Directions [48.97008907275482]
クラスタリングは、文献で広く研究されている基本的な機械学習タスクである。
ディープクラスタリング(Deep Clustering)、すなわち表現学習とクラスタリングを共同で最適化する手法が提案され、コミュニティで注目を集めている。
深層クラスタリングの本質的なコンポーネントを要約し、深層クラスタリングと深層クラスタリングの相互作用を設計する方法によって既存の手法を分類する。
論文 参考訳（メタデータ） (2022-06-15T15:05:13Z) - Enhancing Identification of Structure Function of Academic Articles
Using Contextual Information [6.28532577139029]
本稿では,学術論文の構造的機能を明らかにするためのコーパスとして,ACLカンファレンスの記事を取り上げる。
従来の機械学習モデルとディープラーニングモデルを用いて、様々な特徴入力に基づいて分類器を構築する。
2) に触発された本論文は,ディープラーニングモデルに文脈情報を導入し,重要な結果を得た。
論文 参考訳（メタデータ） (2021-11-28T11:21:21Z) - A Survey on Text Classification: From Shallow to Deep Learning [83.47804123133719]
過去10年は、ディープラーニングが前例のない成功を収めたために、この分野の研究が急増している。
本稿では,1961年から2021年までの最先端のアプローチを見直し,そのギャップを埋める。
特徴抽出と分類に使用されるテキストとモデルに基づいて,テキスト分類のための分類を作成する。
論文 参考訳（メタデータ） (2020-08-02T00:09:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。