論文の概要: Position: Federated Foundation Language Model Post-Training Should Focus on Open-Source Models

• arxiv url: http://arxiv.org/abs/2505.23593v2
• Date: Fri, 30 May 2025 13:38:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 12:43:13.15745
• Title: Position: Federated Foundation Language Model Post-Training Should Focus on Open-Source Models
• Title（参考訳）: ポジション:フェデレートされた基礎言語モデルは、オープンソースモデルに焦点を当てるべきである
• Authors: Nikita Agrawal, Simon Mertel, Ruben Mayer,
• Abstract要約: 基礎言語モデルのポストトレーニングは、フェデレートラーニング(FL)における有望な研究領域として浮上している。 この領域の最近の進歩は、ブラックボックス基礎言語モデルの上に構築された集中的なポストトレーニングアプローチを採用する。 我々の立場では、FLにおけるブラックボックスモデルの使用は、データプライバシや自律性といったフェデレーションの原則とは矛盾している。
• 参考スコア（独自算出の注目度）: 4.676784872259776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training of foundation language models has emerged as a promising research domain in federated learning (FL) with the goal to enable privacy-preserving model improvements and adaptations to user's downstream tasks. Recent advances in this area adopt centralized post-training approaches that build upon black-box foundation language models where there is no access to model weights and architecture details. Although the use of black-box models has been successful in centralized post-training, their blind replication in FL raises several concerns. Our position is that using black-box models in FL contradicts the core principles of federation such as data privacy and autonomy. In this position paper, we critically analyze the usage of black-box models in federated post-training, and provide a detailed account of various aspects of openness and their implications for FL.
• Abstract（参考訳）: 基礎言語モデルのポストトレーニングは、ユーザの下流タスクへのプライバシ保護モデルの改善と適応を可能にすることを目的として、フェデレートラーニング(FL)における有望な研究領域として登場した。 この領域の最近の進歩は、モデルウェイトやアーキテクチャの詳細にアクセスできないブラックボックス基礎言語モデルの上に構築された集中的なポストトレーニングアプローチを採用しています。 ブラックボックスモデルの使用はトレーニング後の集中的なトレーニングでは成功したが、FLでの視覚的複製はいくつかの懸念を引き起こす。 我々の立場では、FLにおけるブラックボックスモデルの使用は、データプライバシや自律性といったフェデレーションの原則とは矛盾している。 本稿では,フェデレーション後トレーニングにおけるブラックボックスモデルの使用状況について批判的に分析し,オープンネスの諸側面とそのFLへの影響について詳細に述べる。

関連論文リスト

• FedBaF: Federated Learning Aggregation Biased by a Foundation Model [18.9167697157582]
  ファンデーションモデルを新しいアプリケーションに適用するための既存のアプローチは、しばしばフェデレートラーニング(FL)に依存し、グローバルモデルの初期化に使用する際に、ファンデーションモデルの重みをクライアントに開示する。 本稿では,FedBaF(FedBaF)によるFederated Learning Aggregation Biasedを紹介する。FedBaFは,FLアグリゲーションフェーズにおいて,事前学習した基礎モデルの重みを動的に統合する手法である。 従来の方法とは異なり、FedBaFは基礎モデルの機密性を保ちながら、特に非IIDおよび敵のシナリオにおいて、より正確なモデルのトレーニングにその能力を活用している。
  論文  参考訳（メタデータ） (2024-10-24T01:14:23Z)
• High-Performance Few-Shot Segmentation with Foundation Models: An Empirical Study [64.06777376676513]
  基礎モデルに基づく数ショットセグメンテーション(FSS)フレームワークを開発した。 具体的には、基礎モデルから暗黙的な知識を抽出し、粗い対応を構築するための簡単なアプローチを提案する。 2つの広く使われているデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2024-09-10T08:04:11Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• ZooPFL: Exploring Black-box Foundation Models for Personalized Federated Learning [95.64041188351393]
  本稿では,限られた資源とパーソナライゼーションの両課題を解決しようと試みる。 個人化フェデレート学習におけるゼロ階最適化を用いたZOOPFLという手法を提案する。 計算コストの削減とパーソナライゼーションの向上を目的として,低次元およびクライアント固有の埋め込みを持つオートエンコーダを組み込む入力手術を提案する。
  論文  参考訳（メタデータ） (2023-10-08T12:26:13Z)
• Deep Equilibrium Models Meet Federated Learning [71.57324258813675]
  本研究では,従来の深層学習ネットワークの代わりにDeep Equilibrium(DEQ)モデルを用いて,フェデレートラーニング(FL)問題について検討する。 我々は、DECモデルをフェデレート学習フレームワークに組み込むことで、FLのいくつかのオープンな問題に自然に対処できると主張している。 我々の知る限りでは、この研究は、DECモデルとフェデレーションラーニングの関連性を確立する最初のものである。
  論文  参考訳（メタデータ） (2023-05-29T22:51:40Z)
• Vertical Federated Learning: A Structured Literature Review [0.0]
  フェデレートラーニング(FL)は、データプライバシのメリットを付加した、有望な分散ラーニングパラダイムとして登場した。 本稿では,VFLにおける最先端のアプローチを論じる構造化文献レビューを行う。
  論文  参考訳（メタデータ） (2022-12-01T16:16:41Z)
• Decentralized Federated Learning: Fundamentals, State of the Art, Frameworks, Trends, and Challenges [0.0]
  フェデレートラーニング(FL)は、機密データを共有せずに協調モデルのトレーニングに関連がある。 分散フェデレートラーニング(DFL)は、分散モデルアグリゲーションを促進することでこれらの問題に対処する。 本稿では,DFLの主な基礎を,フェデレーションアーキテクチャ,トポロジ,通信機構,セキュリティアプローチ,キーパフォーマンス指標の観点から同定し,解析する。
  論文  参考訳（メタデータ） (2022-11-15T18:51:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。