論文の概要: From Task Mixtures to Specialized Experts

• arxiv url: http://arxiv.org/abs/2610.00580v1
• Date: Wed, 30 Sep 2026 18:47:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.720046
• Title: From Task Mixtures to Specialized Experts
• Title（参考訳）: タスクミックスから専門専門家へ
• Abstract要約: 協調基礎モデルの微調整では、クライアントデータが同質であることは滅多にない。代わりに、クライアントは異なるデータ分散やタスクの未知の混合物を持っている。 我々は、この設定を、クライアントとクライアントの両方で不均一である複合異質性として研究する。 評価基準線で観測される負の移動を回避し, 全体として2.9点, 最低値が3.7点, 性能を向上するFedSEEを提案する。
• 参考スコア（独自算出の注目度）: 9.524647285013465
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In collaborative foundation model fine-tuning, client data is rarely homogeneous. Instead, clients typically possess unknown mixtures of distinct data distributions, or tasks. Conventional federated learning primarily addresses heterogeneity across clients without explicitly resolving latent task mixtures within each client. We study this setting as compound heterogeneity, where data is heterogeneous both across and within clients. We study adaptation over a common frozen representation and show that, when tasks share the same feature geometry, the optimal model for a client's task mixture under squared loss is a convex combination of the optimal models for its underlying tasks. Thus, a single locally trained model represents the client's overall task mixture, while individual inputs may be drawn from different underlying task distributions. This motivates routing inputs to specialized experts, and we show that, when the task optima form a simplex, task-aligned routing achieves lower risk than any single adapted model for genuinely mixed clients. With access to a small set of task-labeled public samples, we derive a convex program to recover task experts and match them to their corresponding tasks. Our routing analysis shows that effective specialization requires input-dependent expert selection aligned with each client's task mixture. Motivated by this analysis, we propose FedSEE. Across our experiments, FedSEE avoids the negative transfer observed in the evaluated baselines and improves performance by 2.9 points overall and 3.7 points for the worst-served quartile.
• Abstract（参考訳）: ファウンデーションモデルの微調整では、クライアントデータが同質であることは滅多にない。 代わりに、クライアントは通常、異なるデータ分散またはタスクの未知の混合物を持っている。 従来型のフェデレーション学習は、クライアント間の不均一性に対処する。 我々は、この設定を、クライアントとクライアントの両方で不均一である複合異質性として研究する。 我々は, 共通凍結表現に対する適応性について検討し, タスクが同じ特徴幾何を共有する場合, クライアントのタスク混在に対する最適モデルは, その基礎となるタスクに対する最適モデルの凸結合であることを示す。 このように、単一の局所的に訓練されたモデルは、クライアント全体のタスクの混合を表現し、個々の入力は、下位のタスク分布から引き出すことができる。 これにより、特定の専門家へのルーティング入力を動機付け、タスク最適化が簡単な場合、タスク整列ルーティングは、真に混合されたクライアントに対するどの単一適応モデルよりもリスクが低いことを示す。 タスクラベル付き公開サンプルの小さなセットにアクセスすることで、タスクエキスパートを回復し、それに対応するタスクにマッチさせる凸プログラムを導出する。 ルーティング分析では,各クライアントのタスクの混在に応じて,入力依存のエキスパート選択を効果的に行う必要があることが示された。 この分析により、我々はFedSEEを提案する。 実験全体を通して、FedSEEは評価された基準線で観測される負の移動を回避し、全体の2.9ポイント、最悪の状態の石英では3.7ポイントの性能を向上させる。

関連論文リスト

• Task-Centric Personalized Federated Fine-Tuning of Language Models [8.975678586507758]
  フェデレートラーニング(FL)は、様々なタスクで言語モデルをトレーニングするための有望なテクニックとして登場した。 パーソナライズされたFL(pFL)は、各クライアントのデータ配信に適したモデルを作成することを目的としている。 我々は、クラスタリングベースのpFLであるFedを提案し、各クライアントではなく、各タスクに特化したモデルを構築します。
  論文  参考訳（メタデータ） (2026-03-30T20:01:53Z)
• Fine-Tuning Personalization in Federated Learning to Mitigate Adversarial Clients [8.773068878015856]
  フェデレートラーニング(Federated Learning, FL)とは、複数のマシン(例えばクライアント)がデータをローカルに保持しながら一元的に学習できるようにする、魅力的なパラダイムである。 我々は、一部のクライアントが敵対できるFL設定を検討し、完全なコラボレーションが失敗する条件を導出する。
  論文  参考訳（メタデータ） (2024-09-30T14:31:19Z)
• Emulating Full Participation: An Effective and Fair Client Selection Strategy for Federated Learning [50.060154488277036]
  連合学習では、クライアントの選択はモデルの性能と公平性の両方に大きな影響を及ぼす重要な問題である。 2つの指標間の固有の対立に対処し、互いに強化する2つの原則を提案する。 提案手法は,データ分布に基づいてクライアントを選択することにより,この多様性を適応的に向上させ,モデル性能と公平性の両方を改善する。
  論文  参考訳（メタデータ） (2024-05-22T12:27:24Z)
• Personalized Federated Learning via Sequential Layer Expansion in Representation Learning [0.0]
  フェデレーション学習は、個々のクライアントデバイス上で分散トレーニングを行い、中央サーバでモデルウェイトのみを共有することによって、クライアントのプライバシを保証する。 本稿では,ディープラーニングモデル全体をより密に分割した部分に分割し,適切なスケジューリング手法を適用した表現学習に基づく新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-27T06:37:19Z)
• Personalized Federated Learning via Amortized Bayesian Meta-Learning [21.126405589760367]
  我々は,Amortized Bayesian Meta-Learningを通じて,パーソナライズド・フェデレーション・ラーニングの新しい視点を紹介する。 具体的には,クライアント間の階層的変動推論を用いたemphFedABMLという新しいアルゴリズムを提案する。 我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
  論文  参考訳（メタデータ） (2023-07-05T11:58:58Z)
• Provably Personalized and Robust Federated Learning [47.50663360022456]
  類似したクライアントのクラスタを識別し、パーソナライズされたモデルパークラスタを訓練する簡単なアルゴリズムを提案する。 アルゴリズムの収束率は、クライアントの真の基盤となるクラスタリングを知っていれば得られるものと一致します。
  論文  参考訳（メタデータ） (2023-06-14T09:37:39Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。