Fugu-MT 論文翻訳(概要): Task-Centric Personalized Federated Fine-Tuning of Language Models

論文の概要: Task-Centric Personalized Federated Fine-Tuning of Language Models

arxiv url: http://arxiv.org/abs/2604.00050v1
Date: Mon, 30 Mar 2026 20:01:53 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-02 16:44:31.647666
Title: Task-Centric Personalized Federated Fine-Tuning of Language Models
Title（参考訳）: タスク中心パーソナライズド・フェデレーションによる言語モデルの微調整
Authors: Gabriel U. Talasso, Meghdad Kurmanji, Allan M. de Souza, Nicholas D. Lane, Leandro A. Villas,
Abstract要約: フェデレートラーニング(FL)は、様々なタスクで言語モデルをトレーニングするための有望なテクニックとして登場した。パーソナライズされたFL(pFL)は、各クライアントのデータ配信に適したモデルを作成することを目的としている。我々は、クラスタリングベースのpFLであるFedを提案し、各クライアントではなく、各タスクに特化したモデルを構築します。
参考スコア（独自算出の注目度）: 8.975678586507758
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated Learning (FL) has emerged as a promising technique for training language models on distributed and private datasets of diverse tasks. However, aggregating models trained on heterogeneous tasks often degrades the overall performance of individual clients. To address this issue, Personalized FL (pFL) aims to create models tailored for each client's data distribution. Although these approaches improve local performance, they usually lack robustness in two aspects: (i) generalization: when clients must make predictions on unseen tasks, or face changes in their data distributions, and (ii) intra-client tasks interference: when a single client's data contains multiple distributions that may interfere with each other during local training. To tackle these two challenges, we propose FedRouter, a clustering-based pFL that builds specialized models for each task rather than for each client. FedRouter uses adapters to personalize models by employing two clustering mechanisms to associate adapters with specific tasks. A local clustering that associate adapters with task data samples and a global one that associates similar adapters from different clients to construct task-centric personalized models. Additionally, we propose an evaluation router mechanism that routes test samples to the best adapter based on the created clusters. Experiments comparing our method with existing approaches across a multitask dataset, FedRouter demonstrate strong resilience in these challenging scenarios performing up to 6.1% relatively better under tasks interference and up to 136% relative improvement under generalization evaluation.
Abstract（参考訳）: Federated Learning(FL)は、さまざまなタスクの分散およびプライベートデータセット上で、言語モデルをトレーニングするための有望なテクニックとして登場した。しかし、不均一なタスクで訓練されたモデルの集約は、個々のクライアント全体のパフォーマンスを低下させることが多い。この問題に対処するため、Personalized FL (pFL) は各クライアントのデータ配信に適したモデルを作成することを目的としている。これらのアプローチは局所的なパフォーマンスを改善するが、通常は2つの側面において堅牢性を欠いている。一一般化:クライアントが見当たらないタスクを予測しなければならない場合、又はデータ配布の変化に直面しなければならない場合 (ii) クライアント内のタスク干渉: 単一のクライアントのデータに複数の分散が含まれている場合、ローカルトレーニング中に相互に干渉する可能性がある。これら2つの課題に対処するために、各クライアントではなく、各タスク用に特別なモデルを構築するクラスタリングベースのpFLであるFedRouterを提案する。 FedRouterはアダプタを使用してモデルをパーソナライズする。アダプタとタスクデータサンプルを関連付けるローカルクラスタリングと、異なるクライアントからの類似のアダプタを関連付けてタスク中心のパーソナライズされたモデルを構築するグローバルクラスタリング。さらに,テストサンプルを最適なアダプタにルーティングする評価ルータ機構を提案する。マルチタスクデータセットを用いた既存手法との比較実験では,タスク干渉下では最大6.1%,一般化評価時では最大136%の相対的改善が達成された。

論文の概要: Task-Centric Personalized Federated Fine-Tuning of Language Models

関連論文リスト