論文の概要: Beyond Parameter Aggregation: Semantic Consensus for Federated Fine-Tuning of LLMs

• arxiv url: http://arxiv.org/abs/2605.11857v1
• Date: Tue, 12 May 2026 09:41:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.762861
• Title: Beyond Parameter Aggregation: Semantic Consensus for Federated Fine-Tuning of LLMs
• Title（参考訳）: パラメータアグリゲーションを超えて:LLMのフェデレートファインチューニングのための意味的合意
• Authors: Amr Abourayya, Jens Kleesiek, Michael Kamp,
• Abstract要約: 大規模言語モデルのフェデレートされた微調整は、パラメータ集約問題として一般的に定式化される。 我々は、パラメータではなくモデル行動を通じて協調を媒介する代替の定式化を考える。 本稿では,この手法が強結合型微調整ベースラインと一致することを示す理論的解析と実験結果を示す。
• 参考スコア（独自算出の注目度）: 12.534172413885342
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated fine-tuning of large language models is commonly formulated as a parameter aggregation problem. However, even parameter-efficient methods require transmitting large collections of trainable weights, assume aligned architectures, and rely on white-box access to model parameters. As model sizes continue to grow and deployments become increasingly heterogeneous, these assumptions become progressively misaligned with practical constraints. We consider an alternative formulation in which collaboration is mediated through model behavior rather than parameters. Clients fine-tune local models on private data and exchange generated outputs on a shared, public prompt set. The server maps these outputs into a semantic representation space, forms a per-prompt semantic consensus, and returns pseudo-labels for further local fine-tuning. This formulation fundamentally changes the communication scaling of federated LLM fine-tuning. The amount of information exchanged depends only on the public prompt budget and the size of the communicated behaviors, independent of model size. As a consequence, the protocol naturally accommodates heterogeneous architectures and applies directly to open-ended text generation. We present a theoretical analysis and empirical results demonstrating that this approach can match strong federated fine-tuning baselines while substantially reducing communication by orders of magnitude (e.g., analytically by a factor of $1006$ for Llama3.1-405B), as well as reductions in runtime and energy consumption. These results suggest that, for generative foundation models, behavior-level consensus provides a more appropriate abstraction for federated adaptation than parameter aggregation.
• Abstract（参考訳）: 大規模言語モデルのフェデレートされた微調整は、パラメータ集約問題として一般的に定式化される。 しかし、パラメータ効率のよい方法であっても、トレーニング可能な重みの大規模なコレクションを送信し、整列アーキテクチャを仮定し、モデルパラメータへのホワイトボックスアクセスに依存する必要がある。 モデルのサイズが拡大し、デプロイがますます不均一になるにつれて、これらの仮定は実践的な制約と徐々に一致しなくなります。 我々は、パラメータではなくモデル行動を通じて協調を媒介する代替の定式化を考える。 クライアントはプライベートデータでローカルモデルを微調整し、共有された公開プロンプトセットで生成された出力を交換する。 サーバはこれらの出力を意味表現空間にマッピングし、プロンプトごとのセマンティックコンセンサスを形成し、さらに局所的な微調整のために擬似ラベルを返す。 この定式化は、フェデレートされたLLMファインチューニングの通信スケーリングを根本的に変える。 交換される情報の量は、モデルのサイズによらず、公共のプロンプト予算と通信される行動の大きさにのみ依存する。 その結果、プロトコルは自然に異質なアーキテクチャに対応し、オープンなテキスト生成に直接適用される。 提案手法は,Llama3.1-405Bの106ドル(約1万6000円)の係数で解析し,実行時およびエネルギー消費の削減を図りながら,強力なフェデレーション付き微調整ベースラインに適合することを示す理論的解析および実験結果を示す。 これらの結果は、生成基礎モデルにおいて、行動レベルのコンセンサスはパラメータアグリゲーションよりも、フェデレーション適応のためのより適切な抽象化を提供することを示唆している。

関連論文リスト

• Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
  VLM(Vision-Language Models)は、医療や金融といったプライバシに敏感な分野において大きな可能性を秘めている。 ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを組み合わせた協調アライメントフレームワークであるMoRを提案する。 MoRは、一般化とクロスクライアント適応性において、フェデレートされたアライメントベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-05T07:02:50Z)
• Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
  パラメータを好みに置き換えることは、よりスケーラブルでプライバシに保護される未来を表している、と私たちは主張する。 ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを用いた協調アライメントフレームワークであるMoRを提案する。 MoRは、一般化、堅牢性、およびクロスクライアント適応性において、連邦化されたアライメントベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-01-31T03:11:51Z)
• RefProtoFL: Communication-Efficient Federated Learning via External-Referenced Prototype Alignment [20.458428841832742]
  フェデレートラーニング(FL)は、エッジ環境で生データを共有せずに協調的なモデルトレーニングを可能にする。 本稿では,外部参照型プロトタイプアライメントを統合した通信効率の高いFLフレームワークRefProtoFLを提案する。 RefProtoFLは、最先端のプロトタイプベースのFLベースラインよりも高い分類精度が得られることを示す。
  論文  参考訳（メタデータ） (2026-01-21T08:01:14Z)
• pFedGPA: Diffusion-based Generative Parameter Aggregation for Personalized Federated Learning [23.43592558078981]
  フェデレートラーニング(FL)は、データをローカルに保持し、モデルパラメータのみをクライアントと中央サーバ間で共有する、モデルトレーニングのための分散アプローチを提供する。 フェデレート平均化(FedAvg)のような従来の手法は、これらのパラメータを線形に集約する。 パーソナライズされたFL, textttpFedGPAのための新しい生成パラメータ集約フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-09T15:13:56Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。 グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Semantic Correspondence with Transformers [68.37049687360705]
  本稿では,変換器を用いたコストアグリゲーション(CAT)を提案し,意味論的に類似した画像間の密接な対応を見出す。 初期相関マップと多レベルアグリゲーションを曖昧にするための外観親和性モデリングを含む。 提案手法の有効性を示す実験を行い,広範囲にわたるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2021-06-04T14:39:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。