論文の概要: Optimal Hydra: Model Heterogeneous Federated Learning for LLMs using Data-Informed Hydra-Nets

• arxiv url: http://arxiv.org/abs/2610.20753v1
• Date: Wed, 14 Oct 2026 18:08:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.005098
• Title: Optimal Hydra: Model Heterogeneous Federated Learning for LLMs using Data-Informed Hydra-Nets
• Title（参考訳）: 最適ハイドラ:データインフォームドハイドラネットを用いたLLMのためのモデル不均一フェデレーション学習
• Abstract要約: フェデレートラーニング(FL)は、分散プライベートデータのトレーニングを容易にするが、クライアントリソースの制限はトレーニングを非現実的なものにする。 微細チューニングのための変圧器ベースヘテロジニアスFLフレームワークであるOptimal Hydraを提案する。 3つのデータセットの実験では、ベースラインメソッドよりも大幅に改善され、ローカルリソースの要求が低減された。
• 参考スコア（独自算出の注目度）: 20.012360734751226
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) trained on vast amounts of data have demonstrated impressive performance over a range of tasks, but future performance gains will require increasing amounts of data and compute. Federated Learning (FL) facilitates training on decentralized private data, but client resource limitations can make training impractical, particularly as model sizes continue to expand. These resource constraints make the assumption of a shared server-client architecture impractical. Model heterogeneous FL offers a promising alternative by adapting model size to client capabilities; however, previous work is limited to the pre-training setting, and conclusions on sub-network selection do not necessarily hold for fine-tuning. Furthermore, prior approaches create client sub-networks without considering their unique data distributions, thereby overlooking the opportunity to tailor sub-network architecture to local data. Motivated by evidence that attention heads exhibit task dependency within layer defined feature spaces, we propose Optimal Hydra, a transformer based heterogeneous FL framework for fine-tuning that combines global layer selection with client specific attention head selection, aligned with local data distributions. Optimal Hydra makes explicit use of client data to produce client-specific sub-networks we call Hydra-nets. To our knowledge, this is the first model heterogeneous FL approach tailored to LLM fine-tuning. Experiments on three datasets show significant improvements over baseline methods while also reducing local resource demands.
• Abstract（参考訳）: 大量のデータに基づいてトレーニングされた大規模言語モデル(LLM)は、さまざまなタスクに対して印象的なパフォーマンスを示しているが、今後のパフォーマンス向上には、データと計算量の増大が必要になるだろう。 フェデレートラーニング(FL)は、分散プライベートデータのトレーニングを容易にするが、クライアントリソースの制限は、特にモデルのサイズが拡大し続けるにつれて、トレーニングを非現実的にする可能性がある。 これらのリソース制約は、共有サーバクライアントアーキテクチャを非現実的に仮定する。 モデルヘテロジニアスFLは、モデルサイズをクライアント機能に適用することで、有望な代替手段を提供する。 さらに、従来のアプローチでは、独自のデータ分散を考慮せずにクライアントのサブネットワークを作成するため、サブネットワークアーキテクチャをローカルデータにカスタマイズする機会を見越すことができる。 そこで我々は,グローバル層選択とクライアント固有のアテンションヘッド選択を組み合わせ,局所データ分布に整合した微細チューニングのためのトランスフォーマーベースヘテロジニアスFLフレームワークであるOptimal Hydraを提案する。 Optimal Hydraは、Hydra-netsと呼ばれるクライアント固有のサブネットワークを生成するために、クライアントデータを明示的に使用しています。 我々の知る限り、これはLLMファインチューニングに適した不均一FLアプローチとしては初めてのモデルである。 3つのデータセットの実験では、ベースラインメソッドよりも大幅に改善され、ローカルリソースの要求が低減された。

関連論文リスト

• Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
  VLM(Vision-Language Models)は、医療や金融といったプライバシに敏感な分野において大きな可能性を秘めている。 ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを組み合わせた協調アライメントフレームワークであるMoRを提案する。 MoRは、一般化とクロスクライアント適応性において、フェデレートされたアライメントベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-05T07:02:50Z)
• Towards a Larger Model via One-Shot Federated Learning on Heterogeneous Client Models [6.138533689454442]
  フェデレートラーニング(Federated Learning)は、分散化されたクライアントが、生データを送信せずにモデルパラメータを交換することで、共用モデルのトレーニングを可能にする。 我々は,より大規模で包括的なサーバモデルをワンショット設定で構築するFedOLを提案する。 これにより、完全なモデル重みの代わりにコンパクトな予測を送信することで通信オーバーヘッドを低減する。
  論文  参考訳（メタデータ） (2025-08-19T08:35:25Z)
• Hypernetworks for Model-Heterogeneous Personalized Federated Learning [13.408669475480824]
  本稿では、クライアント固有の埋め込みベクトルを入力とし、各クライアントの異種モデルに合わせてパーソナライズされたパラメータを出力するサーバサイドハイパーネットワークを提案する。 知識共有の促進と計算の削減を目的として,ハイパーネットワーク内のマルチヘッド構造を導入し,類似のモデルサイズを持つクライアントがヘッドを共有できるようにする。 我々のフレームワークは外部データセットに依存しておらず、クライアントモデルアーキテクチャの開示を必要としない。
  論文  参考訳（メタデータ） (2025-07-30T02:24:26Z)
• Not All Clients Are Equal: Collaborative Model Personalization on Heterogeneous Multi-Modal Clients [59.52341877720199]
  計算コストを伴わずに異種アーキテクチャ間の知識共有を可能にするFedMosaicを提案する。 実世界のタスクの多様性を模倣するために,40の異なるタスクにまたがるマルチモーダルPFLベンチマークを提案する。 実証研究は、FedMosaicが最先端のPFL法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-05-20T09:17:07Z)
• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• One-Shot Heterogeneous Federated Learning with Local Model-Guided Diffusion Models [40.83058938096914]
  FedLMGは局所モデル誘導拡散モデルを用いた単発フェデレーション学習法である。 クライアントはファンデーションモデルにアクセスする必要はなく、ローカルモデルのトレーニングとアップロードのみを行う。
  論文  参考訳（メタデータ） (2023-11-15T11:11:25Z)
• Efficient Model Personalization in Federated Learning via Client-Specific Prompt Generation [38.42808389088285]
  フェデレーション学習(FL)は、データを共有せずに複数の分散クライアントからモデルをトレーニングし、プライバシを保存する分散学習フレームワークとして登場した。 クライアント固有のPrompt Generation(pFedPG)のパーソナライズされたFLフレームワークを提案する。 pFedPGはサーバにパーソナライズされたプロンプトジェネレータを配置してクライアント固有のビジュアルプロンプトを生成し、凍結したバックボーンをローカルデータ分散に効率的に適応させる。
  論文  参考訳（メタデータ） (2023-08-29T15:03:05Z)
• PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
  パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。 いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
  論文  参考訳（メタデータ） (2023-08-23T22:38:35Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Efficient Personalized Federated Learning via Sparse Model-Adaptation [47.088124462925684]
  Federated Learning (FL)は、複数のクライアントに対して、独自のプライベートデータを共有せずに機械学習モデルをトレーニングすることを目的としている。 疎局所モデルを適応的かつ効率的に学習し,効率的なパーソナライズFLのためのpFedGateを提案する。 我々は,pFedGateが最先端手法よりも優れたグローバル精度,個人精度,効率性を同時に達成できることを示す。
  論文  参考訳（メタデータ） (2023-05-04T12:21:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。