論文の概要: H2Tune: Federated Foundation Model Fine-Tuning with Hybrid Heterogeneity

• arxiv url: http://arxiv.org/abs/2507.22633v2
• Date: Thu, 31 Jul 2025 01:43:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-01 13:02:07.72824
• Title: H2Tune: Federated Foundation Model Fine-Tuning with Hybrid Heterogeneity
• Title（参考訳）: H2Tune: ハイブリッドな不均一性を備えたフェデレーションモデルファインチューニング
• Authors: Wei Guo, Siyuan Lu, Yiqi Tong, Zhaojun Hu, Fuzhen Zhuang, Xiao Zhang, Tao Fan, Jin Dong,
• Abstract要約: 本稿では,ハイブリッドなヘテロジニティを持つファウンデーションモデルH2Tuneを提案する。 フレームワークは3つの主要なコンポーネントから構成される: (i) 階層化された三重行列分解(sparsified triple matrix decomposition) クライアントリソースに基づく適応的なスパーシフィケーション(adaptive sparsification) 、 (ii) 異種層構造と表現能力を扱うための関係誘導行列層アライメント、 (iii) タスク知識のアンタングルメント機構の交替による局所モデルパラメータの共有および特定知識の分離。
• 参考スコア（独自算出の注目度）: 25.639893635287187
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Different from existing federated fine-tuning (FFT) methods for foundation models, hybrid heterogeneous federated fine-tuning (HHFFT) is an under-explored scenario where clients exhibit double heterogeneity in model architectures and downstream tasks. This hybrid heterogeneity introduces two significant challenges: 1) heterogeneous matrix aggregation, where clients adopt different large-scale foundation models based on their task requirements and resource limitations, leading to dimensional mismatches during LoRA parameter aggregation; and 2) multi-task knowledge interference, where local shared parameters, trained with both task-shared and task-specific knowledge, cannot ensure only task-shared knowledge is transferred between clients. To address these challenges, we propose H2Tune, a federated foundation model fine-tuning with hybrid heterogeneity. Our framework H2Tune consists of three key components: (i) sparsified triple matrix decomposition to align hidden dimensions across clients through constructing rank-consistent middle matrices, with adaptive sparsification based on client resources; (ii) relation-guided matrix layer alignment to handle heterogeneous layer structures and representation capabilities; and (iii) alternating task-knowledge disentanglement mechanism to decouple shared and specific knowledge of local model parameters through alternating optimization. Theoretical analysis proves a convergence rate of O(1/\sqrt{T}). Extensive experiments show our method achieves up to 15.4% accuracy improvement compared to state-of-the-art baselines. Our code is available at https://anonymous.4open.science/r/H2Tune-1407.
• Abstract（参考訳）: ファウンデーションモデルのための既存のフェデレーションファインチューニング(FFT)法とは異なり、ハイブリッドヘテロジニアスフェデレーションファインチューニング(HHFFT)は、モデルアーキテクチャと下流タスクにおいてクライアントが二重ヘテロジニティを示す、未探索のシナリオである。 このハイブリッドな異質性は2つの大きな課題をもたらす。 1) クライアントがタスク要求とリソース制限に基づいて異なる大規模基盤モデルを採用するヘテロジニアス行列アグリゲーション、そして、LoRAパラメータアグリゲーションにおける次元的ミスマッチにつながる。 2)タスク共有知識とタスク固有知識の両方で訓練されたローカルな共有パラメータが,タスク共有知識のみをクライアント間で転送することのできないマルチタスク知識干渉。 これらの課題に対処するため,ハイブリッドヘテロジニティを用いたファウンデーションモデルH2Tuneを提案する。 私たちのフレームワークH2Tuneは3つの重要なコンポーネントで構成されています。 一 クライアント資源に基づく適応的スカラー化により、ランク一貫性のある中間行列を構築することにより、クライアント間で隠れ次元を整列させるスカラー化三重行列分解 (II)不均一層構造と表現能力を扱うための関係誘導行列層アライメント 三 タスク知識の切り離し機構の交互化により、局所モデルパラメータの共有と特定知識の分離を図る。 理論的解析により、O(1/\sqrt{T}) の収束速度が証明される。 実験の結果,最先端のベースラインに比べて最大15.4%の精度向上が得られた。 私たちのコードはhttps://anonymous.4open.science/r/H2Tune-1407で公開されています。

関連論文リスト

• Cross-architecture universal feature coding via distribution alignment [88.73189953617594]
  クロスアーキテクチャユニバーサル特徴符号化(CAUFC)という新しい研究課題を導入する。 まず,CNN と Transformer が一貫した2次元トークン形式に特徴付けるフォーマットアライメント手法を設計し,また,トランケーションと正規化によって統計分布を調和させる特徴値アライメント手法を提案する。 本稿では,CAUFCを最初に研究する試みとして,画像分類作業における手法の評価を行い,本手法がアーキテクチャ固有のベースラインに比べて高いレート精度のトレードオフを実現することを示す。
  論文  参考訳（メタデータ） (2025-06-15T06:14:02Z)
• Client Selection in Federated Learning with Data Heterogeneity and Network Latencies [19.161254709653914]
  Federated Learning(FL)は、複数のクライアントがプライベートデータに基づいてローカルトレーニングを行う分散機械学習パラダイムである。 本稿では,両不均一性を扱う理論的に最適なクライアント選択方式を2つ提案する。
  論文  参考訳（メタデータ） (2025-04-02T17:31:15Z)
• A Randomized Zeroth-Order Hierarchical Framework for Heterogeneous Federated Learning [0.0]
  フェデレートラーニング(FL)における不均一性は、モデルの性能と収束に大きな影響を及ぼす決定的かつ挑戦的な側面である。 階層的最適化問題として不均一FLを定式化した新しいフレームワークを提案する。 画像分類タスクに本手法を実装し,異なる異種条件下での他の手法との比較を行った。
  論文  参考訳（メタデータ） (2025-04-02T15:44:59Z)
• A Unified Solution to Diverse Heterogeneities in One-shot Federated Learning [16.120630244663452]
  One-Shot Federated Learning (OSFL)は、サーバとクライアント間の通信を1ラウンドに制限する。 FedHydraは、モデルとデータの不均一性の両方に効果的に対処するために設計された、統一された、データフリーのOSFLフレームワークである。
  論文  参考訳（メタデータ） (2024-10-28T15:20:52Z)
• Adaptive Guidance for Local Training in Heterogeneous Federated Learning [23.92461217732838]
  Heterogeneous Federated Learning (HtFL) におけるモデルの不均一性 本稿では,FedL2Gを提案する。 FedL2Gは、最先端の7つの手法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-10-09T02:31:49Z)
• Incorporating Arbitrary Matrix Group Equivariance into KANs [69.30866522377694]
  我々は任意の行列群同変をkanに組み込む方法であるEquivariant Kolmogorov-Arnold Networks (EKAN)を提案する。 EKANは、粒子散乱や3体問題といった対称性に関連したタスクにおいて、より小さなデータセットやより少ないパラメータで高い精度を達成する。
  論文  参考訳（メタデータ） (2024-10-01T06:34:58Z)
• pFedAFM: Adaptive Feature Mixture for Batch-Level Personalization in Heterogeneous Federated Learning [34.01721941230425]
  教師付き学習タスクのための適応的特徴混合(pFedAFM)を用いたモデルヘテロジニアスなフェデレート学習手法を提案する。 7つの最先端のMHPFL法を著しく上回り、精度は7.93%まで向上した。
  論文  参考訳（メタデータ） (2024-04-27T09:52:59Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
  コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-12-10T18:49:59Z)
• Reference Twice: A Simple and Unified Baseline for Few-Shot Instance Segmentation [103.90033029330527]
  FSIS(Few-Shot Instance)は、サポート例が限定された新しいクラスの検出とセグメンテーションを必要とする。 我々は、FSISのサポートとクエリ機能の関係を利用するための統合フレームワーク、Reference Twice(RefT)を導入する。
  論文  参考訳（メタデータ） (2023-01-03T15:33:48Z)
• GSMFlow: Generation Shifts Mitigating Flow for Generalized Zero-Shot Learning [55.79997930181418]
  Generalized Zero-Shot Learningは、目に見えないクラスから見えないクラスに意味的な知識を移すことで、目に見えないクラスと見えないクラスの両方から画像を認識することを目的としている。 生成モデルの利点を生かして、見学したクラスから学んだ知識に基づいて、現実的な見知らぬサンプルを幻覚させることは、有望な解決策である。 本研究では,複数の条件付きアフィン結合層からなるフローベース生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-05T04:04:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。