Fugu-MT 論文翻訳(概要): HiLoRA: Hierarchical Low-Rank Adaptation for Personalized Federated Learning

論文の概要: HiLoRA: Hierarchical Low-Rank Adaptation for Personalized Federated Learning

arxiv url: http://arxiv.org/abs/2603.02785v1
Date: Tue, 03 Mar 2026 09:25:16 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-04 21:38:10.72972
Title: HiLoRA: Hierarchical Low-Rank Adaptation for Personalized Federated Learning
Title（参考訳）: HiLoRA: 個人化フェデレーション学習のための階層的低ランク適応
Authors: Zihao Peng, Nan Zou, Jiandian Zeng, Guo Li, Ke Chen, Boyuan Li, Tian Wang,
Abstract要約: Low-Rank Adaptation (LoRA)は、視覚変換器(ViT)を適応するための効率的でコミュニケーションに優しい方法を提供する。我々は、階層的なLoRAフレームワークであるHiLoRAを提案し、アダプタを3つのレベル(ルート、クラスタ、リーフ)に配置する。サブスペース類似性解析により潜在クライアント群を推定するLoRA-Subspace Adaptive Clustering機構を開発した。
参考スコア（独自算出の注目度）: 11.466314810697169
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Vision Transformers (ViTs) have been widely adopted in vision tasks due to their strong transferability. In Federated Learning (FL), where full fine-tuning is communication heavy, Low-Rank Adaptation (LoRA) provides an efficient and communication-friendly way to adapt ViTs. However, existing LoRA-based federated tuning methods overlook latent client structures in real-world settings, limiting shared representation learning and hindering effective adaptation to unseen clients. To address this, we propose HiLoRA, a hierarchical LoRA framework that places adapters at three levels: root, cluster, and leaf, each designed to capture global, subgroup, and client-specific knowledge, respectively. Through cross-tier orthogonality and cascaded optimization, HiLoRA separates update subspaces and aligns each tier with its residual personalized objective. In particular, we develop a LoRA-Subspace Adaptive Clustering mechanism that infers latent client groups via subspace similarity analysis, thereby facilitating knowledge sharing across structurally aligned clients. Theoretically, we establish a tier-wise generalization analysis that supports HiLoRA's design. Experiments on ViT backbones with CIFAR-100 and DomainNet demonstrate consistent improvements in both personalization and generalization.
Abstract（参考訳）: 視覚変換器(ViT)は、その強い伝達性のため、視覚タスクに広く採用されている。 Federated Learning (FL)では、完全な微調整はコミュニケーションが重く、LoRA(low-Rank Adaptation)は、ViTを適応するための効率的でコミュニケーションに優しい方法を提供する。しかし、既存のLoRAベースのフェデレーション・チューニング手法は、実世界の潜在クライアント構造を見落とし、共有表現学習を制限し、見知らぬクライアントへの効果的な適応を妨げている。この問題に対処するため,我々は,グローバル,サブグループ,クライアント固有の知識をそれぞれ捉えるように設計された,ルート,クラスタ,リーフの3つのレベルにアダプタを配置する階層型LoRAフレームワークであるHiLoRAを提案する。階層間の直交性とカスケード最適化を通じて、HiLoRAは更新サブスペースを分離し、各ティアをその残留するパーソナライズされた目的と整合させる。特に,LoRA-Subspace Adaptive Clustering機構を開発し,サブスペース類似性解析により潜在クライアント群を推定し,構造的に整合したクライアント間の知識共有を容易にする。理論的には、HiLoRAの設計をサポートする階層ワイズ一般化解析を確立する。 CIFAR-100とDomainNetによるViTバックボーンの実験では、パーソナライゼーションと一般化の両面で一貫した改善が示されている。

関連論文リスト

Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
パラメータを好みに置き換えることは、よりスケーラブルでプライバシに保護される未来を表している、と私たちは主張する。ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを用いた協調アライメントフレームワークであるMoRを提案する。 MoRは、一般化、堅牢性、およびクロスクライアント適応性において、連邦化されたアライメントベースラインを一貫して上回る。
論文参考訳（メタデータ） (2026-01-31T03:11:51Z)
SDFLoRA: Selective Dual-Module LoRA for Federated Fine-tuning with Heterogeneous Clients [4.862708813950415]
大規模言語モデル(LLM)のフェデレーション学習は,分散データに対するプライバシ保護の適応を可能にする手段として注目されている。本稿では,SDFLoRA(Selective Dual-module Federated LoRA)を提案する。SDFLoRA(Selective Dual-module Federated LoRA)は,各クライアントをグローバルモジュールに分解し,転送可能な知識をキャプチャし,クライアント固有の適応を保存するローカルモジュールを提案する。 GLUEベンチマークの実験は、SDFLoRAが代表的連合LoRAベースラインを上回り、より良いユーティリティとプライバシのトレードオフを実現することを示した。
論文参考訳（メタデータ） (2026-01-16T11:53:38Z)
HiLoRA: Adaptive Hierarchical LoRA Routing for Training-Free Domain Generalization [39.23407996213986]
Low-Rank Adaptation (LoRA) は、大規模言語モデルを新しいドメインに適応させる手法として広く使われている。既存のメソッドは明示的なタスクラベルや追加のトレーニングに依存しており、デプロイには実用的ではない。トレーニング不要なフレームワークである textttHiLoRA を提案し,LoRA プール上で適応的な階層的ルーティングを行う。
論文参考訳（メタデータ） (2025-10-14T08:19:13Z)
FedVLM: Scalable Personalized Vision-Language Models through Federated Learning [3.2948524285562866]
視覚言語モデル(VLM)は、印象的なゼロショットと少数ショットの学習能力を示している。これらのモデルを大規模に微調整することは、データが分散化され、クライアントにまたがらないフェデレーション環境では、依然として困難である。我々は,モデルプライバシを維持しつつ,VLMの分散適応を可能にする,フェデレートされたLoRAファインチューニングフレームワークであるFedVLMを提案する。
論文参考訳（メタデータ） (2025-07-23T00:05:02Z)
Fed-HeLLo: Efficient Federated Foundation Model Fine-Tuning with Heterogeneous LoRA Allocation [11.10244162253018]
フェデレートラーニング(Federated Learning)は、最近、複数のクライアントにまたがるファウンデーションモデルの微調整に活用されている。既存の手法の多くは、クライアントの不均一なリソースを考慮に入れたり、効果的なローカルトレーニング戦略を欠いている。我々は,Fed-HeLLoを提案する。フェデレートされたLoRAベースのファインチューニングフレームワークで,クライアントがFMと異なるローカルトレーニング可能なLoRA層を協調的に微調整できる。
論文参考訳（メタデータ） (2025-06-13T20:31:17Z)
Federated Sketching LoRA: A Flexible Framework for Heterogeneous Collaborative Fine-Tuning of LLMs [37.03583502049329]
リソース制約のあるクライアント上での微調整大型言語モデル(LLM)は依然として難しい問題である。最近の研究は、クライアントモデルのサイズやデータ不足に伴う課題を軽減するために、フェデレートされた微調整によるローランク適応(LoRA)技術と融合している。サーバが保持するグローバルなLoRAモジュールのサブマトリクスをクライアントが更新できるように,スケッチ機構を活用したフェデレートスケッチLoRAを提案する。
論文参考訳（メタデータ） (2025-01-31T18:44:35Z)
Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
論文参考訳（メタデータ） (2024-12-03T07:25:30Z)
Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-24T05:24:41Z)
FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the Power of Heterogeneous Clients [50.13097183691517]
実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
論文参考訳（メタデータ） (2023-11-19T04:43:16Z)
Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning [49.72857433721424]
Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
論文参考訳（メタデータ） (2023-10-27T17:22:09Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM [62.62684911017472]
フェデレートラーニング(FL)により、デバイスは共有モデルを共同でトレーニングし、トレーニングデータをプライバシ目的でローカルに保つことができる。マルチヘッド(VIM)を備えたVFLフレームワークを導入し、各クライアントの別々のコントリビューションを考慮に入れます。 VIMは最先端技術に比べて性能が著しく向上し、収束が速い。
論文参考訳（メタデータ） (2022-07-20T23:14:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。