論文の概要: PFAdapter: Hierarchical LoRA Decomposition for Personalized Federated MLLMs

• arxiv url: http://arxiv.org/abs/2607.12111v1
• Date: Mon, 13 Jul 2026 19:40:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:29.957572
• Title: PFAdapter: Hierarchical LoRA Decomposition for Personalized Federated MLLMs
• Title（参考訳）: PFAdapter: パーソナライズされたMLLMのための階層型LoRA分解
• Abstract要約: エージェントAIシステムは、協調学習が可能な自律的なインテリジェントエージェントをデプロイすることで、コミュニケーションとネットワークを再構築している。 MLLMはエッジデバイスの認知エンジンとして機能するが、フェデレーションされた微調整は、異種ネットワーク条件下での局所的な適応とグローバル知識集約のバランスをとる上で大きな課題に直面している。 本稿では,PFAdapterを提案する。PFAdapterは,階層型LoRA分解を導入し,アダプタパラメータをグローバル共有およびローカルプライベートなコンポーネントに明示的に分離する。
• 参考スコア（独自算出の注目度）: 38.26392210345782
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agentic AI systems are reshaping communications and networking by deploying autonomous intelligent agents capable of collaborative learning while maintaining data privacy at network edges. Within distributed network environments, Multimodal Large Language Models (MLLMs) serve as cognitive engines for edge devices, yet federated fine-tuning faces substantial challenges in balancing global knowledge aggregation with local adaptation under heterogeneous network conditions. Conventional federated protocols typically rely on uniform parameter aggregation, which conflates domain-invariant features with client-specific nuances, thereby resulting in suboptimal personalization and excessive communication overhead. To address these challenges, we propose PFAdapter, a communication-efficient framework introducing hierarchical LoRA decomposition to explicitly separate adapter parameters into global-shared and local-private components. Query and key projections are assigned to global synchronization for capturing universal multimodal semantics across the network, while value and output projections remain localized for edge-specific adaptation. Additionally, orthogonality regularization based on the Frobenius norm enforces strict separation between these components, preventing redundant feature learning. Selective aggregation protocols synchronize only global-shared components across the federated network, preserving local expertise and reducing communication costs by nearly 50%. Extensive experiments on VQA-RAD, SLAKE, Hateful Memes, and CrisisMMD datasets demonstrate that PFAdapter consistently outperforms state-of-the-art baselines, achieving accuracy improvements ranging from 2.4% to 4.8% across diverse edge intelligence tasks. Consequently, our framework establishes an efficient solution for agentic AI deployment in resource-constrained communication networks.
• Abstract（参考訳）: エージェントAIシステムは、ネットワークエッジにおけるデータのプライバシを維持しながら、協調学習が可能な自律的なインテリジェントエージェントをデプロイすることによって、通信とネットワークを再構築している。 分散ネットワーク環境内では、MLLM(Multimodal Large Language Models)はエッジデバイスの認知エンジンとして機能するが、フェデレートされた微調整は、グローバル知識集約と異種ネットワーク条件下での局所適応のバランスをとる上で大きな課題に直面している。 従来のフェデレーションプロトコルは、一般に一様パラメータアグリゲーションに依存しており、これはドメイン不変の特徴とクライアント固有のニュアンスを混同し、その結果、最適以下のパーソナライゼーションと過剰な通信オーバーヘッドをもたらす。 これらの課題に対処するため、我々はPFAdapterを提案する。PFAdapterは、階層的なLoRA分解を導入し、アダプタパラメータをグローバル共有およびローカルプライベートなコンポーネントに明示的に分離する。 クエリとキープロジェクションは、ネットワーク全体にわたって普遍的なマルチモーダルセマンティクスをキャプチャするためのグローバル同期に割り当てられ、一方、値と出力プロジェクションは、エッジ固有の適応のためにローカライズされる。 さらに、フロベニウスノルムに基づく直交正則化はこれらの成分の厳密な分離を強制し、冗長な特徴学習を防ぐ。 選択的なアグリゲーションプロトコルは、フェデレートネットワーク全体にわたるグローバル共有コンポーネントのみを同期させ、ローカルな専門知識を保持し、通信コストを50%近く削減する。 VQA-RAD、SLAKE、Hateful Memes、CrisisMMDデータセットに関する大規模な実験は、PFAdapterが最先端のベースラインを一貫して上回り、多様なエッジインテリジェンスタスクで2.4%から4.8%の精度向上を達成することを示した。 その結果,我々のフレームワークは,資源制約のある通信ネットワークにおけるエージェントAI配置の効率的なソリューションを確立している。

関連論文リスト

• Breaking the Structural Identity: Personalized Federated LoRA Fine-tuning under Rank Heterogeneity [12.733972494875713]
  FedRoRAは、ランク・ヘテロジニアス・フェデレーション内できめ細かいパーソナライズを可能にする新しいフレームワークである。 適応を共通のグローバルな方向と、学習可能な対角スケールによって管理される個人レベルの等級に分離する。 NLUおよびNLGベンチマークの実験は、FedRoRAが常に最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2026-09-01T03:09:20Z)
• Towards Robust Federated Multimodal Graph Learning under Modality Heterogeneity [49.44748281840733]
  実世界のグラフは、複数のパーティにまたがるデータ共有の制限のために、しばしば分離される。 我々は、トポロジ対応のクロスモーダル生成を利用して、欠落した特徴を復元する scFedMPO を提案する。 6つのデータセットにわたる3つのタスクの実験は、FedMPOがベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2026-05-12T17:30:15Z)
• Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
  VLM(Vision-Language Models)は、医療や金融といったプライバシに敏感な分野において大きな可能性を秘めている。 ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを組み合わせた協調アライメントフレームワークであるMoRを提案する。 MoRは、一般化とクロスクライアント適応性において、フェデレートされたアライメントベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-05T07:02:50Z)
• Aggregation Alignment for Federated Learning with Mixture-of-Experts under Data Heterogeneity [27.791732281031695]
  大規模言語モデル(LLM)は、計算量を削減しつつモデルのキャパシティをスケールするために、Mixture-of-Experts (MoE)アーキテクチャを採用するようになっている。 これらのMoEベースのLPMを微調整するには、分散データとプライバシに敏感なデータにアクセスする必要があることが多いため、集中的な微調整は現実的ではない。 我々は、ルーティングの一貫性と専門的なセマンティックアライメントを共同で実施するフェデレーションアライメントアライメントアライメントフレームワークであるFedAlign-MoEを提案する。
  論文  参考訳（メタデータ） (2026-03-22T15:07:39Z)
• FedPDPO: Federated Personalized Direct Preference Optimization for Large Language Model Alignment [55.97027207627]
  Fed PDPO(Federated Personalized Direct Preference Optimization)は、大規模言語モデル(LLM)の優先順位調整のためのパーソナライズされたフレームワークである。 パラメータ効率の良い微調整アーキテクチャを採用し、各クライアントはLow-Rank Adaptation (LoRA)アダプタで拡張された凍結したLLMバックボーンを維持し、通信効率のよいアグリゲーションを可能にする。 複数の嗜好データセットの実験では、最先端のパフォーマンスを示し、フェデレーション付きドメイン内およびクロスドメイン設定の平均精度が4.80%向上した。
  論文  参考訳（メタデータ） (2026-03-20T08:24:49Z)
• Resource-Adaptive Federated Text Generation with Differential Privacy [3.7397653111851814]
  差分的プライベート(DP)合成データセットは、グローバルな分布を近似し、タスク間で再利用することができる。 クライアントの能力に適応するフレキシブルな参加フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-07T04:11:58Z)
• ELSA: Efficient LLM-Centric Split Aggregation for Privacy-Aware Hierarchical Federated Learning over Resource-Constrained Edge Networks [22.53431546014934]
  ネットワークエッジでの大規模言語モデル(LLM)のトレーニングは、デバイスリソースの制約、厳密なデータの不均一性、プライバシーリスクの増大など、基本的な課題に直面している。 リソース制約付きエッジネットワーク上での分散LLM微調整のための分割学習(SL)と階層的フェデレーション学習(HFL)を統合する新しいフレームワークであるELSAを提案する。 まず、公的なプローブ入力と対称KL発散を用いたセマンティックフィンガープリントを構築するタスク非依存の振る舞い対応クライアントクラスタリング機構を用いる。 次に、LLMをクライアントとエッジサーバの3つの部分に分割し、クラウドはアダプタアグリゲーションにのみ使用される。 第三に
  論文  参考訳（メタデータ） (2026-01-20T10:33:19Z)
• CoCo-Fed: A Unified Framework for Memory- and Communication-Efficient Federated Learning at the Wireless Edge [50.42067935605982]
  ローカルメモリの効率とグローバル通信の削減を両立させる新しい圧縮・結合型学習フレームワークを提案する。 CoCo-Fedは、メモリと通信効率の両方において最先端のベースラインを著しく上回り、非IID設定下では堅牢な収束を維持している。
  論文  参考訳（メタデータ） (2026-01-02T03:39:50Z)
• Edge-Assisted Collaborative Fine-Tuning for Multi-User Personalized Artificial Intelligence Generated Content (AIGC) [38.59865959433328]
  クラウドベースのソリューションは計算を助けるが、プライバシのリスク、パーソナライズ効率、通信コストに対処するのに不足することが多い。 本稿では,クラスタを意識した新しい階層型統合フレームワークを提案する。 このフレームワークは,スケーラブルなマルチユーザパーソナライズAIGCサービスの実用性を維持しつつ,収束の加速を実現する。
  論文  参考訳（メタデータ） (2025-08-06T06:07:24Z)
• FLoRIST: Singular Value Thresholding for Efficient and Accurate Federated Fine-Tuning of Large Language Models [2.555222031881788]
  FLoRISTは、高い通信や計算オーバーヘッドを発生させることなく、数学的に正確なアグリゲーションを実現するファインチューニングフレームワークである。 サーバ側最適ランク選択のための可変特異値しきい値を導入し、全クライアントが共有するグローバルローランクアダプタのペアを構築する。
  論文  参考訳（メタデータ） (2025-06-10T19:36:36Z)
• DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training [84.81043932706375]
  本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。 本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
  論文  参考訳（メタデータ） (2022-06-01T02:20:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。