Fugu-MT 論文翻訳(概要): What Should Federated LoRA Share? FedSAIL via Input-aware Subspace Alignment

論文の概要: What Should Federated LoRA Share? FedSAIL via Input-aware Subspace Alignment

arxiv url: http://arxiv.org/abs/2609.32485v1
Date: Sat, 26 Sep 2026 11:28:39 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-07 08:42:34.490009
Title: What Should Federated LoRA Share? FedSAIL via Input-aware Subspace Alignment
Title（参考訳）: LoRAの共有は何か? 入力対応サブスペースアライメントによるFedSAIL
Abstract要約: フェデレートされたローランク適応(LoRA)は、異種クライアント間で共有される更新構造を特定する必要がある。本稿では、ローカル層入力の第2モーメント統計により、アダプタ更新を重み付けする入力対応アクション行列を提案する。
参考スコア（独自算出の注目度）: 3.7013736818702174
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated low-rank adaptation (LoRA) requires identifying an update structure that is shared across heterogeneous clients. Prior work reports strong similarity among trained LoRA projection matrices across clients; however, such agreement may be largely induced by common initialization and collapses toward random overlap under independent initialization. More crucially, relying solely on parameter similarity inherently ignores the influence of local input regime. To uncover a more robust shared structure, we introduce an input-aware action matrix that weights the adapter update by the second-moment statistics of local layer inputs. Empirically, while parameter similarity vanishes, the leading right singular directions of this action matrix remain strongly aligned across clients. This shared geometry preserves task-conditioned differences and naturally varies across network depths. Motivated by these findings, we propose Federated Subspace-Guided Action-Informed Learning (FedSAIL). Instead of averaging weights, FedSAIL estimates a shared action subspace to regularize local training while preserving client-specific coefficients. Across several benchmarks, our approach consistently improves predictive performance over competing federated LoRA methods while reducing communication cost significantly.
Abstract（参考訳）: フェデレートされたローランク適応(LoRA)は、異種クライアント間で共有される更新構造を特定する必要がある。以前の研究では、クライアント間で訓練されたLORA射影行列の間に強い類似性が報告されていたが、そのような合意は、独立初期化の下での共通初期化とランダム重複への崩壊によって大きく引き起こされる可能性がある。さらに重要なことは、パラメータの類似性のみに依存することは、局所的な入力状態の影響を本質的に無視する。より堅牢な共有構造を明らかにするために、ローカル層入力の第2モーメント統計によりアダプタ更新を重み付けする入力対応アクション行列を導入する。経験的に、パラメータの類似性は消えるが、この作用行列の先頭の特異な方向は、クライアント間で強く一致している。この共有幾何学はタスク条件の違いを保存し、ネットワークの深さによって自然に変化する。本研究の目的は,FedSAIL(Federated Subspace-Guided Action-Informed Learning)を提案することである。重みを平均化する代わりに、FedSAILは、クライアント固有の係数を保持しながら、局所的なトレーニングを規則化する共有アクションサブスペースを推定する。いくつかのベンチマークにおいて,提案手法は競合するLoRA法よりも予測性能を向上し,通信コストを大幅に削減する。

関連論文リスト

Rethinking Factor Sharing in Federated LoRA: A Rank-Aware Adaptive Approach [58.97285859000893]
クライアント間で$A$を共有すべきか、$B$がクライアント固有(Share-A/Local-B)なのか、それとも$B$がクライアント固有(Share-B/Local-A)なのかを調査する。本稿では,FedAS-LoRA(Federated Adaptive Factor Sharing Low-Rank Adaptation)を提案する。
論文参考訳（メタデータ） (2026-08-10T15:38:45Z)
TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文参考訳（メタデータ） (2026-06-09T17:16:03Z)
Shift-Dependent Asymmetry: Orthogonal Inverse Low-Rank Adaptation for Federated Medical Segmentation [60.41721951405564]
Low-Rank Adaptation (LoRA)は、医療画像のためのセグメンテーション基盤モデルの効率的なフェデレーション微調整を可能にする。ほとんどの連合LoRA法は、医学的セグメンテーションにおいてエンコーダ-デコーダ非対称性の下で破れる一様アグリゲーション規則を採用している。このミスマッチの絡み合いは、サイト固有のバイアスと解剖を共有し、一般化を損なう。本稿では,効率的な更新空間における共有局所コリニアリティを罰する部分空間直交正規化器を提案する。
論文参考訳（メタデータ） (2026-06-07T15:39:28Z)
FedSmoothLoRA: Toward Smoother and Faster Convergence in Federated Low-Rank Adaptation [70.67537583458572]
Low-Rank Adaptation (LoRA) を用いた基礎モデルのファインチューニングにより,通信コストと計算コストを削減できる。 FedAvgとLoRAの直接的な組み合わせには、3つの大きな問題がある。我々はFedSmoothLoRAを提案する。FedSmoothLoRAは、拡張された更新空間を保存し、局所的な最適化の連続性を改善し、クライアント対応の開始状態を提供する、フェデレートされたLoRAチューニングフレームワークである。
論文参考訳（メタデータ） (2026-05-28T06:53:46Z)
Federated LoRA Fine-Tuning for LLMs via Collaborative Alignment [4.733680065352959]
低ランク適応(LoRA)は,大規模言語モデル(LLM)のパラメータ効率向上のための強力なツールとして登場した。本稿では,LoRAを協調学習環境下で研究し,パラメータ効率を保ちながらクライアント間の協調的な微調整を可能にする。予備的な局所推定器のみに依存する汚染認識フレームワークであるCLAIR(Collaborative Low-rank Alignment and Identifiable Recovery)を提案する。
論文参考訳（メタデータ） (2026-05-20T14:12:16Z)
Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
VLM(Vision-Language Models)は、医療や金融といったプライバシに敏感な分野において大きな可能性を秘めている。ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを組み合わせた協調アライメントフレームワークであるMoRを提案する。 MoRは、一般化とクロスクライアント適応性において、フェデレートされたアライメントベースラインを一貫して上回る。
論文参考訳（メタデータ） (2026-05-05T07:02:50Z)
Stabilized Fine-Tuning with LoRA in Federated Learning: Mitigating the Side Effect of Client Size and Rank via the Scaling Factor [8.51407618718798]
プライバシ制約がフェデレーション学習(FL)を必要とする分散シナリオでは、ローランド適応(LoRA)の統合は不安定であることが多い。本稿では,アダプタランクとフェデレートアグリゲーションの相互作用を理論的に特徴付けるフレームワークである安定化フェデレートロラ(SFed-LoRA)を紹介する。 SFed-LoRAは高階崩壊を防止し,安定性を著しく向上し,より高速な収束を実現することを実証した。
論文参考訳（メタデータ） (2026-03-09T07:49:56Z)
ILoRA: Federated Learning with Low-Rank Adaptation for Heterogeneous Client Aggregation [15.926254171159146]
3つのコアイノベーションを統合する統合フレームワークであるILoRAを提案する。 ILoRA は既存の連合 LoRA 法よりも精度と収束安定性が優れている。
論文参考訳（メタデータ） (2025-11-20T05:59:37Z)
Federated Attention: A Distributed Paradigm for Collaborative LLM Inference over Edge Networks [63.541114376141735]
大規模言語モデル(LLM)は、さまざまなアプリケーションシナリオにまたがってインテリジェントな機能を提供しながら、急速に普及しています。しかし、彼らの共同シナリオにおける実践的なデプロイは、プライバシの脆弱性、通信オーバーヘッド、計算ボトルネックといった根本的な課題に直面します。我々はフェデレート・アテンション(FedAttn)を提案し、フェデレーション・パラダイムを自己注意機構に統合する。
論文参考訳（メタデータ） (2025-11-04T15:14:58Z)
FedALT: Federated Fine-Tuning through Adaptive Local Training with Rest-of-World LoRA [5.162783756846019]
ファインチューニングされた大型言語モデル(LLM)は、プライバシ保護の適応を可能にするが、モデルアグリゲーションによるクロスクライアント干渉に悩まされる。我々は,新しいパーソナライズされたLoRAファインチューニングアルゴリズムである textbfFedALT を提案する。我々は、FedALTが、最先端のパーソナライズされたLoRAファインチューニング手法を著しく上回っていることを実証した。
論文参考訳（メタデータ） (2025-03-14T21:07:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。