論文の概要: FLoRG: Federated Fine-tuning with Low-rank Gram Matrices and Procrustes Alignment

• arxiv url: http://arxiv.org/abs/2602.17095v1
• Date: Thu, 19 Feb 2026 05:35:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-20 15:21:28.711095
• Title: FLoRG: Federated Fine-tuning with Low-rank Gram Matrices and Procrustes Alignment
• Title（参考訳）: FLoRG:低ランクグラムマトリクスとプロクリストアライメントを併用したファインチューニング
• Authors: Chuiyang Meng, Ming Tang, Vincent W. S. Wong,
• Abstract要約: ファインチューニングのための単一の低ランク行列を用いたファインチューニングフレームワークであるFLoRGを提案する。 FLoRGは、下流タスクの精度で5つの最先端ベースラインスキームを上回り、通信オーバーヘッドを最大2041$times$に削減できることを示す。
• 参考スコア（独自算出の注目度）: 19.973768722251393
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient fine-tuning techniques such as low-rank adaptation (LoRA) enable large language models (LLMs) to adapt to downstream tasks efficiently. Federated learning (FL) further facilitates this process by enabling collaborative fine-tuning across distributed clients without sharing private data. However, the use of two separate low-rank matrices in LoRA for federated fine-tuning introduces two types of challenges. The first challenge arises from the error induced by separately aggregating those two low-rank matrices. The second challenge occurs even when the product of two low-rank matrices is aggregated. The server needs to recover factors via matrix decomposition, which is non-unique and can introduce decomposition drift. To tackle the aforementioned challenges, we propose FLoRG, a federated fine-tuning framework which employs a single low-rank matrix for fine-tuning and aggregates its Gram matrix (i.e., the matrix of inner products of its column vectors), eliminating the aggregation error while also reducing the communication overhead. FLoRG minimizes the decomposition drift by introducing a Procrustes alignment approach which aligns the decomposed matrix between consecutive fine-tuning rounds for consistent updates. We theoretically analyze the convergence of FLoRG and prove that adopting the Procrustes alignment results in a tighter convergence bound. Experimental results across multiple LLM fine-tuning benchmarks demonstrate that FLoRG outperforms five state-of-the-art baseline schemes in the downstream task accuracy and can reduce the communication overhead by up to 2041$\times$.
• Abstract（参考訳）: 低ランク適応(LoRA)のようなパラメータ効率のよい微調整技術により、大規模言語モデル(LLM)は下流タスクに効率的に適応できる。 フェデレートラーニング(FL)は、プライベートデータを共有することなく、分散クライアント間の協調的な微調整を可能にすることによって、このプロセスをさらに促進する。 しかし、LoRAで2つの別々の低ランク行列をフェデレーションファインチューニングに使用すると、2種類の課題が生じる。 最初の課題は、これらの2つの低ランク行列を別々に集約することで引き起こされる誤差から生じる。 2つ目の挑戦は、2つの低ランク行列の積を集約しても起こる。 サーバは、非特異な行列分解によって分解ドリフトを導入できる因子を回復する必要がある。 上記の課題に対処するため,FLoRGを提案する。FLoRGは,単一の低ランク行列を用いて細調整を行い,そのグラム行列(列ベクトルの内部積の行列)を集約し,アグリゲーションエラーを排除し,通信オーバーヘッドを低減する。 FLoRGは、連続的な微調整ラウンド間の分解行列を整列して一貫した更新を行うProcrustesアライメントアプローチを導入することにより、分解ドリフトを最小化する。 理論的には、FLoRGの収束を解析し、プロクリストアライメントを採用すると、より厳密な収束境界が得られることを示す。 複数のLCMの微調整ベンチマークによる実験結果から、FLoRGは下流タスクの精度で5つの最先端のベースラインスキームを上回り、通信オーバーヘッドを最大2041$\times$に削減できることが示された。

関連論文リスト

• PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
  大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。 その中核は2段精製パイプラインを備えた非対称3次量子化器である。
  論文  参考訳（メタデータ） (2025-09-27T03:01:48Z)
• Row-Column Hybrid Grouping for Fault-Resilient Multi-Bit Weight Representation on IMC Arrays [8.430588029181136]
  本稿では, 停止故障(SAF)による計算の不確実性と, 故障除去アルゴリズムの高いコンパイルオーバーヘッド, すなわちFault-Free(FF)について論じる。 まず,従来の列と列の両方に冗長性を導入することで,従来の列群を一般化する,列列ハイブリッドグループと呼ばれる新しいマルチビット重み表現手法を提案する。 第二に,欠陥認識の重み分解問題をアナログ線形プログラミング(ILP)タスクとして再構成するコンパイラを設計し,既製の解法による高速でスケーラブルなコンパイルを実現する。
  論文  参考訳（メタデータ） (2025-08-21T16:05:44Z)
• QR-LoRA: Efficient and Disentangled Fine-tuning via QR Decomposition for Customized Generation [52.024845354511555]
  構造化パラメータ更新にQR分解を利用する新しい微調整フレームワークであるQR-LoRAを提案する。 我々の重要な洞察は、Q行列が視覚的特徴間の干渉を自然に最小化することである。 QR-LoRAは、コンテンツスタイルの融合タスクにおいて、より優れた絡み合いを実現することを示す実験である。
  論文  参考訳（メタデータ） (2025-07-07T01:31:01Z)
• Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
  SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。 提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
  論文  参考訳（メタデータ） (2025-07-02T15:56:40Z)
• CURLoRA: Stable LLM Continual Fine-Tuning and Catastrophic Forgetting Mitigation [0.0]
  CURLoRAは、大規模な言語モデルを微調整するための新しいアプローチである。 破滅的な忘れ込みを軽減し、訓練可能なパラメータの数を減らします。 モデルの安定性とタスク間のパフォーマンスを維持しながら、トレーニング可能なパラメータの数を著しく削減します。
  論文  参考訳（メタデータ） (2024-08-26T18:42:59Z)
• Mode-wise Principal Subspace Pursuit and Matrix Spiked Covariance Model [13.082805815235975]
  行列データに対して行次元と列次元の両方に隠れたバリエーションを抽出するために,モードワイド・プリンシパル・サブスペース・スーツ (MOP-UP) と呼ばれる新しいフレームワークを導入する。 提案フレームワークの有効性と実用性は、シミュレーションと実データの両方の実験を通して実証される。
  論文  参考訳（メタデータ） (2023-07-02T13:59:47Z)
• Orthogonal Nonnegative Matrix Factorization with Sparsity Constraints [0.0]
  本稿では,空間制約付き直交非負行列因子分解(SCONMF)問題に対する新しいアプローチを提案する。 容量制約のある施設配置問題としてSCONMFを再構成することにより, 提案手法は非負性, 直交性, 疎性制約を自然に統合する。 具体的には,動的最適制御設計問題に使用される制御バリア関数(CBF)に基づくフレームワークと,施設配置問題に使用される最大エントロピー原理に基づくフレームワークを統合し,ロバストな因子化を確保しつつ,これらの制約を強制する。
  論文  参考訳（メタデータ） (2022-10-06T04:30:59Z)
• Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation [64.49871502193477]
  本稿では,初期監視情報を同時に拡張し,識別親和性行列を構築することのできる,新しい半教師付きサブスペースクラスタリング手法を提案する。 6つの一般的なベンチマークデータセットの総合的な実験結果から,本手法が最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-21T01:47:17Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
  双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める 近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。 両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
  論文  参考訳（メタデータ） (2020-03-30T08:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。