Fugu-MT 論文翻訳(概要): SplitLite: Low-Rank Residual Compression for Split Learning

論文の概要: SplitLite: Low-Rank Residual Compression for Split Learning

arxiv url: http://arxiv.org/abs/2608.23018v1
Date: Mon, 24 Aug 2026 09:20:04 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-25 13:29:44.007917
Title: SplitLite: Low-Rank Residual Compression for Split Learning
Title（参考訳）: SplitLite: スプリットラーニングのための低ランク残差圧縮
Abstract要約: SplitLiteは通信効率の高い分割型LoRAファインチューニング方式である。この性質を明らかにすることで、SplitLiteは量子化された特異値分解残基のみを伝達する。本手法は,通信性能を損なうことなく,アクティベーションアップリンク通信コストを最大93.5%削減し,通信コストを最大83.7%削減する。
参考スコア（独自算出の注目度）: 13.143425367328385
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated fine-tuning of on-device large language models (LLMs) faces a significant computing burden. To overcome this limitation, split learning (SL) has emerged as a promising solution, which offloads the primary training workload to a powerful server. However, SL requires exchanging high-dimensional activations and gradients between clients and the server, resulting in prohibitive communication costs. To overcome this challenge, we propose SplitLite, a communication-efficient split federated LoRA fine-tuning method that exploits the low effective rank structure of consecutive-epoch activation and gradient residuals. Our key finding is that, when LoRA uses rank $r$ updates in parameter space, the activation and gradient residuals of the same data sample between adjacent epochs also exhibit effective rank-$2r$ and rank-$4r$ structures, respectively. By revealing this property, SplitLite transmits only quantized truncated singular value decomposition (SVD) residual factors, thereby significantly reducing both activation uplink and gradient downlink traffic. Extensive experiments on the GLUE benchmark across a series of advanced on-device LLMs demonstrate that our method reduces activation uplink communication costs by up to 93.5\% and total communication costs by up to 83.7\%, without performance degradation.
Abstract（参考訳）: デバイス上での大規模言語モデル(LLM)のフェデレーションによる微調整は、大きな計算負担に直面している。この制限を克服するため、スプリットラーニング(SL)が有望なソリューションとして登場し、主要なトレーニングワークロードを強力なサーバにオフロードする。しかし、SLはクライアントとサーバの間で高次元のアクティベーションとグラデーションを交換する必要があるため、通信コストは禁じられる。この課題を解決するために,通信効率の高い分割型LoRAファインチューニング手法であるSplitLiteを提案する。我々の重要な発見は、LoRAがパラメータ空間のランク$r$更新を使用するとき、隣接するエポック間の同一データサンプルのアクティベーションと勾配残差は、それぞれ有効ランク$2r$とランク$4r$の構造を示すことである。この特性を明らかにすることで、SplitLiteは量子化されたトランケート特異値分解(SVD)残差因子のみを送信し、アクティベーションアップリンクと勾配ダウンリンクトラフィックの両方を著しく低減する。 GLUEベンチマークにおける一連のデバイス上での大規模実験により,本手法は性能劣化を伴わずに,アクティベーションアップリンク通信コストを最大93.5 %,トータル通信コストを最大83.7 %削減することを示した。

関連論文リスト

FLoKD: Adaptive Knowledge Distillation for Federated Low-Rank LLM over Wireless Networks [28.49324627841803]
フェデレートラーニングは、クライアントデータを共有することなく、大規模な言語モデルの微調整を可能にする。無線ネットワーク上でのLLMのファインチューニングのための適応的知識蒸留フレームワークであるFLoKDを提案する。提案手法は, 通信のオーバーヘッドを50～65%削減すると同時に, ベースラインと比較して, 競争上の難易度に迅速に収束する。
論文参考訳（メタデータ） (2026-09-11T22:37:39Z)
LightSplit: Practical Privacy-Preserving Split Learning via Orthogonal Projections [54.51153206716027]
Split Learning(SL)は、ニューラルネットワークをクライアントと中央サーバに分割することで、協調的なトレーニングを可能にする。カット層に軽量な固定ランダムプロジェクションを適用することにより,情報露出を制限し,通信オーバーヘッドを低減するLightSplitを提案する。提案手法は, 伝送次元の最大32倍の精度で, 95%以上の精度を維持できることを示した。
論文参考訳（メタデータ） (2026-05-13T09:45:49Z)
Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC [50.36542772932594]
Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
論文参考訳（メタデータ） (2026-02-18T13:41:41Z)
Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
論文参考訳（メタデータ） (2026-01-30T10:54:51Z)
How to Train Your LLM Web Agent: A Statistical Diagnosis [96.86317871461834]
LLMウェブエージェントのポストトレーニングにおける計算割当に関する統計学的基礎研究について述べる。提案手法では,Llama 3.1 8Bの学生を対象に,教師付き微調整(SFT)とオンライン強化学習を用いて,Llama 3.3 70Bの教師を模倣する2段階のパイプラインを用いた。以上の結果から,SFTとオンラインRLの組み合わせは,WorkArenaとMiniWob++のいずれにおいても,単独でのアプローチよりも一貫して優れていた。
論文参考訳（メタデータ） (2025-07-05T17:12:33Z)
HSplitLoRA: A Heterogeneous Split Parameter-Efficient Fine-Tuning Framework for Large Language Models [30.345920952847752]
大規模言語モデル(LLM)は、自然言語処理領域などに革命をもたらし、目覚ましいブレークスルーを達成した。膨大なパラメータサイズのため、様々な下流タスクのためのプライベートデータでこれらのモデルを微調整することが主流になっている。本研究では,分割学習(SL)と低ランク適応(LoRA)に基づくフレームワークであるHSplitLoRAを提案する。
論文参考訳（メタデータ） (2025-05-05T17:09:19Z)
SplitFrozen: Split Learning with Device-side Model Frozen for Fine-Tuning LLM on Heterogeneous Resource-Constrained Devices [15.790762116995845]
プライベート、オンデバイスデータに基づく細調整された大型言語モデル(LLM)は、パーソナライズされたパーソナライズされたAIエージェントを強化することができる。本稿では,資源制約のあるエッジデバイス上で効率的な微調整を可能にする分割学習フレームワークSplitFrozenを提案する。 MRPC、MNLIマッチング、SST-2データセットによるGPT-2の実験では、極めて不均衡なデータの下で、SplitFrozenはFedLoRAとSplitLoRAの精度を69.4%上回っている。
論文参考訳（メタデータ） (2025-03-23T08:03:44Z)
Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
論文参考訳（メタデータ） (2024-11-01T14:28:39Z)
SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。初期経路では、中間出力は反冗長動作によって統合される。遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文参考訳（メタデータ） (2024-07-10T10:22:35Z)
LW-FedSSL: Resource-efficient Layer-wise Federated Self-supervised Learning [14.937324556028548]
本稿では、エッジデバイスがモデルの一部を段階的にトレーニングできるLayer-Wise Federated Self-Supervised Learningアプローチを提案する。 LW-FedSSLは、モデルの一部だけが任意のタイミングでトレーニングに有効であるため、計算要求を大幅に削減する。最大でメモリ使用量の3.34ドルの削減、GFLOPの4.20ドルの削減、通信コストの5.07ドルの削減を実現している。
論文参考訳（メタデータ） (2024-01-22T01:57:31Z)
Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
論文参考訳（メタデータ） (2023-03-26T16:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。