論文の概要: AutoEncoder-Compressed Parallel Split Learning for Pre-trained Model Fine-Tuning
- arxiv url: http://arxiv.org/abs/2607.17913v1
- Date: Mon, 20 Jul 2026 13:08:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.621358
- Title: AutoEncoder-Compressed Parallel Split Learning for Pre-trained Model Fine-Tuning
- Title（参考訳）: 事前学習モデルファインチューニングのためのオートエンコーダ圧縮並列分割学習
- Abstract要約: リソース制約のあるエッジデバイス上での大規模ファンデーションモデル(FM)の分散微調整(DFT)は、ローカルな計算制約と通信オーバーヘッドによって制限される。
AE-PSLは,分離層に配置された軽量オートエンコーダ(AE)を用いて,中間活性化と勾配を圧縮する通信効率のよいフレームワークである。
- 参考スコア（独自算出の注目度）: 2.255780615758583
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributed Fine-Tuning (DFT) of large-scale Foundation Models (FMs) on resource-constrained edge devices is limited by local compute constraints and communication overhead. Parallel Split Learning (PSL) reduces client-side computation by keeping few model layers on each client and offloading the remaining computation to the server; however, clients must exchange intermediate activations and gradients with the server at every training step. Existing SL communication-compression methods mainly rely on task-agnostic heuristics, such as sparsification and quantization. While learnable SL compressors can better adapt to intermediate representations, they require co-training with the target model. Therefore, directly inserting them into off-the-shelf FMs introduces feature-distribution misalignment and degrades DFT performance. To address this, we propose AE-PSL, a communication-efficient PSL framework that compresses intermediate activations and gradients using a lightweight AutoEncoder (AE) placed at the split layer. To ensure compatibility of AE compression with pre-trained FMs, AE-PSL introduces a novel two-stage alignment mechanism, which adapts the AE to the pre-trained model's feature manifold and client-specific feature distributions before DFT.
- Abstract（参考訳）: リソース制約のあるエッジデバイス上での大規模ファンデーションモデル(FM)の分散微調整(DFT)は、ローカルな計算制約と通信オーバーヘッドによって制限される。
並列分割学習(PSL)は、各クライアントにモデルレイヤをほとんど保持せず、残りの計算をサーバにオフロードすることでクライアント側の計算を減らすが、クライアントはトレーニングステップ毎にサーバと中間的なアクティベーションと勾配を交換しなければならない。
既存のSL通信圧縮法は主にスパーシフィケーションや量子化のようなタスクに依存しないヒューリスティックに依存している。
学習可能なSL圧縮機は中間表現に適応できるが、ターゲットモデルとの協調訓練が必要である。
したがって、これらをオフザシェルフFMに直接挿入すると、特徴分布の不一致が生じ、DFT性能が低下する。
そこで本稿では,通信効率の高いPSLフレームワークであるAE-PSLを提案する。
AE-PSLは、事前訓練されたFMとのAE圧縮の互換性を確保するために、2段階アライメント機構を導入し、事前訓練されたモデルの特徴多様体とクライアント固有の特徴分布にAEを適応させる。
関連論文リスト
- LightSplit: Practical Privacy-Preserving Split Learning via Orthogonal Projections [54.51153206716027]
Split Learning(SL)は、ニューラルネットワークをクライアントと中央サーバに分割することで、協調的なトレーニングを可能にする。
カット層に軽量な固定ランダムプロジェクションを適用することにより,情報露出を制限し,通信オーバーヘッドを低減するLightSplitを提案する。
提案手法は, 伝送次元の最大32倍の精度で, 95%以上の精度を維持できることを示した。
論文 参考訳（メタデータ） (2026-05-13T09:45:49Z) - Why Should the Server Do It All?: A Scalable, Versatile, and Model-Agnostic Framework for Server-Light DNN Inference over Massively Distributed Clients via Training-Free Intermediate Feature Compression [6.932768187544348]
スプリットコンピューティングにおける通信負荷とサーバ負荷の両方を削減するためにIFを圧縮する、リトレーニングフリーでアーキテクチャに依存しないフレームワークであるSLICERを紹介した。
標準的なビジョンとLLMワークロード全体にわたって、SLICERはアップリンクボリュームを最大10倍、サーバGPU時間を最大4.4倍削減する。
論文 参考訳（メタデータ） (2025-11-03T08:44:13Z) - PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。
PT$2$-LLMを提案する。
その中核は2段精製パイプラインを備えた非対称3次量子化器である。
論文 参考訳（メタデータ） (2025-09-27T03:01:48Z) - CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks [57.95170323315603]
CollaPipeは、コラボレーティブパイプライン並列性とフェデレーションアグリゲーションを統合し、自己進化型ネットワークをサポートする分散学習フレームワークである。
CollaPipeでは、エンコーダ部分は可変サイズのセグメントに適応的に分割され、パイプライン並列トレーニングのためにモバイルデバイスにデプロイされ、デコーダは生成タスクを処理するためにエッジサーバにデプロイされる。
トレーニング効率を向上させるために,モデルセグメント,マイクロバッチ,帯域幅,送信電力を適応的に割り当てる共同最適化問題を定式化する。
論文 参考訳（メタデータ） (2025-09-24T07:54:01Z) - Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。
我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
論文 参考訳（メタデータ） (2025-06-30T02:56:11Z) - Fine-tuning Multimodal Transformers on Edge: A Parallel Split Learning Approach [1.297210402524609]
Split Learningは、指定されたカット層でモデルをパーティションして、計算集約的な操作をサーバにオフロードする。
本稿では,マルチモーダル変圧器を分散的に微調整する並列SL手法MPSLを提案する。
MPSLは軽量なクライアント側トークンライザと統一されたモダリティ非依存エンコーダを採用しており、タスク固有のニーズへの柔軟な適応を可能にしている。
論文 参考訳（メタデータ） (2025-02-10T11:10:41Z) - Federated Split Learning with Model Pruning and Gradient Quantization in Wireless Networks [7.439160287320074]
Federated split learning (FedSL)は、モデル分割によるエッジデバイスとサーバ間の協調トレーニングを実装している。
本稿では,リソース制約のあるエッジデバイスのトレーニング負担を軽減する軽量なFedSL方式を提案する。
提案手法の収束性能を定量化するために理論的解析を行う。
論文 参考訳（メタデータ） (2024-12-09T11:43:03Z) - SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。
初期経路では、中間出力は反冗長動作によって統合される。
遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文 参考訳（メタデータ） (2024-07-10T10:22:35Z) - Efficient Parallel Split Learning over Resource-constrained Wireless
Edge Networks [44.37047471448793]
本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。
そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。
提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
論文 参考訳（メタデータ） (2023-03-26T16:09:48Z) - Subspace based Federated Unlearning [75.90552823500633]
フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。
既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。
そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
論文 参考訳（メタデータ） (2023-02-24T04:29:44Z) - Communication and Storage Efficient Federated Split Learning [19.369076939064904]
Federated Split LearningはFLの並列モデルトレーニング原則を保存する。
サーバはクライアントごとに別々のモデルをメンテナンスしなければなりません。
本稿では,コミュニケーションと記憶の効率的なフェデレーションと分割学習戦略を提案する。
論文 参考訳（メタデータ） (2023-02-11T04:44:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。