Fugu-MT 論文翻訳(概要): ZeroLock: Concurrent Memory-Efficient LLM Training via Modular Update Decoupling

論文の概要: ZeroLock: Concurrent Memory-Efficient LLM Training via Modular Update Decoupling

arxiv url: http://arxiv.org/abs/2608.07974v1
Date: Sat, 08 Aug 2026 07:19:21 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-11 19:16:36.590211
Title: ZeroLock: Concurrent Memory-Efficient LLM Training via Modular Update Decoupling
Title（参考訳）: ZeroLock: モジュール更新デカップリングによる並行メモリ効率のLLMトレーニング
Abstract要約: 大規模言語モデル(LLM) エッジでの微調整は、プライバシを保ちながらシナリオ固有のデータにモデルを適応させる。我々は,ZeroLockと呼ばれるBPフリーなアルゴリズムを提案し,モデル更新を局所的な目的構成により独立なチャンク更新に分解する。 BPの更新ロックを壊し、アルゴリズムレベルでのスループットを改善し、アクティベーションストレージを減らすことでメモリ使用量を減らすことができる。
参考スコア（独自算出の注目度）: 12.056871725694371
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language model (LLM) fine-tuning at the edge adapts the model to scenario-specific data while preserving privacy. Although existing studies proposed pipeline parallelism to address the limited memory and computing resources of edge devices, they commonly rely on backpropagation (BP) training, which has a fundamental limitation of update locking and could experience severe throughput and memory bottlenecks. In this work, we propose a BP-free algorithm, called ZeroLock, that decouples the model updates into independent chunk updates by local objective construction. It breaks the update locking of BP and hence can improve throughput at the algorithm level and lower memory usage by reducing activation storage. To the best of our knowledge, we provide the first theoretical framework for such local objective construction-based approaches under general model chunk division by mapping local objectives to the global objective. We prove that ZeroLock has a convergence rate of $\tilde{\mathcal{O}}(1/\sqrt{T})$, which differs from BP only by polylogarithmic factors. We design a system for ZeroLock and build real-world prototypes, incorporating techniques such as early forwarding and failure recovery for efficient and robust implementation. Experiments on the prototype show that compared to BP-based baselines, ZeroLock reduces the memory by 26.5% and improves throughput by 4.9%.
Abstract（参考訳）: 大規模言語モデル(LLM) エッジでの微調整は、プライバシを保ちながらシナリオ固有のデータにモデルを適応させる。既存の研究では、エッジデバイスのメモリとコンピューティングリソースの制限に対処するためにパイプライン並列性を提案したが、一般的にはバックプロパゲーション(BP)トレーニングに依存しており、更新ロックの基本的な制限があり、スループットとメモリボトルネックが深刻になる可能性がある。本研究では,ZeroLockと呼ばれるBPフリーなアルゴリズムを提案し,モデル更新を局所的な目的構成により独立なチャンク更新に分解する。 BPの更新ロックを壊し、アルゴリズムレベルでのスループットを改善し、アクティベーションストレージを減らすことでメモリ使用量を減らすことができる。我々の知る限り、局所的な目的をグローバルな目的にマッピングすることで、一般モデルチャンク分割の下でのそのような局所的な目的構築に基づくアプローチのための最初の理論的枠組みを提供する。我々は、ZeroLock の収束速度が $\tilde{\mathcal{O}}(1/\sqrt{T})$ であることを証明する。我々はZeroLock用のシステムの設計と実世界のプロトタイプの構築を行い、高速かつ堅牢な実装のために早期フォワードや障害復旧といった手法を取り入れた。プロトタイプの実験では、BPベースのベースラインと比較して、ZeroLockはメモリを26.5%削減し、スループットを4.9%改善した。

関連論文リスト

OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond [50.440302567029654]
マルチモーダルインテリジェンスにより、Key-Valueキャッシュは効率的なデプロイメントのための主要なメモリボトルネックとなった。本研究では、チャネルごとの量子化パラダイムの本質的な限界を再考する。 X-LLMのための高精度かつ軽量なKVキャッシュ圧縮フレームワークOScaRを提案する。
論文参考訳（メタデータ） (2026-05-19T10:53:03Z)
Improving Sparse Memory Finetuning [6.491055956716639]
大規模言語モデル(LLM)は通常、トレーニング後に静的になるが、現実のアプリケーションは既存の能力を劣化させることなく、新しい知識への継続的な適応を必要とする。完全な微調整やパラメータ効率の手法のようなモデル更新の標準的なアプローチは、基本的なトレードオフに直面します。 Sparse Memory Finetuning (SMF)は、明示的なメモリ層内のパラメータの小さなサブセットにアップデートをローカライズすることで、有望な代替手段を提供する。
論文参考訳（メタデータ） (2026-04-06T23:16:10Z)
LoGeR: Long-Context Geometric Reconstruction with Hybrid Memory [97.14005794889134]
提案するLoGeRは,高密度な3次元再構成を,後最適化なしで極めて長いシーケンスに拡張する新しいアーキテクチャである。 LoGeRはビデオストリームをチャンクで処理し、高忠実度なチャンク内推論に強力な双方向の事前処理を活用する。このメモリアーキテクチャにより、LoGeRは128フレームのシーケンスでトレーニングでき、推論中に数千フレームまで一般化できる。
論文参考訳（メタデータ） (2026-03-03T18:55:37Z)
NextMem: Towards Latent Factual Memory for LLM-based Agents [58.35585202907478]
NextMemは、自動回帰型オートエンコーダを使用して、潜時メモリを効率的に構築する、潜時ファクトメモリフレームワークである。大規模な実験は、NextMemが優れたパフォーマンスを達成することを示す。
論文参考訳（メタデータ） (2026-02-26T14:35:27Z)
Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC [50.36542772932594]
Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
論文参考訳（メタデータ） (2026-02-18T13:41:41Z)
Memory-Efficient Acceleration of Block Low-Rank Foundation Models on Resource Constrained GPUs [11.45717904490388]
トランスフォーマーベースの基盤モデルの最近の進歩は、多くのタスクのデフォルト選択となった。その急速に成長するサイズは、単一のGPUに完全なモデルを適合させることがますます難しくなり、計算コストが禁じられる。ブロック低ランク(BLR)圧縮技術は、重み行列のコンパクト表現を学習することでこの問題に対処する。
論文参考訳（メタデータ） (2025-12-24T00:41:13Z)
Block Sparse Flash Attention [29.499030734003952]
Block-Sparse FlashAttentionはFlashAttentionの代替になる。クエリキーの正確な類似性を計算し、クエリ毎に最上位の最も重要な値ブロックを選択する。実世界の推論ベンチマークで最大1.10倍のスピードアップを実現し、最大1.24倍のニードル・イン・ア・ヘイスタック検索タスクを実現している。
論文参考訳（メタデータ） (2025-12-07T21:20:12Z)
MOFHEI: Model Optimizing Framework for Fast and Efficient Homomorphically Encrypted Neural Network Inference [0.8388591755871735]
ホモモルフィック暗号化(HE)により、暗号化データ上で機械学習タスクを実行できる。 HEに基づくニューラルネットワーク推論を高速かつ効率的にするためのモデルを最適化するフレームワークであるMOFHEIを提案する。このフレームワークはLeNet上で最大98%のプルーニング比を実現し,PI実行に必要なHE操作の最大93%を排除した。
論文参考訳（メタデータ） (2024-12-10T22:44:54Z)
PriRoAgg: Achieving Robust Model Aggregation with Minimum Privacy Leakage for Federated Learning [49.916365792036636]
フェデレートラーニング(FL)は、大規模分散ユーザデータを活用する可能性から、最近大きな勢いを増している。送信されたモデル更新は、センシティブなユーザ情報をリークする可能性があり、ローカルなトレーニングプロセスの集中的な制御の欠如は、モデル更新に対する悪意のある操作の影響を受けやすいグローバルモデルを残します。我々は、Lagrange符号化計算と分散ゼロ知識証明を利用した汎用フレームワークPriRoAggを開発し、集約されたプライバシを満たすとともに、幅広いロバストな集約アルゴリズムを実行する。
論文参考訳（メタデータ） (2024-07-12T03:18:08Z)
Unlocking Deep Learning: A BP-Free Approach for Parallel Block-Wise Training of Neural Networks [9.718519843862937]
ブロックワイズBPフリー(BWBPF)ニューラルネットワークを導入し、局所誤差信号を利用してサブニューラルネットワークを個別に最適化する。実験結果から,VGGとResNetのバラツキに対して,トランスファー可能な疎結合アーキテクチャを同定できることがわかった。
論文参考訳（メタデータ） (2023-12-20T08:02:33Z)
Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
論文参考訳（メタデータ） (2021-01-18T07:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。