論文の概要: First-Order LoRA Training with Phone NPUs

• arxiv url: http://arxiv.org/abs/2610.24816v1
• Date: Sat, 17 Oct 2026 18:49:37 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:56:47.951581
• Title: First-Order LoRA Training with Phone NPUs
• Title（参考訳）: 電話NPUを用いた第1次LORA訓練
• Abstract要約: ファインチューニングにより、大きな言語モデル(LLM)は、アップロードせずにユーザのプライベートデータから学習することができる。 携帯電話のニューラル処理ユニット(NPU)は、推論のためにこれらの重みをすでに保持している。 トレーニンググラフとアダプタをCPU上に保持しながら,NPU上で3つのフリーズ製品のすべてを動作させるシステムを提案する。
• 参考スコア（独自算出の注目度）: 37.268314039673186
• License:
• Abstract: On-device fine-tuning lets a large language model (LLM) learn from its user's private data without uploading it. Low-rank adaptation (LoRA) reduces the trainable parameters, but each first-order training step still multiplies by the frozen base-model weights during the forward pass, activation recomputation, and input-gradient computation. A phone's neural processing unit (NPU) already holds these weights for inference; using it for training also requires computing input gradients, which its inference interface does not support. We present a system that runs all three frozen-weight products on the NPU while keeping the training graph, adapters, and optimizer on the CPU. Its input-gradient kernels reuse the resident weight tiles and the forward dequantizer, avoiding a transposed weight copy and ensuring forward and backward use the same effective weights. To preserve usable gradients, the system selects precision by gradient sensitivity and applies a per-row range guard for half-precision (FP16) outputs. Its runtime fuses the remaining CPU operators and overlaps NPU execution with adapter computation, while resumable execution and thermal pacing let training proceed as a background job. We evaluate it on two Qualcomm Snapdragon platforms using four LLMs from the Qwen and Llama families. Our workloads cover nightly personalization with labels supplied on the phone and the public LaMP-2 benchmark; comparisons include an optimized CPU trainer, a phone-GPU trainer, forward-only training, and GPU-trained references.
• Abstract（参考訳）: デバイス上での微調整により、大きな言語モデル(LLM)は、アップロードせずにユーザのプライベートデータから学習することができる。 ローランク適応(LoRA)はトレーニング可能なパラメータを減少させるが、各1階のトレーニングステップは、フォワードパス中の凍結ベースモデルの重み、アクティベーション再計算、入力勾配計算によって乗算される。 スマートフォンのニューラル処理ユニット(NPU)は、推論のためにこれらの重みをすでに保持しており、トレーニングに使用するには、推論インターフェースがサポートしていない入力勾配の計算も必要である。 トレーニンググラフ,アダプタ,オプティマイザをCPU上に保持しながら,NPU上で3つの凍結重量製品すべてを実行するシステムを提案する。 インプットグラディエントカーネルは、固定重量タイルと前方減量器を再利用し、トランスポーズされた重量コピーを回避し、同じ有効重量を前後に確実に使用する。 使用可能な勾配を維持するため、勾配感度で精度を選択し、半精度(FP16)出力にローあたりのレンジガードを適用する。 そのランタイムは、残りのCPUオペレータを融合させ、NPU実行とアダプタ計算を重複させ、再利用可能な実行とサーマルペーシングは、トレーニングをバックグラウンドジョブとして進める。 Qwen と Llama の4つの LLM を用いて,Qualcomm Snapdragon プラットフォーム上で評価を行った。 当社のワークロードは、電話やLaMP-2ベンチマークで提供されるラベルによる夜間のパーソナライズをカバーしています。

関連論文リスト

• Context-Aware Mixture-of-Experts Inference on CXL-Enabled GPU-NDP Systems [13.222990686403962]
  Mixture-of-Experts (MoE)モデルは、条件付き計算によって大きな言語モデルをスケールするが、専門家の重みがGPUメモリの容量を超えると、推論はメモリバウンドになる。 我々は,CXL-attached near-data Processing (CXL-NDP) をオフロード層として採用し,コールドエキスパートを現場で実行することでこの問題に対処する。 本システムでは,プリフィルステージアクティベーション統計を用いて,デコードステージのエキスパート配置をガイドする。
  論文  参考訳（メタデータ） (2025-12-04T05:30:53Z)
• PaCA: Partial Connection Adaptation for Efficient Fine-Tuning [11.379377511067732]
  モデルにアダプタ層を導入する代わりに、事前訓練した重み内でランダムに選択された部分接続を微調整するPAAを提案する。 LoRAと比較して、PaCAはトレーニング時間を22%削減し、メモリ使用量は16%削減した。
  論文  参考訳（メタデータ） (2025-02-28T13:30:10Z)
• Stepping Forward on the Last Mile [8.756033984943178]
  本稿では,バックプロパゲーションと比較してメモリフットプリントと精度のギャップを低減させるアルゴリズムの一連の拡張を提案する。 その結果、エッジデバイス上でのモデルカスタマイズの最後のマイルでは、固定点前方勾配によるトレーニングが実現可能で実践的なアプローチであることが示されている。
  論文  参考訳（メタデータ） (2024-11-06T16:33:21Z)
• LoQT: Low-Rank Adapters for Quantized Pretraining [5.767156832161818]
  Low-Rank Adapters for Quantized Training (LoQT) は、量子化モデルの効率的なトレーニング方法である。 我々のアプローチは、事前学習モデルと微調整モデルの両方に適しています。 言語モデリングとダウンストリームタスク適応において,LoQTが最大7Bパラメータを24GBのGPU上で効率的にトレーニングできることを実証する。
  論文  参考訳（メタデータ） (2024-05-26T11:29:57Z)
• Enabling High-Sparsity Foundational Llama Models with Efficient Pretraining and Deployment [56.44025052765861]
  大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、そのサイズは計算のボトルネックを生み出している。 そこで本研究では,高性能LLMの高精度かつ疎結合な基本バージョンを作成するための新しいアプローチを提案する。 スパース量子化LLaMAの最大8.6倍のCPU上での総高速化を示す。
  論文  参考訳（メタデータ） (2024-05-06T16:03:32Z)
• Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
  フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
  論文  参考訳（メタデータ） (2023-12-23T07:47:07Z)
• QUIK: Towards End-to-End 4-Bit Inference on Generative Large Language Models [57.04178959678024]
  重み付けとアクティベーションの両方を4ビットにキャストすることで、大きな生成モデルに対する推論計算の大部分が実行可能であることを示す。 これをQUIKと呼ばれるハイブリッド量子化戦略により実現し、重みとアクティベーションの大部分を4ビットに圧縮する。 我々は、QUIKフォーマットを高効率なレイヤワイドランタイムに適合させるGPUカーネルを提供し、これにより、エンドツーエンドのスループットが3.4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-13T17:15:05Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。