論文の概要: Fine-Tuning a 3B-Parameter LLM on a Smartphone: Characterizing Sustained Training

• arxiv url: http://arxiv.org/abs/2610.06325v1
• Date: Mon, 05 Oct 2026 13:37:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 09:09:23.341158
• Title: Fine-Tuning a 3B-Parameter LLM on a Smartphone: Characterizing Sustained Training
• Title（参考訳）: スマートフォンによる3BパラメータLDMの微調整:持続的トレーニングを特徴付ける
• Abstract要約: オンデバイスファインチューニングは、現在の携帯電話で実現可能である。 AppleのMLXにはカーネルがあり、そのカーネルは一度も発行されず、間違っていたため、我々の修理は上流にマージされ、第3のエネルギーでアダプタを1.47倍速く訓練した。
• 参考スコア（独自算出の注目度）: 8.631980587350848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-billion-parameter LLMs now run on phones for inference, and training them on the device would personalize them without user data leaving the phone. Prior work has measured individual training steps of such models on phones, but not complete training runs, and not whether adapters trained on the device improve personalization. We present the first systematic characterization of a multi-billion-parameter LLM fine-tuned on a mobile device, covering memory, per-step time, thermal behavior, and energy. An iPhone 17 Pro can fine-tune a 3B-parameter LLM to a typical user within one battery charge, and the resulting adapters improve personalization as much as adapters trained on a server. Sustained training throttles the phone to about half its initial throughput, and none of the pausing or burst schedules we tested recovers it. Nearly all of each training step is spent in the frozen base model, most of it in the backward pass, which nine of the ten other runtimes we audited do not accelerate. Apple's MLX had a kernel for it that was never dispatched and was incorrect, and our repair, now merged upstream, trains an adapter 1.47x faster on a third less energy. On-device fine-tuning is feasible on current phones, and making it efficient requires runtimes and operating systems to treat training as a first-class workload.
• Abstract（参考訳）: マルチビリオンパラメータのLSMは、推測のために携帯電話上で動作し、デバイス上でそれらを訓練すると、ユーザーデータが携帯電話を離れることなく個人化できる。 これまでの研究は、携帯電話上でそのようなモデルの個別のトレーニングステップを測定していたが、完全なトレーニング実行は行わず、デバイスでトレーニングされたアダプタがパーソナライズを改善するかどうかを判断した。 本報告では,移動体に微細構造を施したマルチビリオンパラメータLDMの,メモリ,ステップ単位の時間,熱的挙動,エネルギーを考慮した最初の体系的特性について述べる。 iPhone 17 Proは、通常のユーザーに対して1回のバッテリー充電で3BパラメータLSMを微調整することができ、その結果のアダプタは、サーバー上で訓練されたアダプタと同じくらい、パーソナライズを改善する。 持続的なトレーニングは、最初のスループットを約半分に制限し、私たちがテストした待ち時間やバーストスケジュールが回復しません。 ほぼすべてのトレーニングステップは、凍結されたベースモデルに費やされていますが、そのほとんどは、私たちが監査した10のランタイムのうち9つが加速していません。 AppleのMLXにはカーネルがあり、そのカーネルは一度も発行されず、間違っていたため、我々の修理は上流にマージされ、第3のエネルギーでアダプタを1.47倍速く訓練した。 オンデバイスファインチューニングは現行の携帯電話で実現可能であり、実行時やオペレーティングシステムがトレーニングを第一級のワークロードとして扱う必要がある。

関連論文リスト

• Learning, Fast and Slow: Towards LLMs That Adapt Continually [83.9214051113102]
  大規模言語モデル(LLM)は、パラメータを更新することで下流タスクのために訓練される。 高速スロートレーニング(FST)は、推論タスクのスローラーニング(RL)よりも最大3倍のサンプリング効率を持つ。
  論文  参考訳（メタデータ） (2026-05-12T17:58:20Z)
• MobiEdit: Resource-efficient Knowledge Editing for Personalized On-device LLMs [13.13698052973486]
  大型言語モデル(LLM)は、インテリジェントアシスタントのようなキラーアプリケーションを動かすためにモバイルデバイスにデプロイされる。 知識編集は、一般的な知識を損なうことなく、モデルの重みのごく一部を特定し調整することで、この問題に対処します。 我々は,商用オフザシェルフ(COTS)モバイルデバイス上で,効率的なLCMパーソナライズを可能にする,最初のモバイル知識編集フレームワークであるMobiEditを紹介する。
  論文  参考訳（メタデータ） (2025-06-05T03:02:32Z)
• Gradient Inversion Attacks on Parameter-Efficient Fine-Tuning [25.434223317282274]
  フェデレートラーニング(FL)は、複数のデータ所有者が局所的な勾配を交換することで、機械学習モデルを協調的にトレーニングすることを可能にする。 近年,大規模事前学習モデルのパラメータ効率細調整(PEFT)がFLにおいて顕著に注目されている。 本研究では,ユーザの微調整データのプライバシを,事前訓練されたモデルとトレーニング可能なアダプタモジュールの悪意ある設計により妥協する方法について検討する。
  論文  参考訳（メタデータ） (2025-06-04T21:14:21Z)
• AutoHete: An Automatic and Efficient Heterogeneous Training System for LLMs [68.99086112477565]
  トランスフォーマーベースの大規模言語モデル(LLM)は、シーケンスモデリングやテキスト生成において例外的な機能を示した。 既存の異種トレーニング手法は、トレーニング可能なモデルの規模を大幅に拡大するが、かなりの通信オーバーヘッドとCPUワークロードを導入している。 本稿では,シングルGPU環境とマルチGPU環境の両方に互換性のある,自動的で効率的なヘテロジニアストレーニングシステムであるAutoHeteを提案する。
  論文  参考訳（メタデータ） (2025-02-27T14:46:22Z)
• Instruction Pre-Training: Language Models are Supervised Multitask Learners [115.95022434390181]
  本稿では,事前学習言語モデル(LM)に対して,命令応答対を用いた大規模生コーパスを付加するフレームワークを提案する。 実験では,40以上のタスクカテゴリをカバーする2億の命令応答ペアを合成し,インストラクション事前学習の有効性を検証する。
  論文  参考訳（メタデータ） (2024-06-20T16:55:33Z)
• ProTrain: Efficient LLM Training via Memory-Aware Techniques [18.30799115938978]
  本稿では,メモリ,計算,IOの調整によってメモリ使用量と性能のバランスをとる新しいトレーニングシステムであるProTrainを提案する。 ProTrainは、SOTAのトレーニングシステムと比較して、トレーニングのスループットを1.43$times$から2.71$timesに改善する。
  論文  参考訳（メタデータ） (2024-06-12T15:40:06Z)
• Time-, Memory- and Parameter-Efficient Visual Adaptation [75.28557015773217]
  バックボーンを介して勾配をバックプロパゲートしない適応法を提案する。 凍結した、事前訓練されたバックボーンの機能を利用する軽量ネットワークを並列に設計することで、これを実現する。
  論文  参考訳（メタデータ） (2024-02-05T10:55:47Z)
• Confidant: Customizing Transformer-based LLMs via Collaborative Edge Training [18.526329975259483]
  トランスフォーマーベースの大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて印象的な機能を示している。 コンピューティング、メモリ、エネルギー予算に制限のあるモバイルエッジデバイスにLSMをデプロイし、微調整することは困難である。 我々は,コモディティモバイルデバイス上での最先端のLCMをカスタマイズするためのマルチバックエンド協調学習フレームワークであるConfidantを提案する。
  論文  参考訳（メタデータ） (2023-11-22T13:20:59Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。