論文の概要: Training Specialist LLMs on Your Phone: Forward-Only Optimization via Block-Spectral Coordinates

• arxiv url: http://arxiv.org/abs/2611.04797v1
• Date: Tue, 03 Nov 2026 12:32:03 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:58:42.608483
• Title: Training Specialist LLMs on Your Phone: Forward-Only Optimization via Block-Spectral Coordinates
• Title（参考訳）: スマートフォン上でのトレーニングスペシャリストのLSM:ブロックスペクトル座標によるフォワードオンリー最適化
• Abstract要約: 我々は、フォワードパスだけで専門家を訓練し、自動的にチェックされたタスク結果から学習するシステムMobileSpecを提案する。 MobileSpecのコアアルゴリズムであるFuRA-Sは、事前訓練された重みのブロックスペクトル座標のみを訓練しながら、そのような摂動を生成する。 MobileSpecは、携帯電話の使用率を6-23%から89-100%に引き上げ、iPhone 16 Proでパーソナライズされた8Bモデルを一晩で訓練する。
• 参考スコア（独自算出の注目度）: 6.83627098365601
• License:
• Abstract: Large language models (LLMs) on personal devices keep user data local, but limited memory restricts their general capability. Since most user-specific tasks do not require the breadth of frontier models, a practical solution is to adapt a shared on-device model into lightweight specialists. However, backpropagation is prohibitive in memory, and users rarely provide labeled data. We present MobileSpec, a system that trains specialists with forward passes alone and learns from automatically checked task outcomes, as in reinforcement learning with verifiable rewards (RLVR). Because forward-only updates are built from random perturbations, training is efficient only when these perturbations resemble the weight changes of RLVR, which largely preserve the singular values of pretrained weights and rotate their singular vectors. The core algorithm of MobileSpec, FuRA-S, produces such perturbations while training only the block-spectral coordinates of pretrained weights, namely the singular values of their column blocks. As we show theoretically and empirically, rescaling these blocks independently shifts their relative contributions to each weight matrix and thereby rotates its singular vectors. Since this update can be rewritten as a transformation of the layer input, FuRA-S also adapts INT4 models without modifying their weights. With specialists of only 1-5 MB that update 0.015-0.05% of the parameters, MobileSpec raises the success rate of a phone-use agent from 6-23% up to 89-100% and trains a personalized 8B model on an iPhone 16 Pro overnight. On RLVR benchmarks, FuRA-S is competitive with full-parameter evolution strategies (ES) and outperforms ES over LoRA adapters and quantized ES on INT4 models.
• Abstract（参考訳）: パーソナルデバイス上の大規模言語モデル(LLM)は、ユーザデータをローカルに保持するが、メモリの制限により一般的な能力は制限される。 ほとんどのユーザ固有のタスクはフロンティアモデルの幅を必要としないため、実際の解決策は、共有オンデバイスモデルを軽量なスペシャリストに適応させることである。 しかし、バックプロパゲーションはメモリ内で禁止されており、ユーザはラベル付きデータをほとんど提供しない。 提案するMobileSpecは,受験報酬による強化学習(RLVR)のように,フォワードパスだけで専門家を訓練し,自動的にチェックされたタスク結果から学習するシステムである。 前方のみの更新はランダムな摂動から構築されるため、これらの摂動がRLVRの重み変化と似ている場合に限り、トレーニングは効率的である。 MobileSpecのコアアルゴリズムであるFuRA-Sは、事前訓練された重みのブロックスペクトル座標、すなわち列ブロックの特異値のみを訓練しながら、そのような摂動を生成する。 理論的、実験的に示すように、これらのブロックの再スケーリングはそれぞれの重み行列に対する相対的寄与を独立にシフトさせ、したがって特異ベクトルを回転させる。 この更新は層入力の変換として書き換えられるため、FuRA-Sは重量を変更することなくINT4モデルを適応する。 パラメータの0.015～0.05%を更新する1～5MBのスペシャリストしかいないMobileSpecは、電話使用エージェントの成功率を6～23%から89～100%に引き上げ、iPhone 16 Proでパーソナライズされた8Bモデルを一晩で訓練する。 RLVRベンチマークでは、FuRA-Sは全パラメータ進化戦略(ES)と競合し、LORAアダプタよりもESを上回り、INT4モデルでは量子ESを上回ります。

関連論文リスト

• First-Order LoRA Training with Phone NPUs [37.268314039673186]
  ファインチューニングにより、大きな言語モデル(LLM)は、アップロードせずにユーザのプライベートデータから学習することができる。 携帯電話のニューラル処理ユニット(NPU)は、推論のためにこれらの重みをすでに保持している。 トレーニンググラフとアダプタをCPU上に保持しながら,NPU上で3つのフリーズ製品のすべてを動作させるシステムを提案する。
  論文  参考訳（メタデータ） (2026-10-17T18:49:37Z)
• Machine Unlearning in Low-Dimensional Feature Subspace [47.517520054804976]
  マシン・アンラーニング(MU)は、訓練済みモデルから特定のデータの影響を取り除き、残りのデータのパフォーマンスを維持することを目的としている。 本研究では,低次元特徴部分空間にMUの新たな視点を提示し,残余と忘れるデータを分離する可能性をもたらす。 この分離性は、事前訓練されたモデルスキスルー主射影からLOW次元のFeaTure部分空間で学習を進める方法であるLOFTを動機付けている。
  論文  参考訳（メタデータ） (2026-01-30T01:58:38Z)
• Gradient Inversion Attacks on Parameter-Efficient Fine-Tuning [25.434223317282274]
  フェデレートラーニング(FL)は、複数のデータ所有者が局所的な勾配を交換することで、機械学習モデルを協調的にトレーニングすることを可能にする。 近年,大規模事前学習モデルのパラメータ効率細調整(PEFT)がFLにおいて顕著に注目されている。 本研究では,ユーザの微調整データのプライバシを,事前訓練されたモデルとトレーニング可能なアダプタモジュールの悪意ある設計により妥協する方法について検討する。
  論文  参考訳（メタデータ） (2025-06-04T21:14:21Z)
• AutoHete: An Automatic and Efficient Heterogeneous Training System for LLMs [68.99086112477565]
  トランスフォーマーベースの大規模言語モデル(LLM)は、シーケンスモデリングやテキスト生成において例外的な機能を示した。 既存の異種トレーニング手法は、トレーニング可能なモデルの規模を大幅に拡大するが、かなりの通信オーバーヘッドとCPUワークロードを導入している。 本稿では,シングルGPU環境とマルチGPU環境の両方に互換性のある,自動的で効率的なヘテロジニアストレーニングシステムであるAutoHeteを提案する。
  論文  参考訳（メタデータ） (2025-02-27T14:46:22Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Tracking Meets LoRA: Faster Training, Larger Model, Stronger Performance [87.19164603145056]
  実験室レベルの資源をトラッキングするための大規模ViTモデルのパワーを明らかにする手法であるLoRATを提案する。 私たちの作業の本質は、推論レイテンシを追加することなく、モデルパラメータの小さなサブセットを微調整するテクニックであるLoRAを適用することです。 我々はPETRの適応のみに基づくアンカーフリーヘッドを設計し、計算オーバーヘッドを少なくして性能を向上する。
  論文  参考訳（メタデータ） (2024-03-08T11:41:48Z)
• Reducing Impacts of System Heterogeneity in Federated Learning using Weight Update Magnitudes [0.0]
  フェデレートされた学習により、機械学習モデルでは、各ハンドヘルドデバイス上でローカルにトレーニングできると同時に、ニューロンのアップデートをサーバと同期するのみである。 その結果、フェデレーション学習タスクのトレーニング時間は、いくつかの低パフォーマンスストラグラーデバイスによって予測される。 本研究では,その性能と精度のフィードバックに基づいて,トラグラーのサブモデルを動的に形成することにより,フェデレーション学習の性能ボトルネックを軽減することを目的とする。
  論文  参考訳（メタデータ） (2022-08-30T00:39:06Z)
• Federated Split GANs [12.007429155505767]
  ユーザデバイス自体でMLモデルをトレーニングするための代替手法を提案する。 我々は、GAN(ジェネレーティブ・逆境ネットワーク)に注目し、その固有のプライバシー保護属性を活用する。 我々のシステムはデータのプライバシを保ち、短時間のトレーニング時間を保ち、制約のないデバイスで同じ精度でモデルトレーニングを行う。
  論文  参考訳（メタデータ） (2022-07-04T23:53:47Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。