論文の概要: Heirloom: Carrying a Phone's Personalization Across Base-Model Generations

• arxiv url: http://arxiv.org/abs/2611.00650v1
• Date: Sat, 31 Oct 2026 05:26:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.423199
• Title: Heirloom: Carrying a Phone's Personalization Across Base-Model Generations
• Title（参考訳）: Heirloom:携帯電話のパーソナライズをベースモデルで行う
• Abstract要約: オンデバイス言語モデルは、プライベートデータでトレーニングされたアダプタを通じて、ユーザの好みを学習することができる。 ベースモデルのアップグレードはレイヤや語彙を変更し、パーソナルアダプタとの互換性を保ったままにすることができる。 ラベルを残さずに携帯上の新しいベースモデルにパーソナルアダプタを転送するシステムであるHeirloomを提案する。
• 参考スコア（独自算出の注目度）: 24.262941570242504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-device language models can learn a user's preferences through adapters trained on private data. However, a base-model upgrade may change the layers or vocabulary, leaving the personal adapter incompatible. Replacing it with a non-personal adapter loses much of the personalization, while retraining requires retaining the user's labeled history. We present Heirloom, a system that transfers a personal adapter to a new base model on the phone without retaining labels. Heirloom uses the old personal model as a teacher, collecting its predictions on stored unlabeled inputs, vendor-provided prompts, or prompts generated by the new base. It then unloads the old base and trains an adapter for the new model to match those predictions, keeping only one base model in memory at a time. We evaluate Heirloom across three generation upgrades from two model families, an architecture-preserving refresh, and three personalization tasks. On movie tagging, migration from stored inputs maintains pre-upgrade accuracy and differs from labeled retraining by at most 1.7 percentage points across the three upgrades. On a phone's neural processing unit (NPU), a fixed-length migration for the 4B upgrade takes 38 minutes and consumes 20% of the battery end to end, making the stored-input setting feasible during overnight charging.
• Abstract（参考訳）: オンデバイス言語モデルは、プライベートデータでトレーニングされたアダプタを通じて、ユーザの好みを学習することができる。 しかし、ベースモデルのアップグレードによって層や語彙が変化し、パーソナルアダプタは互換性がなくなる可能性がある。 非パーソナルアダプタで置き換えると、パーソナライズの大部分を失うが、リトレーニングでは、ユーザのラベル付き履歴を保持する必要がある。 ラベルを残さずに携帯上の新しいベースモデルにパーソナルアダプタを転送するシステムであるHeirloomを提案する。 Heirloomは、古いパーソナルモデルを教師として使用し、保存されているラベルなしの入力、ベンダーが提供するプロンプト、あるいは新しいベースによって生成されたプロンプトの予測を収集する。 その後、古いベースをアンロードし、これらの予測に合うように新しいモデルのアダプタをトレーニングし、一度に1つのベースモデルだけをメモリに保持する。 2つのモデルファミリー、アーキテクチャ保存リフレッシュ、3つのパーソナライズタスクの3世代にわたるHeirloomの評価を行った。 映画のタグ付けでは、ストアドインプットからのマイグレーションは事前アップグレードの精度を維持し、3つのアップグレードで少なくとも1.7%のポイントのラベル付き再トレーニングとは異なる。 スマートフォンのニューラル処理ユニット(NPU)では、4Bアップグレードのための固定長マイグレーションは38分かかり、バッテリーの20%を終端まで消費する。

関連論文リスト

• Fine-Tuning a 3B-Parameter LLM on a Smartphone: Characterizing Sustained Training [8.631980587350848]
  オンデバイスファインチューニングは、現在の携帯電話で実現可能である。 AppleのMLXにはカーネルがあり、そのカーネルは一度も発行されず、間違っていたため、我々の修理は上流にマージされ、第3のエネルギーでアダプタを1.47倍速く訓練した。
  論文  参考訳（メタデータ） (2026-10-05T13:37:13Z)
• UpgradeBench: A Decision-Centric Benchmark for Upgrading Fine-Tuned LLM Specialists [10.23869027501654]
  4つの連続したQwenリリースをカバーする決定駆動型縦断ベンチマークであるUpgradeを提示する。 アップグレードは、新しいチェックポイントが、固定準備された専門家のパフォーマンスを改善するかどうか、バージョン間での資産移動、そして、リカバリリソースが使用可能なものかどうか、という3つの中核的な疑問を解消する。
  論文  参考訳（メタデータ） (2026-08-21T09:37:47Z)
• Evolve: A Persistent Knowledge Lifecycle for Small Language Models [0.0]
  Evolveは、小さなローカル言語モデルと、永続的で教師がコンパイルしたナレッジストアをペアリングする。 新たなセクションは、取得、教師によるマージによる統合オフライン、期限切れ時のインライン更新に設定されている。 統合後、知識ストアは3つの独立したベンチマークで31-33.5%圧縮され、精度は維持される。
  論文  参考訳（メタデータ） (2026-04-25T19:39:21Z)
• How much do language models memorize? [104.22411031699127]
  我々は暗記を意図しない暗記と一般化の2つの構成要素に分けた。 サイズが大きくなるデータセット上で言語モデルをトレーニングし、そのキャパシティが満たされるまでモデルを記憶していることを観察する。 モデルキャパシティとデータサイズとメンバシップ推論に関する一連のスケーリング法則を作成した。
  論文  参考訳（メタデータ） (2025-05-30T17:34:03Z)
• Update Your Transformer to the Latest Release: Re-Basin of Task Vectors [27.63078324151366]
  ファウンデーションモデルは、微調整によって開発された多数の特殊モデルのバックボーンとして機能する。 基礎となる事前訓練されたモデルを更新または再訓練すると、微調整されたモデルは時代遅れになる。 モデルの新しいリリースに微調整を転送することは可能ですか? 本研究では,データフリーで再学習することなく,新たなチェックポイントに微調整を移す方法について検討する。
  論文  参考訳（メタデータ） (2025-05-28T13:55:12Z)
• RE-Adapt: Reverse Engineered Adaptation of Large Language Models [37.969478059005574]
  既存の命令チューニングを劣化させることなく、新しいドメイン上で大きな言語モデルを微調整するアプローチであるRE-Adaptを導入する。 我々は、命令チューニングされたモデルが学習したことを、対応する事前学習ベースモデルを超えて分離するアダプタをリバースエンジニアリングする。 すると、新しいドメインのベースモデルを微調整して、リバースエンジニアリングされたアダプタで命令の順に読み込むことができます。
  論文  参考訳（メタデータ） (2024-05-23T19:23:40Z)
• Arithmetic-Based Pretraining -- Improving Numeracy of Pretrained Language Models [67.48894919842576]
  最先端の事前訓練された言語モデルは、数式を必要とするタスクにアウト・オブ・ボックスを適用すると、その能力より劣る傾向にある。 本稿では,Arithmetic-Based Pretrainingと呼ばれる拡張事前学習手法を提案する。 本実験は,算数性の向上を必要とする3つのタスクにおいて,算術的事前学習の有効性を示す。
  論文  参考訳（メタデータ） (2022-05-13T16:10:13Z)
• Forward Compatible Training for Representation Learning [53.300192863727226]
  後方互換トレーニング(BCT)は、新しいモデルのトレーニングを変更して、その表現を古いモデルのトレーニングと互換性を持たせる。 BCTは新しいモデルの性能を著しく損なう可能性がある。 本研究では,表現学習のための新しい学習パラダイムである,前方互換学習(FCT)を提案する。
  論文  参考訳（メタデータ） (2021-12-06T06:18:54Z)
• bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
  本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。 bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
  論文  参考訳（メタデータ） (2021-10-14T04:05:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。