論文の概要: Continual Learning for Sequential Personalization of Small Language Models: A Stability Monitoring Analysis
- arxiv url: http://arxiv.org/abs/2606.27634v1
- Date: Fri, 26 Jun 2026 01:16:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-29 18:24:25.348133
- Title: Continual Learning for Sequential Personalization of Small Language Models: A Stability Monitoring Analysis
- Title(参考訳): 小言語モデルの逐次パーソナライズのための連続学習:安定性モニタリング分析
- Abstract要約: 小型言語モデル(SLM)は、ノートパソコンなどのエッジデバイスへのデプロイメントにおいて、ますます検討されている。
パーソナライゼーションは、時間をかけてユーザやタスク固有のデータに適応し、継続的な学習環境に配置するモデルを必要とする。
TRACEなどの最近のベンチマークでは、連続的な微調整は、整列した大言語モデルの一般的な能力を著しく低下させることができることが示されている。
- 参考スコア(独自算出の注目度): 1.6516902135723865
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Small Language Models (SLMs) are increasingly being considered for deployment on edge devices such as laptops, enabling private, low-latency, and locally personalized applications. However, personalization requires models to adapt over time to evolving user- or task-specific data, placing them in a continual learning setting. This creates the risk of catastrophic forgetting, where learning new information degrades performance on previously learned tasks or broader model capabilities. Recent benchmarks such as TRACE have shown that continual fine-tuning can significantly degrade the general abilities of aligned large language models. In this work, we present a study for sequential LoRA personalization of SLMs. We save model checkpoints after each adaptation stage and evaluate them on current tasks, previously seen tasks, and a fixed reference set. This checkpoint-level protocol enables us to monitor task performance, forgetting, and reference set drift over time. We show that lightweight reference set distributional diagnostics can reveal model-specific instability patterns during sequential LoRA personalization of SLMs, including cases where task-level metrics alone hide harmful adaptation. We hope this can highlight new research avenues for monitoring stability of SLMs in a continual learning setting.
- Abstract(参考訳): 小型言語モデル(SLM)は、ノートパソコンなどのエッジデバイスへのデプロイにおいて、プライベート、低レイテンシ、ローカルパーソナライズされたアプリケーションを可能にするものとして、ますます検討されている。
しかしパーソナライズには、時間をかけてユーザやタスク固有のデータに適応し、継続的な学習環境に配置する必要がある。
これは破滅的な忘れのリスクを生じさせ、新しい情報を学ぶことで、以前に学んだタスクやより広範なモデル能力のパフォーマンスが低下する。
TRACEなどの最近のベンチマークでは、連続的な微調整は、整列した大言語モデルの一般的な能力を著しく低下させることができることが示されている。
本稿では,SLMの逐次LoRAパーソナライズに関する研究について述べる。
適応段階の後にモデルチェックポイントを保存し、現在のタスク、以前見られたタスク、固定参照セットで評価する。
このチェックポイントレベルのプロトコルは、タスクのパフォーマンス、忘れ、参照セットのドリフトを時間とともに監視することを可能にする。
課題レベルの指標だけで有害適応を隠蔽するケースを含む,SLMの逐次LoRAパーソナライゼーションにおけるモデル固有の不安定パターンを明らかにすることができることを示す。
継続的な学習環境において,SLMの安定性をモニタリングするための新たな研究方法が注目されることを願っている。
関連論文リスト
- Learning with Preserving for Continual Multitask Learning [4.847042727427382]
タスク出力の保存から共有表現空間の維持に焦点を移す新しいフレームワークであるLawP(Learning with Preserving)を紹介した。
LwPは破滅的な忘れを緩和するだけでなく、CMTLタスクにおける最先端のベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2025-11-11T22:23:20Z) - Personalized Vision via Visual In-Context Learning [62.85784251383279]
パーソナライズされた視覚のためのビジュアル・イン・コンテキスト・ラーニング・フレームワークを提案する。
PICOは基盤となる変換を推測し、再トレーニングせずに新しい入力に適用する。
また,効率的な推論スケーリングによる信頼性向上を目的とした注意誘導型シードスコアラを提案する。
論文 参考訳(メタデータ) (2025-09-29T17:58:45Z) - Continual Learning for VLMs: A Survey and Taxonomy Beyond Forgetting [70.83781268763215]
視覚言語モデル(VLM)は、大規模事前学習を活用することで、多様なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。
VLMは、クロスモーダル機能ドリフト、共有アーキテクチャによるパラメータ干渉、ゼロショット機能侵食など、ユニークな課題に直面している。
本調査は、生涯の視覚言語システムを開発する研究者にとって、包括的かつ診断的な基準となることを目的としている。
論文 参考訳(メタデータ) (2025-08-06T09:03:10Z) - Sculpting Subspaces: Constrained Full Fine-Tuning in LLMs for Continual Learning [19.27175827358111]
大規模言語モデル(LLM)における継続的な学習は破滅的な忘れがちである。
適応特異値分解(SVD)を利用した連続的完全微調整手法を提案する。
我々は,Encoder-decoder (T5-Large) モデルとdecoder-only (LLaMA-2 7B) モデルの両方を用いて,標準連続学習ベンチマークを広範囲に評価した。
論文 参考訳(メタデータ) (2025-04-09T17:59:42Z) - UniSTD: Towards Unified Spatio-Temporal Learning across Diverse Disciplines [64.84631333071728]
本稿では,時間的モデリングのためのトランスフォーマーベースの統合フレームワークであるbfUnistageを紹介する。
我々の研究は、タスク固有の視覚テキストが時間学習のための一般化可能なモデルを構築することができることを示した。
また、時間的ダイナミクスを明示的に組み込むための時間的モジュールも導入する。
論文 参考訳(メタデータ) (2025-03-26T17:33:23Z) - Focus On This, Not That! Steering LLMs with Adaptive Feature Specification [48.27684487597968]
Focus Instruction Tuning (FIT)は、大きな言語モデルをトレーニングして、特定の機能に注目しながら、他の機能を無視して応答を条件付けする。
我々は,FITが推論時に行動のステアリングに成功したこと,(ii)コアタスク信号の増幅による堅牢性の向上,(iii)人口統計特性の抑制による社会的偏見の軽減,(iv)分布シフト下での一般化,および以前には見つからなかった焦点特徴の緩和を実証した。
論文 参考訳(メタデータ) (2024-10-30T12:01:48Z) - Scalable Language Model with Generalized Continual Learning [58.700439919096155]
The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。
提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
論文 参考訳(メタデータ) (2024-04-11T04:22:15Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-09-15T17:10:51Z) - New metrics for analyzing continual learners [27.868967961503962]
継続学習(CL)は、標準的な学習アルゴリズムに課題をもたらす。
この安定性・塑性ジレンマはCLの中心であり、安定性と塑性を個別に適切に測定するために複数の測定基準が提案されている。
課題の難しさを考慮に入れた新しい指標を提案する。
論文 参考訳(メタデータ) (2023-09-01T13:53:33Z) - Improving Meta-learning for Low-resource Text Classification and
Generation via Memory Imitation [87.98063273826702]
本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。
本手法の有効性を証明するために理論的解析を行った。
論文 参考訳(メタデータ) (2022-03-22T12:41:55Z) - Evaluating CLIP: Towards Characterization of Broader Capabilities and
Downstream Implications [8.15254368157658]
私たちはCLIPを分析し、そのようなモデルがもたらす課題をいくつか強調します。
CLIPは、従来のコンピュータビジョンシステムに見られるバイアスを継承できる。
これらの結果は、成長する仕事の体に「ベター」モデルの概念を変えることを要求する証拠となる。
論文 参考訳(メタデータ) (2021-08-05T19:05:57Z) - FoCL: Feature-Oriented Continual Learning for Generative Models [9.732863584750179]
逐次到着タスクにおける分布変化へのFoCLの適応が速いことを示す。
また、モデルが忘れることに苦しむ程度を正確に評価する忘れやすさ尺度も導入する。
論文 参考訳(メタデータ) (2020-03-09T00:38:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。