論文の概要: Stable-Plastic Subspace Construction for Differentially Private Continual LoRA

• arxiv url: http://arxiv.org/abs/2610.17904v1
• Date: Tue, 13 Oct 2026 07:56:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 08:15:04.647857
• Title: Stable-Plastic Subspace Construction for Differentially Private Continual LoRA
• Title（参考訳）: 微分プライベート連続ロラのための安定塑性部分空間構築
• Abstract要約: 継続的な学習は、事前訓練されたモデルをタスクのシーケンスに適応させ、以前のタスクから取得した知識を保持します。 タスクデータが機密性のある場合、差分プライバシーは記録レベルの保護を提供するが、プライバシ制約の下で適応と保持の両方を維持することは難しい。 この問題をLoRA(Continuous Low-rank adapt)において検討し,初期タスク獲得よりもその後の適応において,個人のトレーニングが忘れを増すことを観察した。 本稿では,以前の民営化更新から安定した部分空間を構築するDP-SPAと,その補体内の事前学習重量からプラスチック部分空間を提案する。
• 参考スコア（独自算出の注目度）: 20.4814770731017
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning (CL) adapts pretrained models to a sequence of tasks while retaining knowledge acquired from earlier tasks. When task data are sensitive, differential privacy (DP) provides record-level protection, but maintaining both adaptation and retention under privacy constraints remains challenging. We study this problem in continual low-rank adaptation (LoRA) and observe that: 1) private training increases forgetting primarily during subsequent adaptation rather than initial task acquisition; 2) jointly perturbing both LoRA factors introduces a non-negligible bilinear noise interaction; and 3) DP aggravates the stability-plasticity dilemma, hindering both knowledge retention and adaptation to new tasks. Based on these observations, we propose DP-SPA, which constructs a stable subspace from previously privatized updates and a plastic subspace from pretrained weights within its orthogonal complement. The method fixes these bases and privately optimizes only the LoRA factor, eliminating the bilinear noise interaction within each step. Before merging each task update, it rescales stable-direction coefficients using historical and current update energies. We establish a privacy guarantee and show that recalibration does not increase historical overlap and tightens a conditional upper bound on old-task loss increase. Experiments across five datasets, eight settings, and multiple privacy budgets show that DP-SPA improves average accuracy and reduces forgetting compared with the evaluated baselines.
• Abstract（参考訳）: 継続学習(CL)は、事前訓練されたモデルをタスクのシーケンスに適応させ、以前のタスクから取得した知識を保持する。 タスクデータが機密性のある場合、差分プライバシー(DP)は記録レベルの保護を提供するが、プライバシ制約の下で適応と保持の両方を維持することは困難である。 この問題をLoRA (Continuous Low-rank adaptation) で研究し,それを考察する。 1) 個人研修は,初期業務の取得よりも,主にその後の適応中に忘れることを増加させる。 2)両 LoRA 因子の同時摂動は,非無視性双線形雑音相互作用をもたらす。 3)DPは安定性・塑性ジレンマを増大させ,知識保持と新たな課題への適応を阻害する。 これらの観測結果に基づき,従来の民営化更新から安定した部分空間を構築するDP-SPAと,その直交補体内の事前学習重量からプラスチック部分空間を構築するDP-SPAを提案する。 この方法はこれらの基盤を固定し、LoRA因子のみをプライベートに最適化し、各ステップ内でのバイリニアノイズ相互作用を除去する。 各タスクの更新をマージする前に、履歴と現在の更新エネルギーを使用して安定した方向係数を再スケールする。 我々は、プライバシー保証を確立し、再校正が歴史的重複を増さないことを示し、古いタスク損失の増加に対する条件付き上限を締め付ける。 5つのデータセット、8つの設定、複数のプライバシ予算にわたる実験は、DP-SPAが平均精度を改善し、評価されたベースラインと比較して忘れを少なくすることを示している。

関連論文リスト

• Reliable Replay through Spatial Coherence in Online Continual Learning [36.157385602644474]
  本研究では,幅広い学習環境に適用可能な汎用リプレイアロケーション手法であるSPHERE(SPatial Coherent Risk Control for REplay)を提案する。 移動目標の感度から元の損失変化に対するリプレイ係数を導出し、ベースラインリハーサルを維持するためにそれらを均一なリプレイとブレンドする。 実験により、SPHEREは精度を向上し、ノイズラベルビジョンタスク、連続言語モデル調律、不完全なテスト報酬を伴うコード生成強化学習における忘れを少なくすることが示された。
  論文  参考訳（メタデータ） (2026-09-27T16:27:53Z)
• Noise-Aware Shrinkage for Differentially Private Zeroth-Order Fine-Tuning of Large Language Models [16.65410076641234]
  信号品質の予測値に応じて,民生推定値を適応的に減衰する雑音対応縮小手法を提案する。 純粋な後処理として、SAGEは追加のプライバシ予算もモデルクエリも必要とせず、一定の追加状態しか導入しない。
  論文  参考訳（メタデータ） (2026-08-04T07:52:23Z)
• Janus-LoRA: A Balanced Low-Rank Adaptation for Continual Learning [122.06915301391616]
  Low-Rank Adaptation (LoRA)は、継続的学習のための有望なパラダイムとして登場した。 このバランスを2つの新しいコンポーネントを通して復元するフレームワークである textbfJanus-LoRA を提案する。
  論文  参考訳（メタデータ） (2026-05-27T13:53:14Z)
• Differentially Private Two-Stage Empirical Risk Minimization and Applications to Individualized Treatment Rule [7.515007180781481]
  Differential Privacy(DP)は、プライバシを保存する推定器を導出するための厳格なフレームワークを提供する。 標準DP法は、個別化処理規則(ITR)や因果推論でよく見られる2段階問題の特定のクラスと競合する。 本稿では,第2段階にのみ慎重に校正されたノイズを注入するフレームワークであるDP-2ERMを提案する。
  論文  参考訳（メタデータ） (2026-02-13T04:22:46Z)
• Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation [58.3773038915023]
  継続的な学習は、事前訓練されたモデルを、以前取得した知識を忘れずにシーケンシャルなタスクに適応することを目的としている。 既存のほとんどのアプローチは、現在のタスク固有の更新が以前取得した知識を自然に保存するプロパティを考慮せずに、継続的な学習を過去の更新への干渉を避けるものとして扱う。 本稿では,視覚言語モデルで使用される標準深度ドットと互換性のある一階述語法を用いてこの問題に対処する。
  論文  参考訳（メタデータ） (2026-01-31T13:27:02Z)
• LoRA Subtraction for Drift-Resistant Space in Exemplar-Free Continual Learning [5.438329886561997]
  本稿では,機能モデリングや前処理の保存を必要とせず,機能ドリフトを効果的に処理するDrift-Resistant Space(DRS)を提案する。 提案手法は,複数のデータセットにまたがって,特に長いタスクシーケンスに対して,最先端の結果を一貫して達成する。
  論文  参考訳（メタデータ） (2025-03-23T07:38:53Z)
• Large Continual Instruction Assistant [59.585544987096974]
  CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。 既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。 本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T11:24:59Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。