論文の概要: Exact Federated Continual Unlearning for Ridge Heads on Frozen Foundation Models

• arxiv url: http://arxiv.org/abs/2603.12977v1
• Date: Fri, 13 Mar 2026 13:24:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-16 17:38:12.095587
• Title: Exact Federated Continual Unlearning for Ridge Heads on Frozen Foundation Models
• Title（参考訳）: 凍結基礎モデルに基づく尾根頭部の専門的連続的アンラーニング
• Authors: Yijun Quan, Wentai Wu, Giovanni Montana,
• Abstract要約: ファンデーションモデルは一般的に、フェデレートされた設定でプライベートなユーザ生成データに適応するために、小さな訓練可能なヘッドを持つフリーズ機能抽出器としてデプロイされる。 我々は,この問題を,リッジ-レグレッションヘッドを用いた凍結基礎モデルとして,実用的には関係があるが未探索の状態で研究する。
• 参考スコア（独自算出の注目度）: 9.98952145483793
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models are commonly deployed as frozen feature extractors with a small trainable head to adapt to private, user-generated data in federated settings. The ``right to be forgotten'' requires removing the influence of specific samples or users from the trained model on demand. Existing federated unlearning methods target general deep models and rely on approximate reconstruction or selective retraining, making exactness costly or elusive. We study this problem in a practically relevant but under-explored regime: a frozen foundation model with a ridge-regression head. The exact optimum depends on the data only through two additive sufficient statistics, which we turn into a communication protocol supporting an arbitrary stream of \emph{add} and \emph{delete} requests via fixed-size messages. The server maintains a head that is, in exact arithmetic, \emph{pointwise identical} to centralized retraining after every request. We provide deterministic retrain-equivalence guarantees, order and partition invariance, two server-side variants, and a Bayesian certificate of zero KL divergence. Experiments on four benchmarks confirm the guarantees: both variants match centralized ridge retraining to within $10^{-9}$ relative Frobenius error and complete each request at orders-of-
• Abstract（参考訳）: ファンデーションモデルは一般的に、フェデレートされた設定でプライベートなユーザ生成データに適応するために、小さな訓練可能なヘッドを持つフリーズ機能抽出器としてデプロイされる。 は、特定のサンプルやユーザの影響を、トレーニングされたモデルから必要に応じて取り除く必要がある。 既存の非学習手法は、一般的な深層モデルをターゲットにしており、正確な正確さを犠牲にして、近似的な再構築や選択的な再訓練に依存している。 我々は,この問題を,リッジ-レグレッションヘッドを用いた凍結基礎モデルとして,実用的には関係があるが未探索の状態で研究する。 正確な最適度は、2つの付加的な十分な統計量によってのみデータに依存するため、固定サイズメッセージを介して \emph{add} と \emph{delete} リクエストの任意のストリームをサポートする通信プロトコルに変換される。 サーバは、正確な算術において、要求毎に集中的な再トレーニングを行うために \emph{pointwise same} のヘッドを保持する。 我々は、決定論的再訓練等価性保証、順序と分割の不変性、2つのサーバサイドの変種、およびゼロKL分散のベイズ証明書を提供する。 4つのベンチマークの実験は、保証を確認している: 両方の変種は、集中尾根の再トレーニングを10^{-9}$の相対的なフロベニウス誤差に一致し、各要求を注文時に完了する。

関連論文リスト

• One-Shot Federated Ridge Regression: Exact Recovery via Sufficient Statistic Aggregation [0.7106986689736825]
  フェデレート・リッジ回帰(Federated ridge regression)は、各クライアントが局所的な十分な統計を計算し、一度送信する分散平衡問題である。 我々は、クライアント1回に1回ノイズが注入された場合の差分プライバシー保証を確立し、マルチラウンドプロトコルのプライバシを低下させる構成ペナルティを排除した。 合成ヘテロジニアス回帰の実験では、単発核融合はFedAvgの精度と一致し、通信コストは最大38時間以下であることが示されている。
  論文  参考訳（メタデータ） (2026-01-13T04:47:22Z)
• Distributed Training under Packet Loss [8.613477072763404]
  信頼性の低いコネクションを利用するとレイテンシが低下するが、パケットを落としてモデルの精度と収束を犠牲にする可能性がある。 そこで本研究では,パケット損失の正確性と収束性を保証する原理的なエンドツーエンドソリューションを提案する。 この研究は、コミュニケーション効率の高いプロトコルと、現代の大規模モデルの訓練で要求される精度と保証のギャップを埋めるものである。
  論文  参考訳（メタデータ） (2025-07-02T11:07:20Z)
• SPIRE: Conditional Personalization for Federated Diffusion Generative Models [7.8583640700306585]
  Shared Backbone Personal Identity Representation Embeddings (SPIRE)は、FLで条件付き生成としてクライアント拡散ベースの生成をキャストするフレームワークである。 SPIREは、ネットワークを(i)人口レベルのスコア関数を学習する高容量なグローバルバックボーンと、(ii)ローカルデータ統計を符号化する軽量で学習可能なクライアント埋め込みに分解する。 我々の分析は、クライアントの埋め込みが共有スコアネットワークをパーソナライズするバイアスとしてどのように振舞うかを示唆している。
  論文  参考訳（メタデータ） (2025-06-14T01:40:31Z)
• Test-Time Alignment via Hypothesis Reweighting [56.71167047381817]
  大規模な事前訓練されたモデルは、しばしば未指定のタスクで苦労する。 テストタイムのユーザ意図にモデルを整合させるという課題に対処する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-11T23:02:26Z)
• Accelerating Heterogeneous Federated Learning with Closed-form Classifiers [23.133964735844007]
  フェデレートラーニング(FL)手法は、しばしば非常に統計的に異質な設定で苦労する。 Fed3R(Federated Recursive Ridge Regression)を紹介する。 Fed3Rは統計的不均一性に免疫を持ち、クライアントのサンプリング順序に不変である。
  論文  参考訳（メタデータ） (2024-06-03T08:52:06Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Variational Bayesian Unlearning [54.26984662139516]
  本研究では, ベイズモデルの学習を, 消去する訓練データの小さな部分集合から, ほぼ非学習する問題について検討する。 消去されたデータから完全に学習されていないデータと、過去の信念を完全に忘れていないデータとをトレードオフする証拠を最小化するのと等価であることを示す。 VI を用いたモデルトレーニングでは、完全なデータから近似した(正確には)後続の信念しか得られず、未学習をさらに困難にしている。
  論文  参考訳（メタデータ） (2020-10-24T11:53:00Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)
• The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
  NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。 我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。 3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
  論文  参考訳（メタデータ） (2020-04-16T04:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。