論文の概要: Online Learning and Unlearning

• arxiv url: http://arxiv.org/abs/2505.08557v1
• Date: Tue, 13 May 2025 13:33:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.584131
• Title: Online Learning and Unlearning
• Title（参考訳）: オンライン学習とアンラーニング
• Authors: Yaxi Hu, Bernhard Schölkopf, Amartya Sanyal,
• Abstract要約: オンライングラデーション降下(OGD)に基づくオンライン学習者アンラーナー(OLU)アルゴリズムを2つ提示する。 第一の受動的OLUは、OGDの収縮特性を利用し、未学習時にノイズを注入し、追加の計算を行わない。 2つめのアクティブなOLUは、オフラインの未学習アルゴリズムを使用して、削除されたデータを除くソリューションにモデルをシフトする。
• 参考スコア（独自算出の注目度）: 56.770023668379615
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We formalize the problem of online learning-unlearning, where a model is updated sequentially in an online setting while accommodating unlearning requests between updates. After a data point is unlearned, all subsequent outputs must be statistically indistinguishable from those of a model trained without that point. We present two online learner-unlearner (OLU) algorithms, both built upon online gradient descent (OGD). The first, passive OLU, leverages OGD's contractive property and injects noise when unlearning occurs, incurring no additional computation. The second, active OLU, uses an offline unlearning algorithm that shifts the model toward a solution excluding the deleted data. Under standard convexity and smoothness assumptions, both methods achieve regret bounds comparable to those of standard OGD, demonstrating that one can maintain competitive regret bounds while providing unlearning guarantees.
• Abstract（参考訳）: 我々は、オンライン学習学習の問題を形式化し、オンライン環境でモデルを逐次更新すると同時に、更新間の未学習要求を調節する。 データポイントが学習されなくなると、その後の出力は、そのポイントなしで訓練されたモデルの出力と統計的に区別できなければならない。 オンライングラデーション降下(OGD)に基づいて構築されたオンライン学習者アンラーナー(OLU)アルゴリズムを2つ提示する。 第一の受動的OLUは、OGDの収縮特性を利用し、未学習時にノイズを注入し、追加の計算を行わない。 2つめのアクティブなOLUは、オフラインの未学習アルゴリズムを使用して、削除されたデータを除くソリューションにモデルをシフトする。 標準的な凸性と滑らかさの仮定の下では、どちらの手法も標準的なOGDに匹敵する後悔境界を達成し、未学習の保証を提供しながら競合する後悔境界を維持できることを証明している。

関連論文リスト

• Online Prototypes and Class-Wise Hypergradients for Online Continual Learning with Pre-Trained Models [24.963242232471426]
  連続学習(CL)は、分散が時間とともに変化するデータシーケンスから学習する問題に対処する。 本稿では,オンラインプロトタイプ(OP)とクラスワイズハイパーグラディエント(CWH)の両問題に対処する。 OPは、タスク境界を必要とせずに、その値をオンザフライで更新して、リプレイサンプルとして機能させることで、PTMの安定した出力表現を活用する。 CWHは、クラス依存の勾配係数を訓練中に学習し、準最適学習率を改善する。
  論文  参考訳（メタデータ） (2025-02-26T02:43:54Z)
• Online-BLS: An Accurate and Efficient Online Broad Learning System for Data Stream Classification [52.251569042852815]
  オンライン更新毎にクローズドフォームソリューションを備えたオンライン広範学習システムフレームワークを導入する。 我々は,効果的な重み推定アルゴリズムと効率的なオンライン更新戦略を設計する。 我々のフレームワークは、コンセプトドリフトを伴うデータストリームシナリオに自然に拡張され、最先端のベースラインを超えます。
  論文  参考訳（メタデータ） (2025-01-28T13:21:59Z)
• Stabilizing Linear Passive-Aggressive Online Learning with Weighted Reservoir Sampling [46.01254613933967]
  オンライン学習手法は、高次元ストリーミングデータ、アウトオブコア処理、その他のスループットに敏感なアプリケーションに依然として有効である。 このようなアルゴリズムの多くは、その収束の鍵として個々のエラーへの高速な適応に依存している。 このようなアルゴリズムは理論上の後悔は少ないが、現実の展開では個々の外れ値に敏感であり、アルゴリズムが過度に修正される可能性がある。
  論文  参考訳（メタデータ） (2024-10-31T03:35:48Z)
• Continual learning for surface defect segmentation by subnetwork creation and selection [55.2480439325792]
  破滅的な忘れを伴わずにセグメンテーションタスクを実行する,新たな連続的(あるいは寿命の長い)学習アルゴリズムを導入する。 この方法は、2つの異なる表面欠陥分割問題に適用され、漸進的に学習される。 当社のアプローチでは,すべてのトレーニングデータ(すべての欠陥)を同時に見る場合,共同トレーニングと同等の結果が得られます。
  論文  参考訳（メタデータ） (2023-12-08T15:28:50Z)
• Efficient Online Learning with Offline Datasets for Infinite Horizon MDPs: A Bayesian Approach [25.77911741149966]
  学習エージェントが専門家が使用する行動ポリシーをモデル化すれば,累積的後悔を最小限に抑えることができることを示す。 次に,iPSRL アルゴリズムを効率的に近似する Informed RLSVI アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-17T19:01:08Z)
• Variance Reduced Online Gradient Descent for Kernelized Pairwise Learning with Limited Memory [19.822215548822882]
  オンラインのペアワイズ学習を扱うために、オンライン勾配降下アルゴリズム(OGD)が提案されている。 OGDアルゴリズムの最近の進歩は、オンライン勾配の計算の複雑さを減らし、O(T)$未満の複雑さを達成し、たとえ$O(1)$であるとしても達成することを目的としている。 本研究では,カーネルのオンラインペアワイズ学習に拡張し,サブ線形後悔を改善したメモリOGDアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-10T09:50:54Z)
• Oracle Inequalities for Model Selection in Offline Reinforcement Learning [105.74139523696284]
  本稿では,値関数近似を用いたオフラインRLにおけるモデル選択の問題について検討する。 対数係数まで最小値の速度-最適不等式を実現するオフラインRLの最初のモデル選択アルゴリズムを提案する。 そこで本研究では,優れたモデルクラスを確実に選択できることを示す数値シミュレーションを行った。
  論文  参考訳（メタデータ） (2022-11-03T17:32:34Z)
• Implicit Parameter-free Online Learning with Truncated Linear Models [51.71216912089413]
  パラメータフリーアルゴリズムは、設定された学習率を必要としないオンライン学習アルゴリズムである。 そこで我々は,「単純」なフレーバーを持つ新しい更新によって,切り離された線形モデルを活用できる新しいパラメータフリーアルゴリズムを提案する。 後悔の新たな分解に基づいて、新しい更新は効率的で、各ステップで1つの勾配しか必要とせず、切り捨てられたモデルの最小値をオーバーシュートすることはない。
  論文  参考訳（メタデータ） (2022-03-19T13:39:49Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。