論文の概要: Online Forgetting Process for Linear Regression Models
- arxiv url: http://arxiv.org/abs/2012.01668v1
- Date: Thu, 3 Dec 2020 02:57:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-23 15:09:33.356269
- Title: Online Forgetting Process for Linear Regression Models
- Title（参考訳）: 線形回帰モデルのためのオンライン忘れるプロセス
- Authors: Yuantong Li, Chi-hua Wang, Guang Cheng
- Abstract要約: EUの「禁止すべき権利」規制に動機付けられて、統計データ削除問題の研究を開始した。
本稿では,低次元ケースに対する削除認識アルゴリズムのtextttFIFD-OLS を提案し,破滅的なランク揺らぎ現象を目撃する。
本稿では,新しいオンライン正規化手法を用いたtextttFIFD-Adaptive Ridge アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 18.336825781223034
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Motivated by the EU's "Right To Be Forgotten" regulation, we initiate a study
of statistical data deletion problems where users' data are accessible only for
a limited period of time. This setting is formulated as an online supervised
learning task with \textit{constant memory limit}. We propose a deletion-aware
algorithm \texttt{FIFD-OLS} for the low dimensional case, and witness a
catastrophic rank swinging phenomenon due to the data deletion operation, which
leads to statistical inefficiency. As a remedy, we propose the
\texttt{FIFD-Adaptive Ridge} algorithm with a novel online regularization
scheme, that effectively offsets the uncertainty from deletion. In theory, we
provide the cumulative regret upper bound for both online forgetting
algorithms. In the experiment, we showed \texttt{FIFD-Adaptive Ridge}
outperforms the ridge regression algorithm with fixed regularization level, and
hopefully sheds some light on more complex statistical models.
- Abstract（参考訳）: EUの“Right To Be Forgotten”規制により、ユーザのデータが限られた期間のみアクセス可能な統計的データ削除問題の研究を開始します。
この設定は、オンライン教師付き学習タスクとして \textit{constant memory limit} で定式化される。
低次元の場合、削除認識アルゴリズム \texttt{fifd-ols} を提案し、データ削除操作による壊滅的なランク振れ現象を目撃し、統計的に非効率となる。
本稿では,新しいオンライン正規化手法を用いて,削除の不確実性を効果的に相殺する「texttt{FIFD-Adaptive Ridge}」アルゴリズムを提案する。
理論的には、両オンライン忘れアルゴリズムの累積的後悔上限を提供する。
実験では, {\displaystyle \texttt{FIFD-Adaptive Ridge} が一定の正規化レベルでリッジ回帰アルゴリズムより優れており,より複雑な統計モデルに光を当てることが期待できる。
関連論文リスト
- Reshaping the Online Data Buffering and Organizing Mechanism for Continual Test-Time Adaptation [49.53202761595912]
継続的なテスト時間適応は、訓練済みのソースモデルを適用して、教師なしのターゲットドメインを継続的に変更する。
我々は、オンライン環境、教師なしの自然、エラー蓄積や破滅的な忘れのリスクなど、このタスクの課題を分析する。
教師なしシングルパスデータストリームから重要サンプルを高い確実性で識別・集約する不確実性を考慮したバッファリング手法を提案する。
論文 参考訳（メタデータ） (2024-07-12T15:48:40Z) - Adaptive debiased SGD in high-dimensional GLMs with streaming data [4.704144189806667]
我々は、高次元一般化線形モデルにおいて、オンライン推論に新しいアプローチを導入する。
本手法はシングルパスモードで動作し,時間と空間の複雑さを著しく低減する。
提案手法は,ADL (Approximated Debiased Lasso) と呼ばれ,有界な個人確率条件の必要性を緩和するだけでなく,数値性能も著しく向上することを示した。
論文 参考訳（メタデータ） (2024-05-28T15:36:48Z) - Online Tensor Inference [0.0]
従来のオフライン学習は、各計算繰り返しにおける全てのデータの保存と利用を伴い、高次元テンソルデータには実用的ではない。
既存の低ランクテンソル法は、オンラインの方法での統計的推論能力に欠ける。
本手法では,広範囲なメモリ要求を伴わずに効率的なリアルタイムデータ処理を実現するため,グラディエント・Descent (SGD) を用いる。
論文 参考訳（メタデータ） (2023-12-28T16:37:48Z) - Iteratively Refined Behavior Regularization for Offline Reinforcement
Learning [57.10922880400715]
本稿では,保守的政策反復に基づく行動規則化を大幅に強化する新しいアルゴリズムを提案する。
行動規則化に使用される基準ポリシーを反復的に洗練することにより、保守的な政策更新は徐々に改善される。
D4RLベンチマークの実験結果から,本手法は従来のタスクのベースラインよりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2023-06-09T07:46:24Z) - Streaming Sparse Linear Regression [1.8707139489039097]
本稿では,データポイントが逐次到着したときのストリーミングデータを解析する新しいオンライン疎線形回帰フレームワークを提案する。
提案手法はメモリ効率が高く,厳密な制約付き凸性仮定を必要とする。
論文 参考訳（メタデータ） (2022-11-11T07:31:55Z) - A Regression Approach to Learning-Augmented Online Algorithms [17.803569868141647]
本論文では,本手法について紹介し,一般的なオンライン検索フレームワークの文脈で考察する。
この回帰問題におけるサンプルの複雑さにほぼ厳密な境界を示し、その結果を不可知的な設定にまで拡張する。
技術的観点から、回帰問題に対する損失関数の設計にオンライン最適化ベンチマークを組み込むことが重要であることを示す。
論文 参考訳（メタデータ） (2022-05-18T04:29:14Z) - Implicit Parameter-free Online Learning with Truncated Linear Models [51.71216912089413]
パラメータフリーアルゴリズムは、設定された学習率を必要としないオンライン学習アルゴリズムである。
そこで我々は,「単純」なフレーバーを持つ新しい更新によって,切り離された線形モデルを活用できる新しいパラメータフリーアルゴリズムを提案する。
後悔の新たな分解に基づいて、新しい更新は効率的で、各ステップで1つの勾配しか必要とせず、切り捨てられたモデルの最小値をオーバーシュートすることはない。
論文 参考訳（メタデータ） (2022-03-19T13:39:49Z) - Stochastic Online Linear Regression: the Forward Algorithm to Replace
Ridge [24.880035784304834]
オンラインリッジ回帰とフォワードアルゴリズムに対して高い確率的後悔境界を導出する。
これにより、オンライン回帰アルゴリズムをより正確に比較し、有界な観測と予測の仮定を排除できる。
論文 参考訳（メタデータ） (2021-11-02T13:57:53Z) - SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。
KRRのストリーミング版であるStreaMRAKを提案する。
本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
論文 参考訳（メタデータ） (2021-08-23T21:03:09Z) - Fast OSCAR and OWL Regression via Safe Screening Rules [97.28167655721766]
順序付き$L_1$ (OWL)正規化回帰は、高次元スパース学習のための新しい回帰分析である。
近勾配法はOWL回帰を解くための標準手法として用いられる。
未知の順序構造を持つ原始解の順序を探索することにより、OWL回帰の最初の安全なスクリーニングルールを提案する。
論文 参考訳（メタデータ） (2020-06-29T23:35:53Z) - Least Squares Regression with Markovian Data: Fundamental Limits and
Algorithms [69.45237691598774]
マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。
この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。
本稿では,経験的リプレイに基づくアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-16T04:26:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。