論文の概要: Ascent Fails to Forget

• arxiv url: http://arxiv.org/abs/2509.26427v1
• Date: Tue, 30 Sep 2025 15:48:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.603096
• Title: Ascent Fails to Forget
• Title（参考訳）: Ascentは忘れられない
• Authors: Ioannis Mavrothalassitis, Pol Puigdemont, Noam Itzhak Levi, Volkan Cevher,
• Abstract要約: 勾配上昇に基づく非制約最適化手法は、しばしば機械のアンラーニングに失敗することを示した。 我々は、この現象を、データセットを忘れ、保持する際、本質的に統計的に依存しているとみなす。 これらの統計的依存関係の存在は,相関としてのみ現れても,上昇に基づく未学習が失敗するのに十分であることがわかった。
• 参考スコア（独自算出の注目度）: 45.75497227694833
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrary to common belief, we show that gradient ascent-based unconstrained optimization methods frequently fail to perform machine unlearning, a phenomenon we attribute to the inherent statistical dependence between the forget and retain data sets. This dependence, which can manifest itself even as simple correlations, undermines the misconception that these sets can be independently manipulated during unlearning. We provide empirical and theoretical evidence showing these methods often fail precisely due to this overlooked relationship. For random forget sets, this dependence means that degrading forget set metrics (which, for a retrained model, should mirror test set metrics) inevitably harms overall test performance. Going beyond random sets, we consider logistic regression as an instructive example where a critical failure mode emerges: inter-set dependence causes gradient descent-ascent iterations to progressively diverge from the ideal retrained model. Strikingly, these methods can converge to solutions that are not only far from the retrained ideal but are potentially even further from it than the original model itself, rendering the unlearning process actively detrimental. A toy example further illustrates how this dependence can trap models in inferior local minima, inescapable via finetuning. Our findings highlight that the presence of such statistical dependencies, even when manifest only as correlations, can be sufficient for ascent-based unlearning to fail. Our theoretical insights are corroborated by experiments on complex neural networks, demonstrating that these methods do not perform as expected in practice due to this unaddressed statistical interplay.
• Abstract（参考訳）: 一般的な信念とは対照的に、勾配上昇に基づく非制約最適化手法は、しばしばマシンアンラーニングの実行に失敗する。 この依存は、単純な相関としても自分自身を表わすことができ、これらの集合が未学習の間に独立して操作できるという誤解を損なう。 我々は、これらの手法が、この見過ごされた関係のために、しばしば正確に失敗することを示す実証的および理論的証拠を提供する。 この依存は、無作為に忘れられたセットのメトリクス(再訓練されたモデルの場合、テストセットのメトリクスを反映すべき)を分解することが、テスト全体のパフォーマンスを必然的に損なうことを意味する。 ランダムな集合を超えて、ロジスティック回帰は、クリティカルな失敗モードが出現するインストラクティブな例であると考えている。 厳密には、これらの手法は、再訓練された理想から遠くないだけでなく、元のモデルそのものよりもさらに遠い解に収束し、未学習のプロセスを積極的に有害にすることができる。 おもちゃの例は、この依存が、微調整で不可能な、劣った局所的なミニマのモデルをトラップする方法をさらに示している。 これらの統計的依存関係の存在は,相関としてのみ現れても,上昇に基づく未学習が失敗するのに十分であることがわかった。 我々の理論的な洞察は、複雑なニューラルネットワークの実験によって裏付けられ、これらの手法は、この未修正の統計的相互作用のために、実際には期待通りには機能しないことを示した。

関連論文リスト

• Improving Group Robustness on Spurious Correlation via Evidential Alignment [26.544938760265136]
  ディープニューラルネットワークは、しばしば急激な相関、すなわち非因果的特徴と標的の間の表面的関連を学習し、依存する。 既存のメソッドは通常、外部のグループアノテーションや補助的な決定論的モデルを使用することでこの問題を軽減する。 偏りのあるモデルの振る舞いを理解するために不確実性定量化を利用する新しいフレームワークであるエビデンシャルアライメントを提案する。
  論文  参考訳（メタデータ） (2025-06-12T22:47:21Z)
• Can Active Sampling Reduce Causal Confusion in Offline Reinforcement Learning? [58.942118128503104]
  因果的混乱(英: Causal confusion)とは、エージェントがデータ中の不完全な急激な相関を反映するポリシーを学ぶ現象である。 この現象は特にロボット工学などの領域で顕著である。 本稿では,オフライン強化学習における因果的混乱について検討する。
  論文  参考訳（メタデータ） (2023-12-28T17:54:56Z)
• Seeing is not Believing: Robust Reinforcement Learning against Spurious Correlation [57.351098530477124]
  国家の異なる部分には、保存されていない共同設立者が引き起こす相関関係が存在しない。 このような役に立たないあるいは有害な相関を学習するモデルは、テストケースの共同創設者がトレーニングケースから逸脱したときに破滅的に失敗する可能性がある。 したがって、単純かつ非構造的な不確実性集合を仮定する既存の頑健なアルゴリズムは、この問題に対処するには不十分である。
  論文  参考訳（メタデータ） (2023-07-15T23:53:37Z)
• Disentangling Observed Causal Effects from Latent Confounders using Method of Moments [67.27068846108047]
  我々は、軽度の仮定の下で、識別性と学習可能性に関する保証を提供する。 我々は,線形制約付き結合テンソル分解に基づく効率的なアルゴリズムを開発し,スケーラブルで保証可能な解を得る。
  論文  参考訳（メタデータ） (2021-01-17T07:48:45Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Understanding the Failure Modes of Out-of-Distribution Generalization [35.00563456450452]
  経験的研究は、機械学習モデルは、トレーニング時間にのみラベルと急激な相関関係を持つ可能性のある背景のような特徴にしばしば依存していることを示唆している。 本研究は,学習が容易なタスクにおいても,モデルがこのように失敗する理由を説明することによって,この行動を引き起こす基本的な要因を同定する。
  論文  参考訳（メタデータ） (2020-10-29T17:19:03Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。