論文の概要: Shape of Memory: a Geometric Analysis of Machine Unlearning in Second-Order Optimizers
- arxiv url: http://arxiv.org/abs/2604.23046v1
- Date: Fri, 24 Apr 2026 22:10:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-28 17:12:07.117104
- Title: Shape of Memory: a Geometric Analysis of Machine Unlearning in Second-Order Optimizers
- Title（参考訳）: メモリ形状:2次最適化器における機械学習の幾何学的解析
- Authors: Kennon Stewart,
- Abstract要約: マシン・アンラーニングの現在の定義は2次削除には不明確である、と我々は主張する。
我々は,データタスクを固有分解の度合いで処理する能力について,一階と二階の学習者を比較した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We argue that current definitions of machine unlearning are underspecified for second-order optimizers. We compare first-order and second-order learners for their ability to handle the data deletion task with varying degrees of eigendecomposition to mimic the loss model memory. While both first and second-order methods realign with the ideal counterfactul in terms of performance and gradient, the second-order optimizer shows significant volatility in the optimizer state. This indicates residual information, supposedly deleted, that isn't detectable by first-order analysis. Various eigendecay treatments show that stability and information loss is regained only under controlled state pertubation where geometric information (or memory) is erased.
- Abstract（参考訳）: マシン・アンラーニングの現在の定義は2次オプティマイザには不明確である、と我々は主張する。
損失モデルメモリを模倣するために、データ削除タスクを様々な種類の固有分解度で処理する能力について、一階と二階の学習者を比較した。
一階法と二階法の両方が、性能と勾配の点で理想的な反ファクトルを具現化するが、二階最適化器はオプティマイザ状態において大きなボラティリティを示す。
これは、第1次解析では検出できない、削除されたと思われる残留情報を示している。
様々な固有デカイ処理は、幾何情報(または記憶)が消去される制御状態のパーチューベーションにおいてのみ、安定性と情報損失が回復されることを示している。
関連論文リスト
- More Optimal Fractional-Order Stochastic Gradient Descent for Non-Convex Optimization Problems [2.5971517743176915]
本稿では,FOSGDとFOSGDを統合した2FOSGD法を提案する。
感度と有効次元性を追跡することにより、2SEDFOSGDは指数を動的に変調し、スラグ振動と急収束を緩和する。
論文 参考訳（メタデータ） (2025-05-05T19:27:36Z) - Memory-Efficient 4-bit Preconditioned Stochastic Optimization [53.422307389223626]
シャンプーのプリコンディショナーに4ビット量子化を導入する。
我々の知る限り、これはプレコンディショナーのチョレスキー因子に適用された最初の量子化手法である。
Cholesky量子化とエラーフィードバックを組み合わせることで、メモリ効率とアルゴリズム性能が向上することを示した。
論文 参考訳（メタデータ） (2024-12-14T03:32:54Z) - Hessian-Free Online Certified Unlearning [8.875278412741695]
ほぼ瞬時にデータを除去するオンライン・アンラーニングアルゴリズムを開発した。
提案手法は,非学習および一般化保証の観点から,最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-04-02T07:54:18Z) - AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。
AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
論文 参考訳（メタデータ） (2023-10-16T09:04:28Z) - Eva: A General Vectorized Approximation Framework for Second-order
Optimization [16.647611352181574]
メモリ効率と時間効率の2次アルゴリズムであるEvaを2つの新しい手法で提案する。
我々はシャーマン・モリソンの公式を使用する逆計算を明示的に行わずに効率的な更新式を導出する。
実験によると、Evaは1次SGDと2次アルゴリズムと比較して、エンドツーエンドのトレーニング時間を2.05倍と2.42倍に短縮する。
論文 参考訳（メタデータ） (2023-08-04T03:51:38Z) - Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature
Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。
提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文 参考訳（メタデータ） (2020-12-29T04:08:38Z) - BEAR: Sketching BFGS Algorithm for Ultra-High Dimensional Feature
Selection in Sublinear Memory [13.596664481933875]
現在の大規模スケッチアルゴリズムは、スケッチされた領域における不可逆的な衝突とノイズの蓄積により、メモリ精度のトレードオフが低いことを示す。
我々はBEARを開発し、著名なブロイデン=フレッチャー=ゴールドファーブ=シャノン(BFGS)アルゴリズムに2階勾配を格納することで余分な衝突を避ける。
実世界のデータセットの実験により、BEARは1次スケッチアルゴリズムと同一の分類精度を達成するために最大で3桁のメモリスペースを必要とすることが示された。
論文 参考訳（メタデータ） (2020-10-26T18:31:27Z) - Descent-to-Delete: Gradient-Based Methods for Machine Unlearning [15.647473776016042]
任意に長い逆更新を処理できる最初のデータ削除アルゴリズムを提供する。
例えば、削除後、最適化アルゴリズムによって維持される状態全体が、私たちが再訓練された状態と統計的に区別できないことを問うことができる。
論文 参考訳（メタデータ） (2020-07-06T17:54:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。