論文の概要: Forget by Uncertainty: Orthogonal Entropy Unlearning for Quantized Neural Networks
- arxiv url: http://arxiv.org/abs/2602.00567v1
- Date: Sat, 31 Jan 2026 07:18:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-03 19:28:33.258424
- Title: Forget by Uncertainty: Orthogonal Entropy Unlearning for Quantized Neural Networks
- Title（参考訳）: 不確実性による忘れ物:量子ニューラルネットワークの直交エントロピーアンラーニング
- Authors: Tian Zhang, Yujia Tong, Junhao Dong, Ke Xu, Yuze Wang, Jingling Yuan,
- Abstract要約: 我々は,機械学習のための新しい直交エントロピー・アンラーニング(OEU)フレームワークを提案する。
OEUは、忘れたデータに対する予測の不確実性を最大化し、自信のある誤った予測よりも、本当の忘れることを達成する。
大規模な実験により、OEUは有効性を忘れ、正確性を保ちながら既存の手法より優れていることが示された。
- 参考スコア（独自算出の注目度）: 20.42454779966008
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The deployment of quantized neural networks on edge devices, combined with privacy regulations like GDPR, creates an urgent need for machine unlearning in quantized models. However, existing methods face critical challenges: they induce forgetting by training models to memorize incorrect labels, conflating forgetting with misremembering, and employ scalar gradient reweighting that cannot resolve directional conflicts between gradients. We propose OEU, a novel Orthogonal Entropy Unlearning framework with two key innovations: 1) Entropy-guided unlearning maximizes prediction uncertainty on forgotten data, achieving genuine forgetting rather than confident misprediction, and 2) Gradient orthogonal projection eliminates interference by projecting forgetting gradients onto the orthogonal complement of retain gradients, providing theoretical guarantees for utility preservation under first-order approximation. Extensive experiments demonstrate that OEU outperforms existing methods in both forgetting effectiveness and retain accuracy.
- Abstract（参考訳）: エッジデバイスへの量子化されたニューラルネットワークの展開とGDPRのようなプライバシ規制が組み合わさって、量子化されたモデルにおける機械学習に対する緊急の必要が生じる。
しかし、既存の手法では、誤ったラベルを記憶するためにトレーニングモデルによって忘れを誘導し、誤認識と混同し、勾配間の方向性の衝突を解決できないスカラー勾配再重み付けを採用するなど、重大な課題に直面している。
OEUは,2つの重要なイノベーションを持つ,新しい直交エントロピーアンラーニングフレームワークである。
1 エントロピー誘導未学習は、忘れたデータに対する予測の不確実性を最大化し、自信ある誤算よりも真に忘れることを達成する。
2) 勾配直交射影は勾配の直交補関数に勾配を射影することで干渉を排除し, 1次近似の下での実用性維持の理論的保証を提供する。
大規模な実験により、OEUは有効性を忘れ、正確性を保ちながら既存の手法より優れていることが示された。
関連論文リスト
- Provable Unlearning with Gradient Ascent on Two-Layer ReLU Neural Networks [30.766189455525765]
Unlearningは、訓練されたモデルから特定のデータを削除することを目的としており、プライバシーと倫理的懸念の高まりに対処している。
本稿では, 単純で広く用いられる手法である勾配上昇の理論解析を行う。
勾配上昇は、合成ガウス混合条件下での一般化を保ちながら、未学習を成功させることを示す。
論文 参考訳（メタデータ） (2025-10-16T16:16:36Z) - Nonlinear discretizations and Newton's method: characterizing stationary points of regression objectives [0.0]
正確な曲率情報に依存すると、ニューラルネットワークのトレーニングが確実に失敗することを示す。
障害モードは、非線形離散化の幾何学と損失ランドスケープにおける定常点の分布の両方について洞察を与える。
論文 参考訳（メタデータ） (2025-10-13T22:29:52Z) - From Initial Data to Boundary Layers: Neural Networks for Nonlinear Hyperbolic Conservation Laws [0.0]
ニューラルネットワークを用いた非線形厳密な双曲保存則に対する初期境界値問題に対するエントロピー解の近似に対処する。
効率的で信頼性の高い学習アルゴリズムの設計のために、汎用的で体系的なフレームワークが導入された。
論文 参考訳（メタデータ） (2025-06-02T09:12:13Z) - Certified Data Removal Under High-dimensional Settings [17.73837631710377]
我々は、元のモデルパラメータから始まる未学習アルゴリズムを提案し、理論誘導されたニュートンステップのシーケンス(T in 1,2)を実行する。
低次元設定とは異なり、1つのニュートンステップは高次元問題において効果的な未学習には不十分であることを示す。
論文 参考訳（メタデータ） (2025-05-12T15:11:13Z) - Robust Machine Unlearning for Quantized Neural Networks via Adaptive Gradient Reweighting with Similar Labels [5.868949328814509]
モデル量子化は、低ビットパラメータ表現によるエッジデバイスへのディープニューラルネットワークの効率的な展開を可能にする。
既存のマシン・アンラーニング(MU)手法は量子化されたネットワークにおける2つの基本的な制限に対処できない。
本稿では,量子化モデルのための学習フレームワークQ-MULを提案する。
論文 参考訳（メタデータ） (2025-03-18T05:22:13Z) - Derivative-Free Diffusion Manifold-Constrained Gradient for Unified XAI [59.96044730204345]
微分自由拡散多様体制約勾配(FreeMCG)を導入する。
FreeMCGは、与えられたニューラルネットワークの説明可能性を改善する基盤として機能する。
提案手法は,XAIツールが期待する本質性を保ちながら,最先端の成果が得られることを示す。
論文 参考訳（メタデータ） (2024-11-22T11:15:14Z) - Visual Prompt Tuning in Null Space for Continual Learning [51.96411454304625]
既存のプロンプトチューニング手法は、継続学習(CL)における印象的な性能を示す。
本稿では,従来のタスクの特徴に代表される部分空間に直交する方向のプロンプトを調整し,各タスクを学習することを目的とする。
実際には、即時勾配予測を実装するために、実効的なヌル空間に基づく近似解が提案されている。
論文 参考訳（メタデータ） (2024-06-09T05:57:40Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。