論文の概要: Langevin Unlearning: A New Perspective of Noisy Gradient Descent for Machine Unlearning

• arxiv url: http://arxiv.org/abs/2401.10371v4
• Date: Wed, 7 Feb 2024 19:08:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-02-09 18:21:05.456104
• Title: Langevin Unlearning: A New Perspective of Noisy Gradient Descent for Machine Unlearning
• Title（参考訳）: Langevin Unlearning: 機械学習のためのノイズの多い勾配の新たな視点
• Authors: Eli Chien, Haoyu Wang, Ziang Chen, Pan Li
• Abstract要約: プライバシは、スクラッチから再トレーニングするための統計的不安定性として定義される。 勾配勾配に基づくアンラーニングフレームワークであるランゲヴィン・アンラーニングを提案する。
• 参考スコア（独自算出の注目度）: 22.44567318992487
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning has raised significant interest with the adoption of laws ensuring the ``right to be forgotten''. Researchers have provided a probabilistic notion of approximate unlearning under a similar definition of Differential Privacy (DP), where privacy is defined as statistical indistinguishability to retraining from scratch. We propose Langevin unlearning, an unlearning framework based on noisy gradient descent with privacy guarantees for approximate unlearning problems. Langevin unlearning unifies the DP learning process and the privacy-certified unlearning process with many algorithmic benefits. These include approximate certified unlearning for non-convex problems, complexity saving compared to retraining, sequential and batch unlearning for multiple unlearning requests. We verify the practicality of Langevin unlearning by studying its privacy-utility-complexity trade-off via experiments on benchmark datasets, and also demonstrate its superiority against gradient-decent-plus-output-perturbation based approximate unlearning.
• Abstract（参考訳）: 機械学習は「忘れられる権利」を保障する法律の採用で大きな関心を集めている。 研究者は、差分プライバシー(DP)という同様の定義の下で、近似的アンラーニングという確率論的概念を提供し、プライバシーはスクラッチから再トレーニングするための統計的不明瞭さとして定義される。 我々は,無学習問題に対するプライバシ保証を伴う騒音勾配降下に基づく無学習フレームワークlangevin unlearningを提案する。 Langevin unlearningは、DP学習プロセスとプライバシ認定未学習プロセスを、多くのアルゴリズム上の利点で統合する。 これには、非凸問題に対する近似認定アンラーニング、再トレーニングに対する複雑さの節約、複数のアンラーニング要求に対するシーケンシャルおよびバッチアンラーニングが含まれる。 ベンチマークデータセットを用いた実験により,Langevin Unlearningのプライバシ・ユーティリティ・複雑さトレードオフを検証し,その実用性を検証した。

関連論文リスト

• Safeguarding Privacy: Privacy-Preserving Detection of Mind Wandering and Disengagement Using Federated Learning in Online Education [53.25191965774678]
  遠隔学習における行動・認知障害の相違に対処するために,デバイス間フェデレーション学習を利用したフレームワークを提案する。 顔の表情と視線特徴を用いた映像ベース認知解離検出モデルに適合する。 以上の結果から,学習者のエンゲージメントを促進するプライバシー保護教育技術への大きな期待が示された。
  論文  参考訳（メタデータ） (2026-02-10T15:40:01Z)
• Shadow Unlearning: A Neuro-Semantic Approach to Fidelity-Preserving Faceless Forgetting in LLMs [10.135445130232265]
  PIIを露出することなく、匿名の忘れデータ上で機械学習を行う、近似アンラーニングの新たなパラダイムであるシャドウアンラーニングを提案する。 さらに,シャドー・アンラーニングを実現するために,新たなプライバシ保護フレームワークであるニューロ・セマンティック・プロジェクタ・アンラーニング(NSPU)を提案する。 実験の結果,NSPUは非学習性能が優れ,モデルの有用性が保たれ,ユーザのプライバシが向上することがわかった。
  論文  参考訳（メタデータ） (2026-01-07T12:11:25Z)
• An Unlearning Framework for Continual Learning [3.5047438945401725]
  連続学習のためのアンラーニングフレームワークUnCLeを提案する。 UnCLeは、タスク埋め込みを使用してタスク固有のネットワークパラメータを生成するために、ハイパーネットワークを使用する。 複数のビジョンデータセットに対する実証的な評価は、UnCLeが複数の学習および未学習操作を順次実行する能力を示している。
  論文  参考訳（メタデータ） (2025-09-22T08:51:18Z)
• Auditing Approximate Machine Unlearning for Differentially Private Models [14.700807572189412]
  筆者らは, 学習アルゴリズムの近似を適用した上で, 未学習および保持サンプルのプライバシーリスクを監査するための総合的アプローチを提案する。 実験結果から、既存の近似機械学習アルゴリズムは、差分プライベートモデルに対する保持サンプルのプライバシーを不注意に損なう可能性があることが示唆された。
  論文  参考訳（メタデータ） (2025-08-26T04:29:33Z)
• Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
  インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。 本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。 本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
  論文  参考訳（メタデータ） (2025-07-31T05:34:27Z)
• Differential Privacy in Machine Learning: From Symbolic AI to LLMs [49.1574468325115]
  差別化プライバシは、プライバシーリスクを軽減するための正式なフレームワークを提供する。 単一のデータポイントの包含や除外がアルゴリズムの出力を著しく変更しないことを保証する。
  論文  参考訳（メタデータ） (2025-06-13T11:30:35Z)
• Privacy-Aware Lifelong Learning [14.83033354320841]
  機械学習の分野は、要求された時に事前訓練されたモデルから、ある以前の知識を明示的に忘れることに焦点を当てている。 本稿では,タスク固有のスパースワークとパラメータ共有の最適化を含む,プライバシを意識した生涯学習(PALL)を提案する。 画像分類におけるPALLのスケーラビリティを実証的に実証し,最先端のソリューションを提供する。
  論文  参考訳（メタデータ） (2025-05-16T07:27:00Z)
• Efficient Machine Unlearning by Model Splitting and Core Sample Selection [4.634454848598446]
  我々は、より効率的で正確なアンラーニング戦略を可能にする標準のアンラーニング指標の変種を導入する。 また、多くの場合、正確な未学習を可能にする未学習の訓練手順も提示する。 正確なアンラーニングが実現不可能な場合、MaxRRは、完全なリトレーニングによって達成されたプロパティと密接にマッチした、効率的なアンラーニングをサポートします。
  論文  参考訳（メタデータ） (2025-05-11T15:42:11Z)
• Unlearning through Knowledge Overwriting: Reversible Federated Unlearning via Selective Sparse Adapter [35.65566527544619]
  フェデレーション学習は、プライバシ保護のためのコラボレーティブモデルトレーニングにおいて有望なパラダイムである。 本稿では,各レイヤの知識に対する感受性を分析することによって,まず重要なレイヤを識別するFUSEDを提案する。 アダプタは元のパラメータを変更することなくトレーニングされ、未学習の知識を残りの知識で上書きする。
  論文  参考訳（メタデータ） (2025-02-28T04:35:26Z)
• Machine Unlearning via Information Theoretic Regularization [3.05179671246628]
  本稿では,情報理論の正規化に基づく数学的枠組みを導入し,特徴とデータポイントのアンラーニングに対処する。 学習対象の柔軟性と正規化設計の単純さを組み合わせることで、我々のアプローチは、幅広い機械学習やAIアプリケーションに対して、高度に適応可能で実践的です。
  論文  参考訳（メタデータ） (2025-02-08T20:33:06Z)
• The Utility and Complexity of in- and out-of-Distribution Machine Unlearning [16.879887267565742]
  我々は、近似アンラーニングの基本的な有用性、時間、空間複雑さのトレードオフを分析する。 実用性を損なうことなく、学習時間の複雑さを確実に改善する、頑健でノイズの多い勾配降下変種を提案する。
  論文  参考訳（メタデータ） (2024-12-12T09:54:38Z)
• A Closer Look at Machine Unlearning for Large Language Models [46.245404272612795]
  大型言語モデル(LLM)は機密または著作権のあるコンテンツを記憶し、プライバシーと法的懸念を高める。 LLMの機械学習におけるいくつかの問題について議論し、可能なアプローチについての洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-10T16:56:05Z)
• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Certified Machine Unlearning via Noisy Stochastic Gradient Descent [20.546589699647416]
  機械学習は、訓練されたモデルに対する特定のデータポイントの効果を効率的に除去することを目的としている。 本研究では,雑音勾配勾配を非学習に活用し,その最初の近似的非学習保証を確立することを提案する。
  論文  参考訳（メタデータ） (2024-03-25T18:43:58Z)
• Tight Bounds for Machine Unlearning via Differential Privacy [0.7252027234425334]
  私たちは、トレーニングされたモデルがトレーニングデータから多くのポイントを"解放"することを要求することで、いわゆる“忘れられる権利”を考えます。 DPベースの非学習アルゴリズムで実現可能な削除能力の厳密な境界を得る。
  論文  参考訳（メタデータ） (2023-09-02T09:55:29Z)
• Ticketed Learning-Unlearning Schemes [57.89421552780526]
  そこで我々は,学習のためのチケット付きモデルを提案する。 広義のコンセプトクラスに対して,空間効率のよいチケット付き学習スキームを提供する。
  論文  参考訳（メタデータ） (2023-06-27T18:54:40Z)
• Resilient Constrained Learning [94.27081585149836]
  本稿では,学習課題を同時に解決しながら,要求に適応する制約付き学習手法を提案する。 我々はこの手法を、その操作を変更することで破壊に適応する生態システムを記述する用語に因んで、レジリエントな制約付き学習と呼ぶ。
  論文  参考訳（メタデータ） (2023-06-04T18:14:18Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Efficient Differentially Private Secure Aggregation for Federated Learning via Hardness of Learning with Errors [1.4680035572775534]
  フェデレーション機械学習はエッジコンピューティングを活用して、ネットワークユーザデータからモデルを開発する。 連邦学習におけるプライバシーは依然として大きな課題である。 マルチパーティ計算を用いた環境アグリゲーションの最近の進歩は、サードパーティの必要性を排除している。 そこで本研究では,新たな個人的かつ悪意のあるセキュアなアグリゲーションプロトコルを活用した,新たなフェデレーション学習プロトコルを提案する。
  論文  参考訳（メタデータ） (2021-12-13T18:31:08Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Differentially private cross-silo federated learning [16.38610531397378]
  厳密なプライバシは、分散機械学習において最重要事項である。 本稿では,いわゆるクロスサイロ・フェデレーション・ラーニング・セッティングにおいて,加算準同型セキュア和プロトコルと差分プライバシーを併用する。 提案手法により,非分散設定に匹敵する予測精度が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-10T18:15:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。