論文の概要: How Hard Can It Be? Hardness-Aware Multi-Objective Unlearning

• arxiv url: http://arxiv.org/abs/2606.02119v1
• Date: Mon, 01 Jun 2026 11:49:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:31.901172
• Title: How Hard Can It Be? Hardness-Aware Multi-Objective Unlearning
• Title（参考訳）: どれぐらい難しいのか? 難易度を意識した多目的学習
• Authors: Jiangwei Chen, Xinyuan Niu, Rachael Hwee Ling Sim, Zhengyuan Liu, Nancy F. Chen, Bryan Kian Hsiang Low,
• Abstract要約: 機械学習は、プライバシー、著作権、バイアスの懸念による特定の忘れられたトレーニングデータの影響を取り除くことを目的としている。 我々は,品質の特定の改善を保証することを目的として,未学習のアルゴリズムを導出する。 私たちの硬度測定は、ユーティリティの劣化が避けられない場合にユーザーに通知します。
• 参考スコア（独自算出の注目度）: 75.97729821186815
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Machine unlearning aims to remove the influence of specific forget training data due to privacy, copyright or bias concerns while maintaining the model performance on the remaining retain data. Existing unlearning algorithms, such as optimizing a weighted combination of losses, have tried to achieve these objectives of improving forget quality and maintaining retain utility. However, they do not guarantee that these objectives can be improved by a specified extent for all forget and retain data. In this work, we address this limitation with a novel and theoretically-grounded approach from a constrained optimization perspective. Firstly, we identify that the hardness of reconciling both objectives can be quantified by the similarity between the forget data and the retain data. Next, we derive an unlearning algorithm (HAMU) with the overall goal of guaranteeing a specified improvement in forget quality while minimizing the retain utility cost/degradation by updating the model weights based on our hardness measure. Our hardness measure also informs users when retain utility degradation is unavoidable, i.e., both objectives cannot be improved simultaneously, and stopping should be considered. Our algorithm is applicable to non-convex models and is easily parallelizable, making it readily deployable in real-world scenarios. We empirically demonstrate HAMU's superior performance over baselines on both image and text datasets using large models. Our code is available at https://github.com/aoi3142/HAMU.
• Abstract（参考訳）: Machine Unlearningは、プライバシや著作権、バイアスといった問題による特定の忘れられたトレーニングデータの影響を排除しつつ、モデルのパフォーマンスを残りの保持データに保持することを目的としている。 既存の未学習アルゴリズムは、損失の重み付けの組み合わせを最適化するなど、これらの目的を達成しようと試みている。 しかし、データを忘れたり保持したりするために、これらの目的が特定の範囲で改善できることは保証しない。 本研究では,この制限を,制約付き最適化の観点から,新しい理論的なアプローチで解決する。 まず, 両目的を一致させることの難しさが, 忘れデータと保持データとの類似性によって定量化可能であることを確認した。 次に, モデル重みをハードネス尺度に基づいて更新することにより, 実用コスト/劣化を最小限に抑えつつ, 特定の品質の向上を保証することを目的として, 非学習アルゴリズム(HAMU)を導出する。 我々の硬度測定は、ユーティリティ劣化の維持が避けられない場合、つまり、両方の目的を同時に改善することはできず、停止も考慮すべきである、ということをユーザーに通知する。 本アルゴリズムは,非凸モデルに適用可能で,並列化が容易であり,現実のシナリオで容易にデプロイできる。 大規模モデルを用いて画像およびテキストデータセットのベースラインよりもHAMUの方が優れた性能を実証的に示す。 私たちのコードはhttps://github.com/aoi3142/HAMUで公開されています。

関連論文リスト

• OFMU: Optimization-Driven Framework for Machine Unlearning [5.100622189286672]
  大規模言語モデルは、ユーザ要求、著作権のある資料、時代遅れの情報など、特定の知識を解放する能力を必要としている。 我々は,保留期間を保ちながら忘れを明示的に優先順位付けするペナルティベースの二段階最適化フレームワークOFMUを提案する。 OFMUは既存のアンラーニング手法を有効性と有効性の両方で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-09-26T15:31:32Z)
• BLUR: A Bi-Level Optimization Approach for LLM Unlearning [100.90394814817965]
  未学習問題の階層構造をモデル化することが重要であると論じる。 本稿では,より優れた性能を実現する新しいアルゴリズムであるBi-Level UnleaRning(textttBLUR)を提案する。
  論文  参考訳（メタデータ） (2025-06-09T19:23:05Z)
• Constrained Entropic Unlearning: A Primal-Dual Framework for Large Language Models [14.321060805197874]
  大規模言語モデル(LLM)が現実の環境でデプロイされるようになると、機密性、時代遅れ、あるいはプロプライエタリな情報を漏らさなくてはならなくなる。 既存の未学習の手法は、忘れと保持を規則化されたトレードオフとして定式化し、両方の目的を1つのスカラー化された損失に組み合わせる。 制約付き最適化問題として,LLMアンラーニングの新たな定式化を提案する。
  論文  参考訳（メタデータ） (2025-06-05T17:55:23Z)
• MUSE: Machine Unlearning Six-Way Evaluation for Language Models [109.76505405962783]
  言語モデル(LM)は、プライベートおよび著作権のあるコンテンツを含む大量のテキストデータに基づいて訓練される。 総合的な機械学習評価ベンチマークであるMUSEを提案する。 人気のある8つのアンラーニングアルゴリズムがハリー・ポッターの本やニュース記事をいかに効果的に解き放つかをベンチマークする。
  論文  参考訳（メタデータ） (2024-07-08T23:47:29Z)
• RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
  より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。 RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。 当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
  論文  参考訳（メタデータ） (2022-07-12T19:34:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。