論文の概要: Machine Unlearning in Forgettability Sequence

• arxiv url: http://arxiv.org/abs/2410.06446v2
• Date: Mon, 21 Oct 2024 14:28:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 05:38:53.429040
• Title: Machine Unlearning in Forgettability Sequence
• Title（参考訳）: フォーゲッタビリティシーケンスにおける機械学習
• Authors: Junjie Chen, Qian Chen, Jian Lou, Xiaoyu Zhang, Kai Wu, Zilong Wang,
• Abstract要約: 未学習の難易度と未学習アルゴリズムの性能に影響を及ぼす要因を同定する。 本稿では,RankingモジュールとSeqUnlearnモジュールからなる一般の未学習フレームワーク RSU を提案する。
• 参考スコア（独自算出の注目度）: 22.497699136603877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine unlearning (MU) is becoming a promising paradigm to achieve the "right to be forgotten", where the training trace of any chosen data points could be eliminated, while maintaining the model utility on general testing samples after unlearning. With the advancement of forgetting research, many fundamental open questions remain unanswered: do different samples exhibit varying levels of difficulty in being forgotten? Further, does the sequence in which samples are forgotten, determined by their respective difficulty levels, influence the performance of forgetting algorithms? In this paper, we identify key factor affecting unlearning difficulty and the performance of unlearning algorithms. We find that samples with higher privacy risks are more likely to be unlearning, indicating that the unlearning difficulty varies among different samples which motives a more precise unlearning mode. Built upon this insight, we propose a general unlearning framework, dubbed RSU, which consists of Ranking module and SeqUnlearn module.
• Abstract（参考訳）: マシン・アンラーニング(MU)は、「忘れられる権利」を達成するための有望なパラダイムとなりつつあり、選択されたデータポイントのトレーニングトレースを排除し、アンラーニング後の一般的なテストサンプルのモデルユーティリティを維持している。 研究を忘れることの進歩とともに、多くの基本的なオープンな疑問は未解決のままである: 異なるサンプルは忘れられることの難しさのレベルが異なるか? さらに、各難易度によって決定されるサンプルを忘れるシーケンスは、アルゴリズムの忘れ方に影響を及ぼすか。 本稿では,未学習の難易度と未学習アルゴリズムの性能に影響を及ぼす要因を同定する。 より高いプライバシーリスクを持つサンプルは未学習になりがちであり、未学習の難しさは、より正確な未学習モードの動機となるサンプルによって異なることを示している。 この知見に基づいて,RoutingモジュールとSeqUnlearnモジュールからなる一般の未学習フレームワーク RSU を提案する。

関連論文リスト

• Towards Understanding the Feasibility of Machine Unlearning [14.177012256360635]
  未学習の難易度を定量化するための新しい指標のセットを提案する。 具体的には,学習を成功させるのに必要な条件を評価するために,いくつかの指標を提案する。 また、最も難解なサンプルを特定するためのランキング機構も提示する。
  論文  参考訳（メタデータ） (2024-10-03T23:41:42Z)
• MUSE: Machine Unlearning Six-Way Evaluation for Language Models [109.76505405962783]
  言語モデル(LM)は、プライベートおよび著作権のあるコンテンツを含む大量のテキストデータに基づいて訓練される。 総合的な機械学習評価ベンチマークであるMUSEを提案する。 人気のある8つのアンラーニングアルゴリズムがハリー・ポッターの本やニュース記事をいかに効果的に解き放つかをベンチマークする。
  論文  参考訳（メタデータ） (2024-07-08T23:47:29Z)
• What makes unlearning hard and what to do about it [3.2140380913122195]
  未学習の難易度と未学習アルゴリズムの性能に影響を及ぼす2つの要因を同定する。 筆者らは,Refined-Unlearning Meta-algorithm (RUM) というフレームワークを開発した。そのフレームワークは, (i) 異なる特徴により, 忘れセットを均質化されたサブセットに精製し, (ii) 既存のアルゴリズムを用いて各サブセットを学習し,最後に、全体的な忘れセットを学習したモデルを提供するメタアルゴリズムである。
  論文  参考訳（メタデータ） (2024-06-03T12:14:47Z)
• Challenging Forgets: Unveiling the Worst-Case Forget Sets in Machine Unlearning [9.998859702421417]
  マシン・アンラーニング(MU)は、選択したデータポイントがモデルの性能に与える影響を排除することを目的としている。 データ影響消去のための様々なMU手法にもかかわらず、評価は主にランダムなデータの忘れ方に焦点を当てている。 本稿では,影響消去の最も重要な課題を示すデータサブセットの同定を提案する。
  論文  参考訳（メタデータ） (2024-03-12T06:50:32Z)
• Extrinsicaly Rewarded Soft Q Imitation Learning with Discriminator [0.0]
  行動クローンのような教師付き学習手法はサンプリングデータを必要としないが、通常は分散シフトに悩まされる。 ソフトQ模倣学習(SQIL)はこの問題に対処し,行動クローンとソフトQ学習を一定の報酬と組み合わせることで効率よく学習できることを示した。
  論文  参考訳（メタデータ） (2024-01-30T06:22:19Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• MILD: Modeling the Instance Learning Dynamics for Learning with Noisy Labels [19.650299232829546]
  クリーンなデータを特定するために,Weibull混合モデルに基づく反復的選択手法を提案する。 特に、誤分類と暗記の間の遷移時間を通じて、各インスタンスの暗記の難しさを測定し、暗記する。 我々の戦略は既存の雑音ラベル学習方法より優れている。
  論文  参考訳（メタデータ） (2023-06-20T14:26:53Z)
• HardVis: Visual Analytics to Handle Instance Hardness Using Undersampling and Oversampling Techniques [48.82319198853359]
  HardVisは、主に不均衡な分類シナリオでインスタンスの硬さを処理するために設計されたビジュアル分析システムである。 ユーザはさまざまな視点からデータのサブセットを探索して、これらのパラメータをすべて決定できる。 HardVisの有効性と有効性は仮説的利用シナリオとユースケースで実証される。
  論文  参考訳（メタデータ） (2022-03-29T17:04:16Z)
• A Simple Hash-Based Early Exiting Approach For Language Understanding and Generation [77.85086491395981]
  早期終了は、難易度の推定に応じて異なるレイヤでインスタンスを終了させることを可能にする。 我々はハッシュベースの早期退避アプローチ(HashEE)を提案し,各トークンを固定された退避層に割り当てるために,学習から退避するモジュールをハッシュ関数に置き換える。 分類,回帰,生成タスクに関する実験結果から,HashEEはFLOPを少なくして高い性能を達成できることが示された。
  論文  参考訳（メタデータ） (2022-03-03T12:02:05Z)
• Low-Regret Active learning [64.36270166907788]
  トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。 私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
  論文  参考訳（メタデータ） (2021-04-06T22:53:45Z)
• When is Memorization of Irrelevant Training Data Necessary for High-Accuracy Learning? [53.523017945443115]
  我々は,十分な精度のトレーニングアルゴリズムが,予測モデルにおいて,そのトレーニング例の大規模サブセットに関する情報を本質的にすべてエンコードしなければならない自然予測問題を記述する。 私たちの結果は、トレーニングアルゴリズムや学習に使用されるモデルのクラスに依存しません。
  論文  参考訳（メタデータ） (2020-12-11T15:25:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。