論文の概要: Instance-Level Difficulty: A Missing Perspective in Machine Unlearning

• arxiv url: http://arxiv.org/abs/2410.03043v2
• Date: Fri, 21 Feb 2025 04:44:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 23:44:09.920941
• Title: Instance-Level Difficulty: A Missing Perspective in Machine Unlearning
• Title（参考訳）: インスタンスレベルの難易度:機械学習の失敗の視点から
• Authors: Hammad Rizwan, Mahtab Sarvmaili, Hassan Sajjad, Ga Wu,
• Abstract要約: 完全インスタンスレベルのアンラーニング性能分析により,機械学習を困難にさせる難易度について検討する。 特に,データポイントの学習を困難にする4つの要因を要約する。 機械学習の研究は、未学習のインスタンスレベルの難しさに注意を払うべきだと我々は主張する。
• 参考スコア（独自算出の注目度）: 13.052520843129363
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current research on deep machine unlearning primarily focuses on improving or evaluating the overall effectiveness of unlearning methods while overlooking the varying difficulty of unlearning individual training samples. As a result, the broader feasibility of machine unlearning remains under-explored. This paper studies the cruxes that make machine unlearning difficult through a thorough instance-level unlearning performance analysis over various unlearning algorithms and datasets. In particular, we summarize four factors that make unlearning a data point difficult, and we empirically show that these factors are independent of a specific unlearning algorithm but only relevant to the target model and its training data. Given these findings, we argue that machine unlearning research should pay attention to the instance-level difficulty of unlearning.
• Abstract（参考訳）: ディープ・マシン・アンラーニングに関する最近の研究は、主に、未学習個々のトレーニングサンプルの様々な難しさを克服しつつ、未学習の手法の全体的な効果を改善し、評価することに焦点を当てている。 結果として、機械学習の幅広い実現可能性はまだ未調査のままである。 本稿では、さまざまな未学習アルゴリズムやデータセット上での総合的なインスタンスレベルの未学習性能分析を通じて、機械学習を困難にさせる難易度について検討する。 特に,データポイントの学習を困難にする4つの要因を要約し,これらの要因が特定の未学習アルゴリズムとは独立しているが,対象モデルとその学習データにのみ関連があることを実証的に示す。 これらの結果を踏まえ、機械学習研究は、学習のインスタンスレベルの困難さに注意を払うべきであると論じる。

関連論文リスト

• When to Forget? Complexity Trade-offs in Machine Unlearning [23.507879460531264]
  Machine Unlearning(MU)は、トレーニングされたモデルから特定のデータポイントの影響を取り除くことを目的としている。 本研究では,非学習手法の効率を解析し,この問題に対するミニマックス時間における第1の上限値と第2の上限値の設定を行う。 未学習度比の位相図 – 最高の未学習手法の計算コストと完全なモデル再学習を比較する新しいメトリクスを提供する。
  論文  参考訳（メタデータ） (2025-02-24T16:56:27Z)
• Unlearning in- vs. out-of-distribution data in LLMs under gradient-based method [31.268301764230525]
  この研究は、生成モデルにおける未学習の品質を評価するための指標を定式化する。 学習しない品質とパフォーマンスのトレードオフを評価するために、それを使用します。 さらに,古典的漸進的アプローチの下で,サンプルの記憶と難易度が未学習にどのように影響するかを評価する。
  論文  参考訳（メタデータ） (2024-11-07T03:02:09Z)
• RESTOR: Knowledge Recovery through Machine Unlearning [71.75834077528305]
  Webスケールコーパスでトレーニングされた大規模な言語モデルは、望ましくないデータポイントを記憶することができる。 これらのデータポイントを消去する目的で、多くの機械学習アルゴリズムが提案されている。 本稿では,機械学習アルゴリズムが対象データ消去を行う能力を評価する,機械学習のためのRESTORフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-31T20:54:35Z)
• Evaluating of Machine Unlearning: Robustness Verification Without Prior Modifications [15.257558809246524]
  Unlearningは、事前トレーニングされたモデルが特定のトレーニングサンプルの影響を取り除くことができるプロセスである。 既存の検証方法は、メンバシップ推論攻撃(MIA)やバックドア攻撃のような機械学習攻撃技術に依存している。 本稿では,事前の修正を伴わない新しい検証手法を提案し,より大規模な検証を支援する。
  論文  参考訳（メタデータ） (2024-10-14T03:19:14Z)
• Unlearning with Control: Assessing Real-world Utility for Large Language Model Unlearning [97.2995389188179]
  最近の研究は、勾配上昇(GA)を通した大規模言語モデル(LLM)の未学習にアプローチし始めている。 その単純さと効率性にもかかわらず、我々はGAベースの手法が過剰な未学習の傾向に直面することを示唆している。 過剰な未学習の度合いを制御できるいくつかの制御手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Machine Unlearning in Contrastive Learning [3.6218162133579694]
  本稿では,機械学習を効果的に行うためのモデルトレーニングのための,勾配制約に基づく新しいアプローチを提案する。 提案手法は,コントラスト学習モデルだけでなく,教師付き学習モデルにも有能な性能を示す。
  論文  参考訳（メタデータ） (2024-05-12T16:09:01Z)
• Learn What You Want to Unlearn: Unlearning Inversion Attacks against Machine Unlearning [16.809644622465086]
  我々は、機械学習が未学習データの機密内容を漏洩させる範囲を理解するために、最初の調査を行う。 機械学習・アズ・ア・サービス・セッティングの下で、未学習サンプルの特徴とラベル情報を明らかにするアンラーニング・インバージョン・アタックを提案する。 実験結果から,提案攻撃は未学習データのセンシティブな情報を明らかにすることができることが示された。
  論文  参考訳（メタデータ） (2024-04-04T06:37:46Z)
• Towards Lifecycle Unlearning Commitment Management: Measuring Sample-level Approximate Unlearning Completeness [30.596695293390415]
  本稿では, ライフサイクル・アンラーニング・コミットメント・マネジメント(LUCM)の課題について紹介する。 サンプルレベルの未学習完全性を評価するための効率的な指標を提案する。 このメトリクスは、未学習ライフサイクル全体を通して、未学習の異常を監視するツールとして機能することを示す。
  論文  参考訳（メタデータ） (2024-03-19T15:37:27Z)
• Machine Unlearning: A Survey [56.79152190680552]
  プライバシ、ユーザビリティ、および/または忘れられる権利のために、特定のサンプルに関する情報をマシンアンラーニングと呼ばれるモデルから削除する必要がある特別なニーズが生まれている。 この新興技術は、その革新と実用性により、学者と産業の両方から大きな関心を集めている。 この複雑なトピックを分析したり、さまざまなシナリオで既存の未学習ソリューションの実現可能性を比較したりした研究はない。 この調査は、未学習のテクニックに関する卓越した問題と、新しい研究機会のための実現可能な方向性を強調して締めくくった。
  論文  参考訳（メタデータ） (2023-06-06T10:18:36Z)
• Accelerating exploration and representation learning with offline pre-training [52.6912479800592]
  1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。 ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2023-03-31T18:03:30Z)
• Frugal Reinforcement-based Active Learning [12.18340575383456]
  本稿では,ラベル効率向上のための新しい能動的学習手法を提案する。 提案手法は反復的であり,多様性,表現性,不確実性の基準を混合した制約対象関数の最小化を目的としている。 また、強化学習に基づく新たな重み付け機構を導入し、各トレーニングイテレーションでこれらの基準を適応的にバランスさせる。
  論文  参考訳（メタデータ） (2022-12-09T14:17:45Z)
• NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision Research [96.53307645791179]
  我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。 分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。 NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
  論文  参考訳（メタデータ） (2022-11-15T18:57:46Z)
• Impact Learning: A Learning Method from Features Impact and Competition [1.3569491184708429]
  本稿では,インパクト学習と呼ばれる新しい機械学習アルゴリズムを提案する。 インパクト学習は教師付き学習アルゴリズムであり、分類問題と回帰問題の両方に統合することができる。 自然増進の本質的な速度によるハイライトの影響によって調製される。
  論文  参考訳（メタデータ） (2022-11-04T04:56:35Z)
• What Makes Good Contrastive Learning on Small-Scale Wearable-based Tasks? [59.51457877578138]
  本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。 本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
  論文  参考訳（メタデータ） (2022-02-12T06:10:15Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• What Matters in Learning from Offline Human Demonstrations for Robot Manipulation [64.43440450794495]
  ロボット操作のための6つのオフライン学習アルゴリズムについて広範な研究を行う。 我々の研究は、オフラインの人間のデータから学習する際の最も重要な課題を分析します。 人間のデータセットから学ぶ機会を強調します。
  論文  参考訳（メタデータ） (2021-08-06T20:48:30Z)
• Meta-learning One-class Classifiers with Eigenvalue Solvers for Supervised Anomaly Detection [55.888835686183995]
  教師付き異常検出のためのニューラルネットワークに基づくメタラーニング手法を提案する。 提案手法は,既存の異常検出法や少数ショット学習法よりも優れた性能を実現することを実験的に実証した。
  論文  参考訳（メタデータ） (2021-03-01T01:43:04Z)
• Curriculum Learning: A Survey [65.31516318260759]
  カリキュラム学習戦略は、機械学習のあらゆる分野で成功している。 我々は,様々な分類基準を考慮して,カリキュラム学習アプローチの分類を手作業で構築する。 集約型クラスタリングアルゴリズムを用いて,カリキュラム学習手法の階層木を構築する。
  論文  参考訳（メタデータ） (2021-01-25T20:08:32Z)
• Knowledge as Invariance -- History and Perspectives of Knowledge-augmented Machine Learning [69.99522650448213]
  機械学習の研究は転換点にある。 研究の関心は、高度にパラメータ化されたモデルのパフォーマンス向上から、非常に具体的なタスクへとシフトしている。 このホワイトペーパーは、機械学習研究におけるこの新興分野の紹介と議論を提供する。
  論文  参考訳（メタデータ） (2020-12-21T15:07:19Z)
• Provable Meta-Learning of Linear Representations [114.656572506859]
  我々は、複数の関連するタスクから共通の機能の集合を学習し、その知識を新しい未知のタスクに転送する、という2つの課題に対処する、高速でサンプル効率のアルゴリズムを提供する。 また、これらの線形特徴を学習する際のサンプルの複雑さに関する情報理論の下限も提供する。
  論文  参考訳（メタデータ） (2020-02-26T18:21:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。