論文の概要: KGA: A General Machine Unlearning Framework Based on Knowledge Gap Alignment

• arxiv url: http://arxiv.org/abs/2305.06535v1
• Date: Thu, 11 May 2023 02:44:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-12 16:17:09.325473
• Title: KGA: A General Machine Unlearning Framework Based on Knowledge Gap Alignment
• Title（参考訳）: KGA:知識ギャップアライメントに基づく汎用機械学習フレームワーク
• Authors: Lingzhi Wang, Tong Chen, Wei Yuan, Xingshan Zeng, Kam-Fai Wong, Hongzhi Yin
• Abstract要約: 我々は,忘れやすさを誘発する一般学習フレームワークKGAを提案する。 大規模なデータセットの実験は、KGAがベースラインよりも包括的な改善をもたらすことを示している。
• 参考スコア（独自算出の注目度）: 51.15802100354848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent legislation of the "right to be forgotten" has led to the interest in machine unlearning, where the learned models are endowed with the function to forget information about specific training instances as if they have never existed in the training set. Previous work mainly focuses on computer vision scenarios and largely ignores the essentials of unlearning in NLP field, where text data contains more explicit and sensitive personal information than images. In this paper, we propose a general unlearning framework called KGA to induce forgetfulness. Different from previous work that tries to recover gradients or forces models to perform close to one specific distribution, KGA maintains distribution differences (i.e., knowledge gap). This relaxes the distribution assumption. Furthermore, we first apply the unlearning method to various NLP tasks (i.e., classification, translation, response generation) and propose several unlearning evaluation metrics with pertinence. Experiments on large-scale datasets show that KGA yields comprehensive improvements over baselines, where extensive analyses further validate the effectiveness of KGA and provide insight into unlearning for NLP tasks.
• Abstract（参考訳）: 近年の「忘れられる権利」の法律は、学習したモデルに特定のトレーニングインスタンスに関する情報をトレーニングセットに存在していないかのように忘れてしまう機能を与えることで、機械学習への関心を高めている。 以前の研究は主にコンピュータビジョンのシナリオに焦点を当てており、テキストデータは画像よりも明示的でセンシティブな個人情報を含んでいるnlp分野におけるアンラーニングの本質をほとんど無視している。 本稿では,忘れやすさを誘発する一般学習フレームワークKGAを提案する。 勾配を復元したり、モデルを特定の分布に近づけようとする以前の作業とは異なり、kgaは分布の違い(つまり知識のギャップ)を維持している。 これは分布仮定を緩和する。 さらに,まず,NLPタスク(分類,翻訳,応答生成など)にアンラーニング手法を適用し,関連する未学習評価指標を提案する。 大規模なデータセットの実験では、KGAはベースラインよりも包括的な改善をもたらし、KGAの有効性をさらに検証し、NLPタスクの未学習に関する洞察を提供する。

関連論文リスト

• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• TOFU: A Task of Fictitious Unlearning for LLMs [99.92305790945507]
  Webからの大量のコーパスに基づいてトレーニングされた大規模な言語モデルは、法的および倫理的懸念を提起する機密データやプライベートデータを再現することができる。 トレーニングデータに存在する情報を忘れるためにモデルをチューニングするアンラーニングは、トレーニング後のプライベートデータを保護する手段を提供する。 未学習の理解を深めるためのベンチマークであるTOFUを紹介する。
  論文  参考訳（メタデータ） (2024-01-11T18:57:12Z)
• Independent Distribution Regularization for Private Graph Embedding [55.24441467292359]
  グラフ埋め込みは属性推論攻撃の影響を受けやすいため、攻撃者は学習したグラフ埋め込みからプライベートノード属性を推測することができる。 これらの懸念に対処するため、プライバシ保護グラフ埋め込み手法が登場した。 独立分散ペナルティを正規化項として支援し, PVGAE(Private Variational Graph AutoEncoders)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-16T13:32:43Z)
• Learning the Finer Things: Bayesian Structure Learning at the Instantiation Level [0.0]
  成功した機械学習手法は記憶と一般化の間のトレードオフを必要とする。 本稿では,探索的領域で学習し,一般化し,説明できる新しい確率的グラフィカルモデル構造学習手法を提案する。
  論文  参考訳（メタデータ） (2023-03-08T02:31:49Z)
• Self-supervised on Graphs: Contrastive, Generative,or Predictive [25.679620842010422]
  SSL(Self-supervised Learning)は、よく設計されたプリテキストタスクを通じて有益な知識を抽出するための新しいパラダイムとして登場しています。 既存のグラフSSLメソッドは、コントラスト、生成、予測の3つのカテゴリに分けられる。 また、一般的なデータセット、評価メトリクス、下流タスク、さまざまなアルゴリズムのオープンソース実装をまとめています。
  論文  参考訳（メタデータ） (2021-05-16T03:30:03Z)
• Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
  Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。 難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。 我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
  論文  参考訳（メタデータ） (2021-04-07T10:54:51Z)
• Privileged Knowledge Distillation for Online Action Detection [114.5213840651675]
  リアルタイム予測タスクに対処するフレーム単位のラベル付けタスクとして,ビデオ中のオンラインアクション検出(OAD)を提案する。 本稿では,トレーニング段階においてのみ観測可能な未来のフレームを特権情報の一種とみなすオンライン行動検出のための,新たな学習支援型フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-18T08:52:15Z)
• Active Learning for Skewed Data Sets [25.866341631677688]
  重度のクラス不均衡(スキュー)と少数の初期訓練データという2つの特徴を持つ問題に焦点をあてる。 本研究では,現在ラベル付けされているトレーニング例を通じて利用可能な知識を活用できるハイブリッド能動学習アルゴリズム(HAL)を提案する。
  論文  参考訳（メタデータ） (2020-05-23T01:50:19Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。