論文の概要: ESC: Erasing Space Concept for Knowledge Deletion

• arxiv url: http://arxiv.org/abs/2504.02199v1
• Date: Thu, 03 Apr 2025 00:53:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 12:58:02.790943
• Title: ESC: Erasing Space Concept for Knowledge Deletion
• Title（参考訳）: ESC: 知識削除のための空間概念の廃止
• Authors: Tae-Young Lee, Sundong Park, Minwoo Jeon, Hyoseok Hwang, Gyeong-Moon Park,
• Abstract要約: 我々は、両方の懸念を考慮し、適切な指標であるKR(Knowledge Retention score)を提供する高度なタスクであるKD(Knowledge Deletion)という新しい概念を紹介した。 本研究では,その機能に係わるアクティベーションを排除して,知識を忘れるための重要な部分空間を制限する,Easing Space Concept (ESC) という新しい学習自由消去手法を提案する。 各種データセットおよびモデルを用いた実験により,提案手法が高速かつ最先端の性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 4.621215279797196
• License:
• Abstract: As concerns regarding privacy in deep learning continue to grow, individuals are increasingly apprehensive about the potential exploitation of their personal knowledge in trained models. Despite several research efforts to address this, they often fail to consider the real-world demand from users for complete knowledge erasure. Furthermore, our investigation reveals that existing methods have a risk of leaking personal knowledge through embedding features. To address these issues, we introduce a novel concept of Knowledge Deletion (KD), an advanced task that considers both concerns, and provides an appropriate metric, named Knowledge Retention score (KR), for assessing knowledge retention in feature space. To achieve this, we propose a novel training-free erasing approach named Erasing Space Concept (ESC), which restricts the important subspace for the forgetting knowledge by eliminating the relevant activations in the feature. In addition, we suggest ESC with Training (ESC-T), which uses a learnable mask to better balance the trade-off between forgetting and preserving knowledge in KD. Our extensive experiments on various datasets and models demonstrate that our proposed methods achieve the fastest and state-of-the-art performance. Notably, our methods are applicable to diverse forgetting scenarios, such as facial domain setting, demonstrating the generalizability of our methods. The code is available at http://github.com/KU-VGI/ESC .
• Abstract（参考訳）: 深層学習におけるプライバシーに関する懸念が高まり続けており、個人は訓練されたモデルにおける個人的知識の潜在的活用について理解を深めている。 この問題に対処するためのいくつかの研究努力にもかかわらず、彼らは完全な知識の消去のためにユーザーからの現実世界の需要を考えるのに失敗することが多い。 さらに,本研究は,既存手法が埋込み機能によって個人的知識を漏洩させるリスクがあることを明らかにする。 これらの課題に対処するため、我々は、両方の懸念を考慮し、特徴空間における知識保持を評価するための適切な指標である知識保持スコア(KR)を提供する、知識削除(KD)という新しい概念を紹介した。 そこで本研究では,その機能に係わるアクティベーションを排除して,知識を忘れる上で重要な部分空間を制限する,Easing Space Concept (ESC) という新しい学習自由消去手法を提案する。 さらに、学習可能なマスクを用いて、KDにおける知識の忘れと保存のトレードオフをよりよくバランスさせるESC with Training (ESC-T)を提案する。 各種データセットおよびモデルに関する広範な実験により,提案手法が高速かつ最先端の性能を達成することを示す。 特に,本手法は,顔領域の設定や手法の一般化可能性など,多様な忘れがちなシナリオに適用可能である。 コードはhttp://github.com/KU-VGI/ESC で公開されている。

関連論文リスト

• Siamese Machine Unlearning with Knowledge Vaporization and Concentration [23.796344455232227]
  本研究では,特定のデータポイントから学習知識を選択的に消去する知識蒸散と集中の概念を提案する。 提案手法では,メモリオーバヘッドの追加や,残りのデータセットへのフルアクセスは不要である。
  論文  参考訳（メタデータ） (2024-12-02T07:19:49Z)
• InfuserKI: Enhancing Large Language Models with Knowledge Graphs via Infuser-Guided Knowledge Integration [58.61492157691623]
  知識を統合する手法が開発され、外部モジュールを通してLLMをドメイン固有の知識グラフに拡張した。 本研究は,未知の知識をLLMに効率的に統合することで,未知の知識を不要に重複させるという,新たな問題に焦点をあてる。 新しい知識を導入するリスクは、既存の知識を忘れることである。
  論文  参考訳（メタデータ） (2024-02-18T03:36:26Z)
• Knowledge Unlearning for LLMs: Tasks, Methods, and Challenges [11.228131492745842]
  大規模言語モデル(LLM)は、自然言語処理における新しい研究パラダイムを刺激している。 知識に基づく質問応答と推論の優れた能力にもかかわらず、欠陥や有害な知識を保持する可能性は、悪意のあるアプリケーションにリスクをもたらす。 機械学習の類似研究から派生した知識アンラーニングは、この問題に対処するための有望な道を示す。
  論文  参考訳（メタデータ） (2023-11-27T12:37:51Z)
• Online Continual Knowledge Learning for Language Models [3.654507524092343]
  大規模言語モデル(LLM)は、幅広い世界の知識のリポジトリとして機能し、質問応答やファクトチェックなどのタスクを実行できる。 オンライン連続知識学習(OCKL)は,実時間制約下での世界知識の動的性質を管理することを目的としている。
  論文  参考訳（メタデータ） (2023-11-16T07:31:03Z)
• Subspace Distillation for Continual Learning [27.22147868163214]
  本稿では,ニューラルネットワークの多様体構造を考慮した知識蒸留手法を提案する。 部分空間を用いたモデリングは、雑音に対するロバスト性など、いくつかの興味深い特性を提供することを示した。 実験により,提案手法は,いくつかの挑戦的データセットにおいて,様々な連続学習法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-07-31T05:59:09Z)
• Knowledge-augmented Deep Learning and Its Applications: A Survey [60.221292040710885]
  知識強化ディープラーニング(KADL)は、ドメイン知識を特定し、それをデータ効率、一般化可能、解釈可能なディープラーニングのためのディープモデルに統合することを目的としている。 本調査は,既存の研究成果を補足し,知識強化深層学習の一般分野における鳥眼研究の展望を提供する。
  論文  参考訳（メタデータ） (2022-11-30T03:44:15Z)
• Learning with Recoverable Forgetting [77.56338597012927]
  学習wIth Recoverable Forgettingは、タスクまたはサンプル固有の知識の除去とリカバリを明示的に処理する。 具体的には、LIRFは2つの革新的なスキーム、すなわち知識預金と離脱をもたらす。 いくつかのデータセットで実験を行い、提案したLIRF戦略が一般化能力を満足させる結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-07-17T16:42:31Z)
• A Unified End-to-End Retriever-Reader Framework for Knowledge-based VQA [67.75989848202343]
  本稿では,知識に基づくVQAに向けて,エンド・ツー・エンドのレトリバー・リーダー・フレームワークを提案する。 我々は、視覚言語による事前学習モデルからの多モーダルな暗黙の知識に光を当て、知識推論の可能性を掘り下げた。 提案手法では,知識検索のガイダンスを提供するだけでなく,質問応答に対してエラーが発生しやすいケースも排除できる。
  論文  参考訳（メタデータ） (2022-06-30T02:35:04Z)
• Incremental Knowledge Based Question Answering [52.041815783025186]
  人間と同じように学習能力を段階的に拡張できるインクリメンタルKBQA学習フレームワークを提案します。 具体的には、破滅的な忘れ問題を克服するために、マージン希釈損失と協調選択方法からなる。 包括的な実験は、進化する知識ベースに取り組む際にその効果と効率を示す。
  論文  参考訳（メタデータ） (2021-01-18T09:03:38Z)
• Explore, Discover and Learn: Unsupervised Discovery of State-Covering Skills [155.11646755470582]
  情報理論的スキル発見の代替手法として,'Explore, Discover and Learn'(EDL)がある。 本稿では,EDLがカバレッジ問題を克服し,学習スキルの初期状態への依存を減らし,ユーザが学習すべき行動について事前定義できるようにするなど,大きなメリットがあることを示す。
  論文  参考訳（メタデータ） (2020-02-10T10:49:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。