論文の概要: GRAIL: Gradient-Based Adaptive Unlearning for Privacy and Copyright in LLMs

• arxiv url: http://arxiv.org/abs/2504.12681v1
• Date: Thu, 17 Apr 2025 06:16:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:38:57.924523
• Title: GRAIL: Gradient-Based Adaptive Unlearning for Privacy and Copyright in LLMs
• Title（参考訳）: GRAIL: LLMにおけるプライバシーと著作権のためのグラディエントベースの適応型アンラーニング
• Authors: Kun-Woo Kim, Ji-Hoon Park, Ju-Min Han, Seong-Whan Lee,
• Abstract要約: 広範囲なデータセットでトレーニングされた大規模言語モデル(LLM)は、しばしばセンシティブな情報を学ぶ。 望ましくない情報を除去するために、スクラッチからモデル全体をリトレーニングすることは、費用がかかることと実用的でないことの両方である。 本稿では,GRAIL(AdaptIve unLearning)を提案する。
• 参考スコア（独自算出の注目度）: 26.13653211674955
• License:
• Abstract: Large Language Models (LLMs) trained on extensive datasets often learn sensitive information, which raises significant social and legal concerns under principles such as the "Right to be forgotten." Retraining entire models from scratch to remove undesired information is both costly and impractical. Furthermore, existing single-domain unlearning methods fail to address multi-domain scenarios, where knowledge is interwoven across domains such as privacy and copyright, creating overlapping representations that lead to excessive knowledge removal or degraded performance. To tackle these issues, we propose GRAIL (GRadient-based AdaptIve unLearning), a novel multi-domain unlearning framework. GRAIL leverages gradient information from multiple domains to precisely distinguish the unlearning scope from the retention scope, and applies an adaptive parameter-wise localization strategy to selectively remove targeted knowledge while preserving critical parameters for each domain. Experimental results on unlearning benchmarks show that GRAIL achieves unlearning success on par with the existing approaches, while also demonstrating up to 17% stronger knowledge retention success compared to the previous state-of-art method. Our findings establish a new paradigm for effectively managing and regulating sensitive information in large-scale pre-trained language models.
• Abstract（参考訳）: 大規模な言語モデル(LLM)は、広範囲なデータセットで訓練され、しばしばセンシティブな情報を学ぶ。 望ましくない情報を除去するために、スクラッチからモデル全体をリトレーニングすることは、費用がかかることと実用的でないことの両方である。 さらに、既存の単一ドメインのアンラーニングメソッドは、プライバシや著作権といったドメイン間で知識が織り込まれ、過剰な知識除去や性能低下につながる重複表現を生成する、複数のドメインシナリオに対処できない。 これらの問題に対処するために,我々は,新しいマルチドメインアンラーニングフレームワークであるGRAIL (GRadient-based AdaptIve unLearning)を提案する。 GRAILは、複数のドメインからの勾配情報を活用して、学習対象と保持範囲を正確に区別し、適応的パラメータワイズ・ローカライゼーション・ストラテジーを適用して、各ドメインのクリティカルパラメータを保持しながら、ターゲットとする知識を選択的に除去する。 アンラーニングベンチマークの実験結果から、GRAILは既存のアプローチと同等の未学習の成功を達成し、従来の最先端手法と比較して最大17%の知識保持の成功を達成できた。 本研究は,大規模事前学習型言語モデルにおいて,センシティブな情報を効果的に管理・制御するための新しいパラダイムを構築した。

関連論文リスト

• CodeUnlearn: Amortized Zero-Shot Machine Unlearning in Language Models Using Discrete Concept [5.345828824625758]
  コードブック機能とスパースオートエンコーダ(SAEs)を用いた新しいアンラーニング手法を提案する。 ボトルネックを利用して、アクティベーション空間を分解し、情報の流れを規制することにより、モデルの性能を無関係なデータに保ちながら、ターゲットとなる情報を効率的に解き放つ。
  論文  参考訳（メタデータ） (2024-10-08T10:26:22Z)
• Learning to Discover Knowledge: A Weakly-Supervised Partial Domain Adaptation Approach [20.899013563493202]
  ドメイン適応は、リッチアノテーションでソースドメインからの知識を活用することで、魅力的なパフォーマンスを示している。 特定の目標タスクに対して、関連するおよび高品質なソースドメインを収集するのは煩雑である。 本稿では、自己ペースト転送分類器学習(SP-TCL)と呼ばれる、単純で効果的なドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T12:54:07Z)
• Towards Federated Domain Unlearning: Verification Methodologies and Challenges [34.9987941096371]
  フェデレート・ドメイン・アンラーニングに関する最初の総合的な実証的研究について紹介する。 その結果,非学習がモデルの深い層に不均等に影響を及ぼすことが判明した。 フェデレート・ドメイン・アンラーニングに適した新しい評価手法を提案する。
  論文  参考訳（メタデータ） (2024-06-05T09:05:55Z)
• Deep face recognition with clustering based domain adaptation [57.29464116557734]
  そこで本研究では,ターゲットドメインとソースがクラスを共有しない顔認識タスクを対象とした,クラスタリングに基づく新しいドメイン適応手法を提案する。 本手法は,特徴領域をグローバルに整列させ,その一方で,対象クラスタを局所的に識別することで,識別対象特徴を効果的に学習する。
  論文  参考訳（メタデータ） (2022-05-27T12:29:11Z)
• Domain Adaptive Semantic Segmentation without Source Data [50.18389578589789]
  モデルがソースドメイン上で事前学習されていることを前提として、ソースデータのないドメイン適応セマンティックセマンティックセマンティックセマンティクスについて検討する。 本稿では,この課題に対して,肯定的学習と否定的学習という2つの要素を用いた効果的な枠組みを提案する。 私たちのフレームワークは、パフォーマンスをさらに向上するために、他のメソッドに簡単に実装および組み込むことができます。
  論文  参考訳（メタデータ） (2021-10-13T04:12:27Z)
• A Curriculum-style Self-training Approach for Source-Free Semantic Segmentation [91.13472029666312]
  ソースフリーなドメイン適応型セマンティックセマンティックセグメンテーションのためのカリキュラムスタイルの自己学習手法を提案する。 提案手法は, ソースフリーなセマンティックセグメンテーションタスクにおいて, 合成-実-実-実-実-実-実-非実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実
  論文  参考訳（メタデータ） (2021-06-22T10:21:39Z)
• Learning to Generalize Unseen Domains via Memory-based Multi-Source Meta-Learning for Person Re-Identification [59.326456778057384]
  本稿では,メモリベースのマルチソースメタラーニングフレームワークを提案する。 また,メタテスト機能を多様化するメタバッチ正規化層(MetaBN)を提案する。 実験により、M$3$Lは、目に見えない領域に対するモデルの一般化能力を効果的に向上できることが示された。
  論文  参考訳（メタデータ） (2020-12-01T11:38:16Z)
• Learning causal representations for robust domain adaptation [31.261956776418618]
  多くの現実世界のアプリケーションでは、ターゲットのドメインデータが常に利用できるとは限らない。 本稿では,学習段階において対象ドメインデータが利用できない場合について検討する。 本稿では,深層オートエンコーダと因果構造学習を統一モデルに統合したCausal AutoEncoder (CAE)を提案する。
  論文  参考訳（メタデータ） (2020-11-12T11:24:03Z)
• Unsupervised Transfer Learning with Self-Supervised Remedy [60.315835711438936]
  手動ラベルのない新しいドメインにディープネットワークを一般化することは、ディープラーニングにとって難しい。 事前学習された知識は、学習されたドメインや新しいドメインについて強い仮定をしなければ、うまく伝達しない。 本研究は,ラベル付き関連ドメインからの知識伝達により,新規ドメインにおける未ラベル対象データの識別潜在空間を学習することを目的とする。
  論文  参考訳（メタデータ） (2020-06-08T16:42:17Z)
• Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID [55.21702895051287]
  ドメイン適応オブジェクトre-IDは、学習した知識をラベル付けされたソースドメインからラベル付けされていないターゲットドメインに転送することを目的としています。 本稿では,ハイブリットメモリを用いた自己評価型コントラスト学習フレームワークを提案する。 提案手法は,オブジェクトre-IDの複数のドメイン適応タスクにおいて,最先端の処理性能を向上する。
  論文  参考訳（メタデータ） (2020-06-04T09:12:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。