論文の概要: GRACE:Gradient-guided Coreset Selection for LLM Unlearning

• arxiv url: http://arxiv.org/abs/2608.28361v1
• Date: Fri, 28 Aug 2026 14:12:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.347974
• Title: GRACE:Gradient-guided Coreset Selection for LLM Unlearning
• Title（参考訳）: GRACE:LLMアンラーニングのためのグラディエントガイド付きコアセット選択
• Abstract要約: GRACEは勾配誘導型コアセット選択法であり、マシン・アンラーニングのためのセットを忘れて保持する。 モデルの有用性を向上し、同等の忘れ品質を維持しつつ、特に従来の勾配ベースの選択方法よりも一貫性のある利得を保っている。
• 参考スコア（独自算出の注目度）: 2.5154876550046033
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine Unlearning methods for Large Language Models typically assume pre-specified forget and retain sets. In realistic settings, however, requests may provide only a few examples of undesired behavior, requiring forget and retain sets to be inferred from heterogeneous corpora. We study this data-selection problem and propose GRACE , a gradient-guided coreset selection method that constructs both forget and retain sets for LLM unlearning. GRACE first computes a forget direction from seed examples that elicit the undesired behavior, then selects a compact forget coreset whose gradients approximate this direction using non-negative orthogonal matching pursuit. To preserve model utility, it selects retain examples after projecting out the forget direction and applying clustered orthogonal matching pursuit in the remaining gradient space. Across two target domains, two model families, and four unlearning algorithms, GRACE improves model utility while maintaining comparable forget quality, with particularly consistent gains over prior gradient-based selection methods.
• Abstract（参考訳）: 大規模言語モデルのための機械学習手法は、通常、事前に指定された忘れと集合の保持を前提とします。 しかし現実的な設定では、要求は望ましくない振る舞いの少数の例しか提供せず、不均一なコーパスから推論される集合を忘れ、保持する必要がある。 本研究では,このデータ選択問題について検討し,LLMアンラーニング用セットの忘れと保持を両立する勾配誘導コアセット選択法であるGRACEを提案する。 GRACEはまず、望ましくない振る舞いを誘発するシード例から忘れ方向を計算し、非負の直交マッチング追跡を用いて勾配がこの方向を近似するコンパクトな忘れコアセットを選択する。 モデルの実用性を維持するために、左折方向を投影し、残りの勾配空間にクラスタ化された直交マッチング探索を適用した後、サンプルを選択する。 2つの対象ドメイン、2つのモデルファミリ、および4つの未学習アルゴリズムにおいて、GRACEはモデルユーティリティを改善しながら、同等の品質を維持し、特に従来の勾配ベースの選択方法よりも一貫して向上する。

関連論文リスト

• GLOBE: Trajectory-Aligned Gradient Matching with Structured SparseOptimization for Coreset Selection [4.969458805037944]
  ディープニューラルネットワークのオンデバイストレーニングは、大規模データセットの計算とメモリコストに制約される。 本稿では,大域的に最適化されたスパース重み付け問題として,サンプル選択を定式化するトラジェクトリ・アライン・コアセット選択フレームワークGLOBEを提案する。
  論文  参考訳（メタデータ） (2026-08-03T09:01:29Z)
• PURGE: Projected Unlearning via Retain-Guided Erasure [5.069332646113575]
  PURGEは、単純だが未発見の観測(継続学習(CL)と機械未学習(MU))に基づいて構築された機械学習アルゴリズムである。 CLは古いタスクを忘れずに新しいタスクを学習しようとします。MUは、反対方向に同じ根底にある緊張力を表す保持パフォーマンスを損なうことなく、特定のデータを消去しようとします。 PURGEは、MIA AUROCを0.5(理想)に近い精度で達成し、勾配上昇、KLユニフォーム、プライバシーユーティリティフロンティアのいくつかのベースラインを達成しながら、常に96%以上の精度を維持している。
  論文  参考訳（メタデータ） (2026-06-02T15:53:01Z)
• Nearly Optimal Active Preference Learning and Its Application to LLM Alignment [68.56793807995417]
  大規模言語モデルの調整は、人間の好みラベルの高品質なデータセットに依存する。 既存の多くのアプローチでは、G-やD-最適化のような古典的な実験的な設計基準が採用されている。 本研究では,これら設計目標の適合性に疑問を呈する,選好学習に特有な単純な直観を同定する。
  論文  参考訳（メタデータ） (2026-02-02T03:21:29Z)
• Geometric-Disentangelment Unlearning [106.99160454669902]
  忘れたサンプルへの勾配は しばしば 保持された知識を傷つける 本稿では,GU(Geometric-disment Unlearning)を提案する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
  論文  参考訳（メタデータ） (2025-11-21T09:58:25Z)
• Machine Unlearning under Overparameterization [33.0107730972836]
  機械学習アルゴリズムは、特定のサンプルの影響を除去し、残ったデータだけで得られたであろうモデルを理想的に回復することを目的としている。 私たちは、多くのモデルが多くのアルゴリズムモデルより優れているトレーニング環境で、事前のソリューションで$asをインターポレートする。 我々は、様々な未学習実験において、正確で近似的な未学習のクラスを提供する。
  論文  参考訳（メタデータ） (2025-05-28T17:14:57Z)
• Uniform Discretized Integrated Gradients: An effective attribution based method for explaining large language models [0.0]
  統合グラディエンス(Integrated Gradients)は、ディープラーニングモデルを説明するテクニックとしてよく知られている。 本稿では,UDIG(Uniform Discretized Integrated Gradients)と呼ばれる手法を提案する。 本手法は,2種類のNLPタスクに対して,3つのメトリクスビズログオッズ,包括性,十分性に対する感性分類と質問応答について検討した。
  論文  参考訳（メタデータ） (2024-12-05T05:39:03Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Class Gradient Projection For Continual Learning [99.105266615448]
  破滅的な忘れは継続的学習(CL)における最も重要な課題の1つです。 タスクではなく個々のクラスから勾配部分空間を計算するクラスグラディエント・プロジェクション(CGP)を提案する。
  論文  参考訳（メタデータ） (2023-11-25T02:45:56Z)
• Adaptive Graph-based Generalized Regression Model for Unsupervised Feature Selection [11.214334712819396]
  非相関的かつ識別的特徴の選択は、教師なしの機能選択の重要な問題である。 非相関制約と $ell_2,1$-norm 正規化によって課される新しい一般化回帰モデルを提案する。 それは同時に同じ近所に属するこれらのデータ ポイントの分散を減らすこと無相関および差別的な特徴を選ぶことができます。
  論文  参考訳（メタデータ） (2020-12-27T09:07:26Z)
• Deep Reinforcement Learning of Graph Matching [63.469961545293756]
  ノードとペアの制約下でのグラフマッチング(GM)は、最適化からコンピュータビジョンまでの領域におけるビルディングブロックである。 GMのための強化学習ソルバを提案する。 rgmはペアワイズグラフ間のノード対応を求める。 本手法は,フロントエンドの特徴抽出と親和性関数学習に焦点をあてるという意味において,従来のディープグラフマッチングモデルと異なる。
  論文  参考訳（メタデータ） (2020-12-16T13:48:48Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。