論文の概要: Machine Unlearning in Low-Dimensional Feature Subspace

• arxiv url: http://arxiv.org/abs/2601.22456v1
• Date: Fri, 30 Jan 2026 01:58:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.159817
• Title: Machine Unlearning in Low-Dimensional Feature Subspace
• Title（参考訳）: 低次元特徴部分空間における機械学習
• Authors: Kun Fang, Qinghua Tao, Junxu Liu, Yaxin Xiao, Qingqing Ye, Jian Sun, Haibo Hu,
• Abstract要約: マシン・アンラーニング(MU)は、訓練済みモデルから特定のデータの影響を取り除き、残りのデータのパフォーマンスを維持することを目的としている。 本研究では,低次元特徴部分空間にMUの新たな視点を提示し,残余と忘れるデータを分離する可能性をもたらす。 この分離性は、事前訓練されたモデルスキスルー主射影からLOW次元のFeaTure部分空間で学習を進める方法であるLOFTを動機付けている。
• 参考スコア（独自算出の注目度）: 47.517520054804976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine Unlearning (MU) aims at removing the influence of specific data from a pretrained model while preserving performance on the remaining data. In this work, a novel perspective for MU is presented upon low-dimensional feature subspaces, which gives rise to the potentials of separating the remaining and forgetting data herein. This separability motivates our LOFT, a method that proceeds unlearning in a LOw-dimensional FeaTure subspace from the pretrained model skithrough principal projections, which are optimized to maximally capture the information of the remaining data and meanwhile diminish that of the forgetting data. In training, LOFT simply optimizes a small-size projection matrix flexibly plugged into the pretrained model, and only requires one-shot feature fetching from the pretrained backbone instead of repetitively accessing the raw data. Hence, LOFT mitigates two critical issues in mainstream MU methods, i.e., the privacy leakage risk from massive data reload and the inefficiency of updates to the entire pretrained model. Extensive experiments validate the significantly lower computational overhead and superior unlearning performance of LOFT across diverse models, datasets, tasks, and applications. Code is anonymously available at https://anonymous.4open.science/r/4352/.
• Abstract（参考訳）: マシン・アンラーニング(MU)は、訓練済みモデルから特定のデータの影響を取り除き、残りのデータのパフォーマンスを維持することを目的としている。 本研究では,低次元特徴部分空間にMUの新たな視点を提示し,残余と忘れるデータを分離する可能性をもたらす。 この分離性は、事前訓練されたモデルスキスルー主射影から、LOW次元のFeaTure部分空間で未学習を進める方法であるLOFTを動機付けます。 トレーニングでは、LOFTは単に、事前訓練されたモデルに柔軟に接続可能な小さなプロジェクションマトリックスを最適化し、生データに繰り返しアクセスする代わりに、トレーニング済みのバックボーンからフェッチするワンショット機能のみを必要とする。 したがって、LOFTはメインストリームMUメソッドにおける2つの重要な問題を緩和する。すなわち、大量のデータリロードによるプライバシー漏洩リスクと、事前訓練されたモデル全体の更新の非効率である。 大規模な実験は、様々なモデル、データセット、タスク、アプリケーション間でLOFTの計算オーバーヘッドが著しく低く、未学習のパフォーマンスが優れていることを検証している。 コードはhttps://anonymous.4open.science/r/4352/で匿名で入手できる。

関連論文リスト

• Model Collapse Is Not a Bug but a Feature in Machine Unlearning for LLMs [54.167494079321465]
  LLMの現在のアンラーニング方法は、それらを微調整データに組み込むことで、削除しようとしているプライベート情報に基づいて最適化されている。 本研究では,未学習目標を学習対象に含まない新しい非学習手法-部分的モデル崩壊(PMC)を提案する。
  論文  参考訳（メタデータ） (2025-07-06T03:08:49Z)
• Machine Unlearning on Pre-trained Models by Residual Feature Alignment Using LoRA [15.542668474378633]
  本稿では,事前学習モデルを用いた新しい機械学習手法を提案する。 LoRAを利用して、モデルの中間機能を事前訓練された特徴と残像に分解する。 本手法は,保持集合上のゼロ残差を学習し,未学習集合上でシフト残差を学習することを目的としている。
  論文  参考訳（メタデータ） (2024-11-13T08:56:35Z)
• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Understanding Fine-tuning in Approximate Unlearning: A Theoretical Perspective [39.958103832214135]
  ファインチューニング(FT)手法は、未学習を近似するための基本的なアプローチの1つとなっている。 本稿では,線形回帰フレームワーク内での機械学習のためのFT法に関する最初の理論的解析を行う。 本稿では,残りのデータセットに基づいて重量分布マップを構築するRBM(Retention-Based Masking)戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-04T18:01:52Z)
• Partially Blinded Unlearning: Class Unlearning for Deep Networks a Bayesian Perspective [4.31734012105466]
  マシン・アンラーニング(英: Machine Unlearning)とは、特定のデータセットやクラスに指定された情報を事前訓練されたモデルから選択的に破棄するプロセスである。 本研究では,事前学習した分類ネットワークから,特定の種類のデータに関連付けられた情報の目的的除去に適した手法を提案する。 本手法は,従来の最先端の未学習手法を超越し,優れた有効性を示す。
  論文  参考訳（メタデータ） (2024-03-24T17:33:22Z)
• Scissorhands: Scrub Data Influence via Connection Sensitivity in Networks [26.388179714663593]
  我々は、訓練されたモデルからデータの影響を消すために、Scisorhandsの新しい機械学習アプローチを提案する。 画像分類と画像生成タスクにまたがって実施した実験の結果,Scisorhandsが競争性能を示した。
  論文  参考訳（メタデータ） (2024-01-11T08:39:14Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Task-Aware Machine Unlearning and Its Application in Load Forecasting [4.00606516946677]
  本稿では、すでに訓練済みの予測器に対するデータセットの一部の影響を除去するために特別に設計された機械学習の概念を紹介する。 局所モデルパラメータ変化の感度を影響関数とサンプル再重み付けを用いて評価することにより,性能認識アルゴリズムを提案する。 リアルな負荷データセットを用いて,線形,CNN,Mixerベースの負荷予測器上で,未学習アルゴリズムを検証した。
  論文  参考訳（メタデータ） (2023-08-28T08:50:12Z)
• Knowledge Distillation as Efficient Pre-training: Faster Convergence, Higher Data-efficiency, and Better Transferability [53.27240222619834]
  効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。 提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
  論文  参考訳（メタデータ） (2022-03-10T06:23:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。