論文の概要: QR-Erase: Efficient Subspace-Based Machine Unlearning with Layer Localization
- arxiv url: http://arxiv.org/abs/2608.01422v1
- Date: Sun, 02 Aug 2026 18:08:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.197981
- Title: QR-Erase: Efficient Subspace-Based Machine Unlearning with Layer Localization
- Title（参考訳）: QR-Erase: レイヤローカライゼーションによる効率的なサブスペースベース機械学習
- Abstract要約: 機械学習は、訓練されたモデルからターゲットとなる情報を、高価なリトレーニングを必要とせずに取り除こうとする。
サブスペースベースのフレームワークであるQR-Eraseを導入する。
本稿では,有界誤差による精度の高い部分空間復元を実現すること,また,軽度スペクトルギャップ条件下では,回復した部分空間が最適SVD解に近づくことを示す。
- 参考スコア（独自算出の注目度）: 7.530890774798437
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine unlearning seeks to remove targeted information from trained models without requiring costly retraining. Existing optimization-based methods often degrade unrelated capabilities, while subspace-based approaches rely on computationally expensive singular value decompositions (SVD). We introduce QR-Erase, a subspace-based framework that uses Pivoted QR decomposition to identify and remove task-specific representations directly from model parameters. We further propose Layer-Localized QR-Erase, which restricts updates to layers containing the highest concentration of task-specific information. We show that Pivoted QR provides accurate subspace recovery with bounded error, and that under a mild spectral gap condition, the recovered subspace approaches the optimal SVD solution. Across task-level, cross-lingual, and speech unlearning, QR-Erase achieves a stronger forgetting-retention tradeoff than optimization-based methods while remaining within 5% of SVD across all metrics. Exploiting low-rank and layer-localized structure further improves forgetting (for example, reducing speech forget-set accuracy from 53.1% to 15.7%). These results demonstrate that accurate subspace recovery, rather than optimal reconstruction, is sufficient for effective unlearning and provides an efficient and general alternative to SVD-based methods for modern foundation models.
- Abstract（参考訳）: 機械学習は、訓練されたモデルからターゲットとなる情報を、高価なリトレーニングを必要とせずに取り除こうとする。
既存の最適化に基づく手法は無関係な能力を劣化させることが多いが、サブスペースベースのアプローチは計算に高価な特異値分解(SVD)に依存している。
サブスペースベースのフレームワークであるQR-Eraseを導入し、Pivoted QR分解を用いて、モデルパラメータから直接タスク固有の表現を識別・削除する。
さらに,タスク固有情報の集中度の高いレイヤへの更新を制限するレイヤローカライズQR-Eraseを提案する。
本稿では,有界誤差による精度の高い部分空間復元を実現すること,また,軽度スペクトルギャップ条件下では,回復した部分空間が最適SVD解に近づくことを示す。
QR-Eraseは、タスクレベル、クロスランガル、スピーチアンラーニング全体にわたって、最適化ベースの手法よりも強い忘れ-保持トレードオフを達成すると同時に、すべてのメトリクスにわたってSVDの5%以内に留まる。
低ランクと層局所構造を爆発させると、さらに忘れ方を改善する(例えば、音声の忘れ方精度を53.1%から15.7%に下げる)。
これらの結果は、最適再構成よりも正確な部分空間復元が効果的なアンラーニングに十分であることを示すとともに、現代の基礎モデルに対するSVDベースの手法の効率的で汎用的な代替手段を提供する。
関連論文リスト
- LASER: Loss-Aware Singular-value Decomposition and Rank Allocation for Efficient Low-Precision Vision-Language Models [12.483003654711203]
視覚言語モデル(VLM)は、強力なマルチモーダル推論機能を提供するが、その計算コストと高いパラメータ数によって、リソース制約のあるデバイスへの展開が困難になる。
提案するtextitER(textbfLoss-textbfLASAware textbfSingular-value dtextbfEcomposition and textbfRank allocation)は,低精度なVLM推論のための低ランク圧縮フレームワークである。
論文 参考訳（メタデータ） (2026-05-30T06:53:23Z) - DegBins: Degradation-Driven Binning for Depth Super-Resolution [57.61783461543096]
DegBinsは、劣化駆動のビンニングを利用して残留モデリングを適応的に強化する新しいDSRフレームワークである。
DegBinsは、精度、堅牢性、一般化の観点から、既存の最先端メソッドを一貫して上回っている。
論文 参考訳（メタデータ） (2026-05-10T16:17:11Z) - Empowering RepoQA-Agent based on Reinforcement Learning Driven by Monte-carlo Tree Search [70.63903518295785]
モンテカルロ木探索によるエージェント強化学習フレームワークRepoSearch-R1を紹介する。
RepoSearch-R1に基づいて,リポジトリ質問応答タスク用に設計されたRepoQA-Agentを構築する。
論文 参考訳（メタデータ） (2025-10-30T09:10:36Z) - Feedback Alignment Meets Low-Rank Manifolds: A Structured Recipe for Local Learning [7.034739490820967]
バックプロパゲーション(BP)を用いたディープニューラルネットワーク(DNN)のトレーニングは、最先端の精度を実現するが、大域的なエラー伝搬と完全なパラメータ化が必要である。
ダイレクトフィードバックアライメント(DFA)は、メモリ要件の低いローカルで並列化可能な更新を可能にする。
低ランク多様体上で直接動作する構造化局所学習フレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-29T15:03:46Z) - QuantVSR: Low-Bit Post-Training Quantization for Real-World Video Super-Resolution [53.13952833016505]
実世界のビデオ超解像(VSR)のための低ビット量子化モデルを提案する。
キャリブレーションデータセットを用いて各レイヤの空間的および時間的複雑さを計測する。
我々はFPおよび低ビット分岐を改良し、同時最適化を実現する。
論文 参考訳（メタデータ） (2025-08-06T14:35:59Z) - Regularizing Subspace Redundancy of Low-Rank Adaptation [54.473090597164834]
本稿では、マッピング部分空間間の冗長性を明示的にモデル化し、低ランク適応のサブスペース冗長性を適応的に正規化する手法であるReSoRAを提案する。
提案手法は、視覚言語検索や標準的な視覚分類ベンチマークにおいて、様々なバックボーンやデータセットにまたがる既存のPETL手法を一貫して促進する。
トレーニングの監督として、ReSoRAは追加の推論コストなしで、プラグイン・アンド・プレイ方式で既存のアプローチにシームレスに統合することができる。
論文 参考訳（メタデータ） (2025-07-28T11:52:56Z) - FLAT-LLM: Fine-grained Low-rank Activation Space Transformation for Large Language Model Compression [15.784158079414235]
FLAT-LLMは、アクティベーション空間の微細な低ランク変換に基づく、トレーニング不要な構造圧縮手法である。
回復微調整なしで効率よく効果的な重量圧縮を実現し、数分でキャリブレーションを完了できる。
論文 参考訳（メタデータ） (2025-05-29T19:42:35Z) - Preventing Local Pitfalls in Vector Quantization via Optimal Transport [77.15924044466976]
我々はシンクホーンアルゴリズムを用いて最適な輸送問題を最適化する新しいベクトル量子化法であるOptVQを紹介する。
画像再構成タスクの実験では,OptVQが100%のコードブック利用を実現し,現在最先端のVQNを超越していることが示された。
論文 参考訳（メタデータ） (2024-12-19T18:58:14Z) - EoRA: Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation [84.70637613266835]
EoRAは、圧縮されたLarge Language Modelを低ランク行列で拡張する微調整不要な手法である。
EoRAは、圧縮LDMの精度を回復するために、トレーニングなしの低ランク法よりも一貫して優れている。
論文 参考訳（メタデータ） (2024-10-28T17:59:03Z) - Rethinking Reconstruction Autoencoder-Based Out-of-Distribution
Detection [0.0]
リコンストラクションオートエンコーダに基づく手法は、入力再構成誤差を新規性対正規性の計量として用いることでこの問題に対処する。
本稿では, 意味的再構成, データの確実性分解, 正規化L2距離を導入し, 元の手法を大幅に改善する。
提案手法は,追加データや実装の困難さ,時間を要するパイプライン,さらには既知のクラスの分類精度を損なうことなく機能する。
論文 参考訳（メタデータ） (2022-03-04T09:04:55Z) - Few-shot Quality-Diversity Optimization [50.337225556491774]
品質多様性(QD)の最適化は、強化学習における知覚的最小値とスパース報酬を扱う上で効果的なツールであることが示されている。
本稿では,タスク分布の例から,パラメータ空間の最適化によって得られる経路の情報を利用して,未知の環境でQD手法を初期化する場合,数発の適応が可能であることを示す。
ロボット操作とナビゲーションベンチマークを用いて、疎密な報酬設定と密集した報酬設定の両方で実施された実験は、これらの環境でのQD最適化に必要な世代数を著しく削減することを示している。
論文 参考訳（メタデータ） (2021-09-14T17:12:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。