論文の概要: Cross-Domain Generalization in Machine Unlearning via Label-Conditioned Energy Magnitude Regularization
- arxiv url: http://arxiv.org/abs/2608.17942v1
- Date: Tue, 18 Aug 2026 16:01:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.395831
- Title: Cross-Domain Generalization in Machine Unlearning via Label-Conditioned Energy Magnitude Regularization
- Title（参考訳）: ラベル記述型エネルギーマグニチュード規則化による機械学習のクロスドメイン一般化
- Abstract要約: ラベル付きエネルギーベースモデル(EBM)を用いて、クラスが忘れられた場合の残りのモデルに何が起こるかを研究する。
我々は,画像ラベルのペアのエネルギーを上昇させ,言い忘れ項でトレーニングし,事前訓練されたモデルの保持アンカー,大域的マージン,エネルギー正則化を行うことによって,クラスを忘れる。
伝播項は、各サンプルのDINOv2との類似性によって重み付けされたサンプルを保持するために同じ忘れ信号を適用するため、その類似した画像に到達し、残りは触れられずに残される。
- 参考スコア（独自算出の注目度）: 7.855177939217441
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine unlearning removes the influence of specific data from a trained model. However, most methods treat the forgotten concept as isolated. In this paper, we study what happens to the rest of the model when a class is forgotten, using a label-conditioned energy-based model (EBM) that assigns per-class energies, making the effect directly observable. We forget a class by raising the energy of its image-label pairs, training with a forget term, a retain anchor to the pretrained model, a global margin, and an energy regularizer that stops the energy magnitudes from growing without limit. A propagation term applies the same forget signal to retain samples, weighted by each sample's DINOv2 similarity to the forget class, so forgetting reaches images that resemble it and leaves the rest untouched. We evaluate on two benchmark datasets: 1) On a subset of DomainNet across four visual domains, we forget tiger, lion, and scissors one at a time. Forgetting a class in the sketch domain also erases it from real, clipart, and painting, with forgetting error reaching 98% and 99% for lion and scissors, and the effect carrying over to the most similar class. 2) On CIFAR-10, we turn off the propagation term and forget each of the ten classes on its own. Forgetting is complete (100%), while the other nine classes retain 98.5% of their pre-unlearning accuracy on average.
- Abstract（参考訳）: 機械学習は、訓練されたモデルから特定のデータの影響を取り除く。
しかし、ほとんどの方法は忘れられた概念を孤立したものとして扱う。
本稿では,クラスごとのエネルギーを割り当てるラベル付きエネルギーベースモデル(EBM)を用いて,クラスを忘れた場合の他のモデルに何が起こるかを検討する。
我々は,その画像ラベル対のエネルギーを上昇させることでクラスを忘れる,言い忘れ項でトレーニングする,事前訓練されたモデルに残留するアンカーを持つ,大域的マージンを持つ,エネルギー等級が制限なく大きくなるのを阻止するエネルギー正則化器。
伝播項は、各サンプルのDINOv2との類似性によって重み付けされたサンプルを保持するために同じ忘れ信号を適用するため、その類似した画像に到達し、残りは触れられずに残される。
ベンチマークデータセットを2つ評価する。
1) 4つの視覚領域にまたがるDomainNetのサブセットでは、トラ、ライオン、ハサミを一度に1つ忘れます。
スケッチ領域のクラスを検索すると、実物、クリップアート、絵画からクラスを消去し、誤りを忘れるとライオンやハサミの98%と99%に到達し、最も類似したクラスに受け継がれる効果がある。
2) CIFAR-10では,伝搬項をオフにし,各クラスを個別に忘れる。
他の9つのクラスは平均して、学習前の精度の98.5%を維持している。
関連論文リスト
- Learning the Signature of Memorization in Autoregressive Language Models [3.6048665052465663]
我々は,任意のコーパス上の任意のモデルを微調整することで,ラベル付きデータを無制限に生成する,最初のトランスファー可能な学習攻撃を導入する。
これにより、シャドーモデルボトルネックが取り除かれ、深層学習時代へのメンバシップ推論がもたらされる。
論文 参考訳（メタデータ） (2026-04-03T17:17:51Z) - Enhancing Automatic Chord Recognition via Pseudo-Labeling and Knowledge Distillation [15.472587124866136]
事前学習されたモデルとラベルなしオーディオを併用した2段階トレーニングパイプラインを提案する。
提案手法は,学習を2段階に分離する。第1段階では,教師として事前学習されたBTCモデルを用いて,1,000時間以上の多様な未ラベル音声の擬似ラベルを生成する。
第2段階では、学生は利用可能になるにつれて、地道なラベルで継続的に訓練される。
論文 参考訳（メタデータ） (2026-02-23T12:32:53Z) - Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。
ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。
具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
論文 参考訳（メタデータ） (2024-03-24T12:41:58Z) - Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。
MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
論文 参考訳（メタデータ） (2022-06-07T02:03:06Z) - AGKD-BML: Defense Against Adversarial Attack by Attention Guided
Knowledge Distillation and Bi-directional Metric Learning [61.8003954296545]
Atention Guided Knowledge Distillation and Bi-directional Metric Learning (AGKD-BML) による新しい対人訓練ベースモデルを提案する。
提案したAGKD-BMLモデルは,最先端のアプローチよりも一貫して優れている。
論文 参考訳（メタデータ） (2021-08-13T01:25:04Z) - Correlated Input-Dependent Label Noise in Large-Scale Image
Classification [4.979361059762468]
我々は、データセット内のラベルノイズとしてヘテロセダスティック(herescedastic, label noise)として知られる入力依存のモデリングに対して、原則的な確率論的アプローチをとる。
学習された共分散構造は、意味的に類似したクラスと共起するクラスの間のラベルノイズの既知の情報源をキャプチャする。
We set a new-of-the-art results on WebVision 1.0 with 76.6% top-1 accuracy。
論文 参考訳（メタデータ） (2021-05-19T17:30:59Z) - Exploiting Class Similarity for Machine Learning with Confidence Labels
and Projective Loss Functions [0.0]
クラスラベルは相互に関連付けられており、特定のクラスラベルは他のクラスと類似している。
現在のラベリング技術では、このような類似情報を明示的に捉えられていない。
ノイズラベルは、クラス類似性から生じる難易度の結果であると考えるので、ノイズラベルを用いたニューラルネットワークのトレーニングに使用しています。
論文 参考訳（メタデータ） (2021-03-25T04:49:44Z) - Don't Wait, Just Weight: Improving Unsupervised Representations by
Learning Goal-Driven Instance Weights [92.16372657233394]
自己教師付き学習技術は、役に立たないデータから有用な表現を学習することで、パフォーマンスを向上させることができる。
ベイジアンのインスタンスの重み付けを学習することで、下流の分類精度を向上させることができることを示す。
本研究では,STL-10 と Visual Decathlon の自己教師型回転予測タスクを用いて,BetaDataWeighter の評価を行った。
論文 参考訳（メタデータ） (2020-06-22T15:59:32Z) - Big Self-Supervised Models are Strong Semi-Supervised Learners [116.00752519907725]
ImageNet上での半教師あり学習に驚くほど効果的であることを示す。
我々のアプローチの重要な要素は、事前訓練と微調整において大きな(深度と広度)ネットワークを使用することである。
ラベルが少なくなればなるほど、より大きなネットワークから、このアプローチ(ラベル付きデータのタスクに依存しない使用)が恩恵を受けることが分かっています。
論文 参考訳（メタデータ） (2020-06-17T17:48:22Z) - Learning to Segment the Tail [91.38061765836443]
実世界の視覚認識には、大規模な長い尾を持つデータの極端なサンプル不均衡を扱う必要がある。
我々は,LVISタスクの課題に対して,データ全体をバランスの取れた部分に分割し,各部分の征服に漸進的な学習を適用する,"分別/分別"戦略を提案する。
論文 参考訳（メタデータ） (2020-04-02T09:39:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。