Fugu-MT 論文翻訳(概要): Fishers Harvest Parallel Unlearning in Inherited Model Networks

論文の概要: Fishers Harvest Parallel Unlearning in Inherited Model Networks

arxiv url: http://arxiv.org/abs/2408.08493v2
Date: Tue, 20 Aug 2024 08:41:58 GMT
ステータス: 処理完了
システム内更新日: 2024-08-21 18:50:03.414130
Title: Fishers Harvest Parallel Unlearning in Inherited Model Networks
Title（参考訳）: 遺伝モデルネットワークにおける漁師の並列アンラーニング
Authors: Xiao Liu, Mingyuan Li, Xu Wang, Guangsheng Yu, Wei Ni, Lixiang Li, Haipeng Peng, Renping Liu,
Abstract要約: 本稿では、継承を示すモデル間で完全に並列なアンラーニングを可能にする、新しいアンラーニングフレームワークを提案する。重要なイネーブルは、新しいUMIG(Unified Model Inheritance Graph)であり、DAG(Directed Acyclic Graph)を使用して継承をキャプチャする。我々のフレームワークは、代替手法と比較して、アンラーニングを99%高速化します。
参考スコア（独自算出の注目度）: 26.47424619448623
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Unlearning in various learning frameworks remains challenging, with the continuous growth and updates of models exhibiting complex inheritance relationships. This paper presents a novel unlearning framework, which enables fully parallel unlearning among models exhibiting inheritance. A key enabler is the new Unified Model Inheritance Graph (UMIG), which captures the inheritance using a Directed Acyclic Graph (DAG).Central to our framework is the new Fisher Inheritance Unlearning (FIUn) algorithm, which utilizes the Fisher Information Matrix (FIM) from initial unlearning models to pinpoint impacted parameters in inherited models. By employing FIM, the FIUn method breaks the sequential dependencies among the models, facilitating simultaneous unlearning and reducing computational overhead. We further design to merge disparate FIMs into a single matrix, synchronizing updates across inherited models. Experiments confirm the effectiveness of our unlearning framework. For single-class tasks, it achieves complete unlearning with 0\% accuracy for unlearned labels while maintaining 94.53\% accuracy for retained labels on average. For multi-class tasks, the accuracy is 1.07\% for unlearned labels and 84.77\% for retained labels on average. Our framework accelerates unlearning by 99\% compared to alternative methods.
Abstract（参考訳）: さまざまな学習フレームワークにおけるアンラーニングは、複雑な継承関係を示すモデルの継続的成長と更新によって、依然として困難である。本稿では、継承を示すモデル間で完全に並列なアンラーニングを可能にする、新しいアンラーニングフレームワークを提案する。主要なイネーブルは、新しいUMIG(Unified Model Inheritance Graph)で、DAG(Directed Acyclic Graph)を使用して継承をキャプチャする。このアルゴリズムは、初期未学習モデルから遺伝モデルにおける衝突パラメータのピンポイントまで、FIM(Fiher Information Matrix)を利用する。 FIMを用いることで、FIUnメソッドはモデル間のシーケンシャルな依存関係を壊し、同時学習の容易化と計算オーバーヘッドの低減を実現している。さらに、異なるFIMを単一のマトリックスにマージし、継承されたモデル間で更新を同期するように設計する。実験は、我々の未学習フレームワークの有効性を確認します。シングルクラスのタスクでは、未学習ラベルに対する0\%の精度で完全な未学習を実現し、保持ラベルに対する94.53\%の精度を平均で維持する。マルチクラスタスクでは、未学習ラベルでは1.07\%、保持ラベルでは84.77\%である。我々のフレームワークは、代替手法と比較して、学習を99 %加速します。

関連論文リスト

CLIPErase: Efficient Unlearning of Visual-Textual Associations in CLIP [56.199779065855004]
CLIPEraseは視覚的・テキスト的関連を選択的に忘れる新しいアプローチである。 CIFAR-100とFlickr30Kデータセットの実験は、CLIPEraseがマルチモーダルサンプルのゼロショットタスクにおける指定された関連性を効果的に忘れていることを示している。
論文参考訳（メタデータ） (2024-10-30T17:51:31Z)
Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
論文参考訳（メタデータ） (2024-10-30T17:20:10Z)
Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
論文参考訳（メタデータ） (2024-03-18T08:00:23Z)
AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文参考訳（メタデータ） (2023-10-04T04:26:33Z)
RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文参考訳（メタデータ） (2023-07-05T12:49:02Z)
Model Sparsity Can Simplify Machine Unlearning [33.18951938708467]
最近のデータ規制要件に応えて、マシン・アンラーニング(MU)が重要なプロセスとして登場した。本研究は,ウェイトプルーニングによるモデルスペーシフィケーションという,新しいモデルベース視点を紹介する。理論と実践の両方において、モデルスパーシティは、近似アンラーナーのマルチ基準アンラーニング性能を高めることができることを示す。
論文参考訳（メタデータ） (2023-04-11T02:12:02Z)
Continual Learning with Optimal Transport based Mixture Model [17.398605698033656]
成熟最適輸送理論(OT-MM)の優れた性質に基づくオンライン混合モデル学習手法を提案する。提案手法は,現在の最先端のベースラインを大きく上回ることができる。
論文参考訳（メタデータ） (2022-11-30T06:40:29Z)
Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2022-03-09T17:26:53Z)
Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
論文参考訳（メタデータ） (2021-04-07T10:54:51Z)
Few-Shot Lifelong Learning [35.05196800623617]
Few-Shot Lifelong Learningにより、深層学習モデルが短距離/連続学習を実行できます。提案手法では,モデルからごく少数のパラメータを選択して,モデル全体をトレーニングする代わりに,新しいクラスのセットをトレーニングする。提案手法は, miniImageNet, CIFAR-100, CUB-200データセットにおいて, 既存の手法よりも優れていることを示す。
論文参考訳（メタデータ） (2021-03-01T13:26:57Z)
A Primal-Dual Subgradient Approachfor Fair Meta Learning [23.65344558042896]
ショットのメタ学習は、その高速適応能力と、未知のタスクへの精度の一般化で有名である。そこで本研究では,ごく少数の例を用いて,公正な機械学習モデルのトレーニングを学習するPrimal-Dual Meta-learningフレームワーク,すなわちPDFMを提案する。
論文参考訳（メタデータ） (2020-09-26T19:47:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。