論文の概要: Fast-NTK: Parameter-Efficient Unlearning for Large-Scale Models

• arxiv url: http://arxiv.org/abs/2312.14923v1
• Date: Fri, 22 Dec 2023 18:55:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-25 13:54:47.987847
• Title: Fast-NTK: Parameter-Efficient Unlearning for Large-Scale Models
• Title（参考訳）: Fast-NTK:大規模モデルのためのパラメータ効率の良い未学習
• Authors: Guihong Li, Hsiang Hsu, Chun-Fu Chen, and Radu Marculescu
• Abstract要約: マシン・アンラーニング'は、スクラッチから再トレーニングすることなく、不要なデータの選択的削除を提案する。 Fast-NTKはNTKベースの新しいアンラーニングアルゴリズムであり、計算複雑性を大幅に削減する。
• 参考スコア（独自算出の注目度）: 17.34908967455907
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid growth of machine learning has spurred legislative initiatives such as ``the Right to be Forgotten,'' allowing users to request data removal. In response, ``machine unlearning'' proposes the selective removal of unwanted data without the need for retraining from scratch. While the Neural-Tangent-Kernel-based (NTK-based) unlearning method excels in performance, it suffers from significant computational complexity, especially for large-scale models and datasets. Our work introduces ``Fast-NTK,'' a novel NTK-based unlearning algorithm that significantly reduces the computational complexity by incorporating parameter-efficient fine-tuning methods, such as fine-tuning batch normalization layers in a CNN or visual prompts in a vision transformer. Our experimental results demonstrate scalability to much larger neural networks and datasets (e.g., 88M parameters; 5k images), surpassing the limitations of previous full-model NTK-based approaches designed for smaller cases (e.g., 8M parameters; 500 images). Notably, our approach maintains a performance comparable to the traditional method of retraining on the retain set alone. Fast-NTK can thus enable for practical and scalable NTK-based unlearning in deep neural networks.
• Abstract（参考訳）: 機械学習の急速な成長により、ユーザはデータの削除を要求できる‘忘れられる権利’のような立法活動が加速した。 これに対して ``machine unlearning'' では,スクラッチから再トレーニングを必要とせずに,不要なデータの選択的削除を提案する。 neural-tangent-kernel-based (ntk-based)アンラーニング手法は性能に優れているが、特に大規模モデルやデータセットでは計算の複雑さが著しい。 このアルゴリズムは,CNNの細調整バッチ正規化層や視覚変換器の視覚的プロンプトなどのパラメータ効率の高い微調整手法を取り入れることで,計算複雑性を大幅に低減する。 実験結果から,より大規模なニューラルネットワークやデータセット(88mパラメータ,5kイメージなど)に対するスケーラビリティが,より小さなケース(例えば8mパラメータ,500イメージ)向けに設計された従来のフルモデルntkベースのアプローチの限界を上回っていることが示された。 特に当社のアプローチは,retainセットのみをリトレーニングする従来の方法に匹敵するパフォーマンスを維持しています。 これにより、ディープニューラルネットワークにおける実践的でスケーラブルなNTKベースのアンラーニングが可能になる。

関連論文リスト

• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• Emulation Learning for Neuromimetic Systems [0.0]
  ニューラル量子化システムに関する最近の研究に基づいて、量子化運動の学習結果とチャネルドロップアウトに対するレジリエンスを報告する。 本稿では,経路を学習するだけでなく,チャネルドロップアウトに対するレジリエンスの利点を示す一般のディープQネットワーク(DQN)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-04T22:47:39Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Precision Machine Learning [5.15188009671301]
  様々な関数近似法を比較し,パラメータやデータの増加とともにスケールする方法について検討する。 ニューラルネットワークは、しばしば高次元の例において古典的近似法より優れていることが判明した。 我々は,ニューラルネットワークを極端に低損失に訓練する訓練手法を開発した。
  論文  参考訳（メタデータ） (2022-10-24T17:58:30Z)
• Go Beyond Multiple Instance Neural Networks: Deep-learning Models based on Local Pattern Aggregation [0.0]
  畳み込みニューラルネットワーク(CNN)は、臨床心電図(ECG)と話者非依存音声の処理においてブレークスルーをもたらした。 本稿では,局所的なパターン集約に基づくディープラーニングモデルを提案する。 LPANetと呼ばれる新しいネットワーク構造には、トリミングと集約操作が組み込まれている。
  論文  参考訳（メタデータ） (2022-05-28T13:18:18Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Training Deep Neural Networks with Constrained Learning Parameters [4.917317902787792]
  ディープラーニングタスクのかなりの部分はエッジコンピューティングシステムで実行される。 我々は, Combinatorial Neural Network Training Algorithm (CNNTrA)を提案する。 CoNNTrAは、MNIST、Iris、ImageNetデータセット上で、第三次学習パラメータでディープラーニングモデルをトレーニングする。 以上の結果から,CNNTrAモデルはメモリを32倍に削減し,バックプロパゲーションモデルと同程度の誤差を有することがわかった。
  論文  参考訳（メタデータ） (2020-09-01T16:20:11Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。