Fugu-MT 論文翻訳(概要): Towards Redundancy-Free Sub-networks in Continual Learning

論文の概要: Towards Redundancy-Free Sub-networks in Continual Learning

arxiv url: http://arxiv.org/abs/2312.00840v1
Date: Fri, 1 Dec 2023 02:29:52 GMT
ステータス: 処理完了
システム内更新日: 2023-12-05 20:40:02.706136
Title: Towards Redundancy-Free Sub-networks in Continual Learning
Title（参考訳）: 連続学習における冗長性フリーサブネットワークに向けて
Authors: Cheng Chen, Jingkuan Song, LianLi Gao, Heng Tao Shen
Abstract要約: カタストロフィック・フォージッティング(CF)は、継続的な学習において顕著な問題である。サブネットワークにおける冗長性を解消するため,textbfunderlineInformation underlineBottleneck underlineMasked Sub-network (IBM)を提案する。
参考スコア（独自算出の注目度）: 144.44476145253202
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Catastrophic Forgetting (CF) is a prominent issue in continual learning. Parameter isolation addresses this challenge by masking a sub-network for each task to mitigate interference with old tasks. However, these sub-networks are constructed relying on weight magnitude, which does not necessarily correspond to the importance of weights, resulting in maintaining unimportant weights and constructing redundant sub-networks. To overcome this limitation, inspired by information bottleneck, which removes redundancy between adjacent network layers, we propose \textbf{\underline{I}nformation \underline{B}ottleneck \underline{M}asked sub-network (IBM)} to eliminate redundancy within sub-networks. Specifically, IBM accumulates valuable information into essential weights to construct redundancy-free sub-networks, not only effectively mitigating CF by freezing the sub-networks but also facilitating new tasks training through the transfer of valuable knowledge. Additionally, IBM decomposes hidden representations to automate the construction process and make it flexible. Extensive experiments demonstrate that IBM consistently outperforms state-of-the-art methods. Notably, IBM surpasses the state-of-the-art parameter isolation method with a 70\% reduction in the number of parameters within sub-networks and an 80\% decrease in training time.
Abstract（参考訳）: カタストロフィック・フォージッティング(CF)は、継続的な学習において顕著な問題である。パラメータ分離は、各タスクのサブネットワークをマスクして、古いタスクに対する干渉を軽減することで、この課題に対処する。しかし、これらのサブネットワークは重量の大きさに依存しており、必ずしも重量の重要性に一致しないため、重要でない重量を維持し、冗長なサブネットワークを構築することになる。この制約を克服するために,隣接ネットワーク層間の冗長性を解消する情報ボトルネックに触発され,サブネットワーク間の冗長性を排除するために,サブネットワーク間の冗長性を排除するために,\textbf{\underline{i}nformation \underline{b}ottleneck \underline{m}asked sub-network (ibm)}を提案する。具体的には、IBMは、冗長性のないサブネットワークを構築するために重要な重みに貴重な情報を蓄積し、サブネットワークを凍結することでCFを効果的に緩和するだけでなく、貴重な知識の伝達を通じて新しいタスクのトレーニングを促進する。さらに、IBMは構築プロセスを自動化するために隠された表現を分解し、柔軟にする。大規模な実験によると、IBMは最先端の手法を一貫して上回っている。特に、IBMは最先端パラメータ分離法を超越し、サブネットワーク内のパラメータ数の70%削減とトレーニング時間の80%削減を実現している。

関連論文リスト

HyperInterval: Hypernetwork approach to training weight interval regions in continual learning [0.0]
InterContiNet(Interval Continual Learning)は、ニューラルネットワークのパラメータ空間に間隔制約を強制することに依存する。埋め込み空間内でのインターバル演算を利用する手法について紹介する。 InterContiNetよりはるかに優れた結果が得られ、いくつかのベンチマークでSOTA結果が得られます。
論文参考訳（メタデータ） (2024-05-24T11:20:41Z)
CMFDFormer: Transformer-based Copy-Move Forgery Detection with Continual Learning [52.72888626663642]
コピーモーブ偽造検出は、疑わしい偽画像中の重複領域を検出することを目的としている。深層学習に基づく複写偽造検出手法が最上位にある。 CMFDFormer という名称の Transformer-style copy-move forgery ネットワークを提案する。また、CMFDFormerが新しいタスクを処理できるように、新しいPCSD連続学習フレームワークを提供する。
論文参考訳（メタデータ） (2023-11-22T09:27:46Z)
Communication-Efficient Federated Learning via Regularized Sparse Random Networks [21.491346993533572]
本研究では,フェデレート学習におけるコミュニケーション効率向上のための新しい手法を提案する。この設定では、二項マスクはモデル重みの代わりに最適化され、固定される。伝統的な連邦学習における浮動小数点の重みよりも、Sの疎二元マスクが交換される。
論文参考訳（メタデータ） (2023-09-19T14:05:12Z)
Forget-free Continual Learning with Soft-Winning SubNetworks [67.0373924836107]
本稿では,各タスクに対して適応バイナリ(WSN)と非バイナリサブネット(SoftNet)を逐次学習し,選択する2つの連続学習手法について検討する。 WSNとSoftNetは、各タスクに関連する作業の正規化モデルウェイトとタスク適応非バイナリマスクを共同で学習する。タスクインクリメンタルラーニング(TIL)では、当選チケット毎に生成されるバイナリマスクを1つのNビットのバイナリディジットマスクにエンコードし、ハフマン符号化を用いてタスク数に対するネットワーク容量のサブ線形増加のために圧縮する。
論文参考訳（メタデータ） (2023-03-27T07:53:23Z)
Continual Learning with Dependency Preserving Hypernetworks [14.102057320661427]
継続学習(CL)問題に対処するための効果的なアプローチは、ターゲットネットワークのタスク依存重みを生成するハイパーネットワークを使用することである。本稿では,パラメータの効率を保ちながら,依存関係保存型ハイパーネットワークを用いて対象ネットワークの重み付けを生成する手法を提案する。さらに,RNNベースのハイパーネットワークのための新しい正規化手法とネットワーク成長手法を提案し,継続学習性能をさらに向上させる。
論文参考訳（メタデータ） (2022-09-16T04:42:21Z)
Extracting Effective Subnetworks with Gumebel-Softmax [9.176056742068813]
我々は、より大規模な未訓練の作業から効果的な作業作業場を抽出できる別の作業方法を提案する。本手法は, Gumbel Softmax を用いた様々なトポロジーを探索し, 抽出する。結果として得られた作業は、トレーニング時間を短縮し、パフォーマンスを改善する、非常に効率的な再スケーリングメカニズムを使用してさらに強化される。
論文参考訳（メタデータ） (2022-02-25T21:31:30Z)
Binarized Aggregated Network with Quantization: Flexible Deep Learning Deployment for CSI Feedback in Massive MIMO System [22.068682756598914]
アグリゲートチャネル再構築ネットワーク(ACRNet)と呼ばれる新しいネットワークは、フィードバックパフォーマンスを高めるように設計されています。異なる資源制約を満たすために,ネットワークを柔軟に適応させる弾性フィードバック方式を提案する。実験の結果、提案したACRNetは従来の最先端ネットワークの負荷よりも優れていた。
論文参考訳（メタデータ） (2021-05-01T22:50:25Z)
Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文参考訳（メタデータ） (2021-03-10T03:59:03Z)
Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
論文参考訳（メタデータ） (2020-06-22T10:57:43Z)
Semantic Drift Compensation for Class-Incremental Learning [48.749630494026086]
ディープネットワークのクラス増分学習は、分類対象のクラス数を順次増加させる。本研究では,特徴のセマンティックドリフト(セマンティックドリフト)と呼ばれるドリフトを推定し,その補正を行う新しい手法を提案する。
論文参考訳（メタデータ） (2020-04-01T13:31:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。