論文の概要: Ada-QPacknet -- adaptive pruning with bit width reduction as an efficient continual learning method without forgetting

• arxiv url: http://arxiv.org/abs/2308.07939v2
• Date: Sun, 1 Oct 2023 15:43:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-03 13:20:57.542631
• Title: Ada-QPacknet -- adaptive pruning with bit width reduction as an efficient continual learning method without forgetting
• Title（参考訳）: ada-qpacknet -- ビット幅削減による適応プルーニング--忘れずに効率的な連続学習法
• Authors: Marcin Pietro\'n, Dominik \.Zurek, Kamil Faber, Roberto Corizzo
• Abstract要約: この作業では、新しいアーキテクチャベースのアプローチであるAda-QPacknetについて説明する。 タスクごとにサブネットワークを抽出するプルーニングが組み込まれている。 その結果,提案手法はタスクおよびクラスインクリメンタルシナリオにおいてCL戦略の大部分を上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 0.8681331155356999
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual Learning (CL) is a process in which there is still huge gap between human and deep learning model efficiency. Recently, many CL algorithms were designed. Most of them have many problems with learning in dynamic and complex environments. In this work new architecture based approach Ada-QPacknet is described. It incorporates the pruning for extracting the sub-network for each task. The crucial aspect in architecture based CL methods is theirs capacity. In presented method the size of the model is reduced by efficient linear and nonlinear quantisation approach. The method reduces the bit-width of the weights format. The presented results shows that low bit quantisation achieves similar accuracy as floating-point sub-network on a well-know CL scenarios. To our knowledge it is the first CL strategy which incorporates both compression techniques pruning and quantisation for generating task sub-networks. The presented algorithm was tested on well-known episode combinations and compared with most popular algorithms. Results show that proposed approach outperforms most of the CL strategies in task and class incremental scenarios.
• Abstract（参考訳）: 連続学習(continual learning、cl)は、人間とディープラーニングモデルの効率の間には依然として大きなギャップがあるプロセスである。 近年、多くのCLアルゴリズムが設計された。 その多くは、動的で複雑な環境での学習に多くの問題を抱えています。 本稿では,新しいアーキテクチャベースアプローチであるada-qpacknetについて述べる。 タスクごとにサブネットワークを抽出するプルーニングが組み込まれている。 アーキテクチャベースのCLメソッドにおける重要な側面は、そのキャパシティである。 提案手法では, 効率的な線形および非線形量子化法により, モデルのサイズを小さくする。 この方法はウェイトフォーマットのビット幅を削減する。 その結果、低ビット量子化は、よく知られたCLシナリオにおける浮動小数点サブネットワークと同様の精度で実現できることを示した。 我々の知る限り、タスクサブネットワークを生成するための圧縮技術と量子化の両方を取り入れた最初のCL戦略である。 提案アルゴリズムは、よく知られたエピソードの組み合わせを用いてテストし、最も一般的なアルゴリズムと比較した。 その結果,提案手法はタスクおよびクラスインクリメンタルシナリオにおいてCL戦略の大部分を上回っていることがわかった。

関連論文リスト

• CLAQ: Pushing the Limits of Low-Bit Post-Training Quantization for LLMs [44.03692512352445]
  カラムレベル適応量量子化(CLAQ)は、LLM(Large Language Models)量子化のための新しく効果的なフレームワークである。 本稿では,LLM量子化のための3種類の適応戦略を導入することで,新しい効果的なCLAQフレームワークを提案する。 LLaMA-1, LLaMA-2, Yi など,様々な主要なオープンソース LLM に関する実験により, 提案手法が様々なビット設定における最先端結果を達成することを示す。
  論文  参考訳（メタデータ） (2024-05-27T14:49:39Z)
• A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
  対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。 近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。 従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
  論文  参考訳（メタデータ） (2024-02-06T15:45:27Z)
• Fast and Scalable Network Slicing by Integrating Deep Learning with Lagrangian Methods [8.72339110741777]
  ネットワークスライシングは、多種多様なサービスを効率的にサポートするために、5G以上の重要なテクニックである。 ディープラーニングモデルは、動的スライシング構成に対する限定的な一般化と適応性に悩まされる。 本稿では,制約付き最適化手法とディープラーニングモデルを統合する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-22T07:19:16Z)
• Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
  大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。 適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。 我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-07-07T15:03:42Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Tricks and Plugins to GBM on Images and Sequences [18.939336393665553]
  本稿では,動的特徴選択とBoostCNNの利点を組み合わせるために,Deep Convolutional Neural Networks(BoostCNN)を高速化するアルゴリズムを提案する。 また,最小2乗の目的関数に基づいて,重み付けをディープラーニングアーキテクチャに組み込むアルゴリズムも提案する。 実験により,提案手法はいくつかのきめ細かい分類タスクのベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-03-01T21:59:00Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Online Sequential Extreme Learning Machines: Features Combined From Hundreds of Midlayers [0.0]
  本稿では階層型オンラインシーケンシャル学習アルゴリズム(H-OS-ELM)を提案する。 アルゴリズムは、一定のブロックサイズまたは異なるブロックサイズでチャンクごとにチャンクを学習することができる。
  論文  参考訳（メタデータ） (2020-06-12T00:50:04Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。