論文の概要: Towards Experience Replay for Class-Incremental Learning in Fully-Binary Networks

• arxiv url: http://arxiv.org/abs/2503.07107v1
• Date: Mon, 10 Mar 2025 09:31:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:51:00.891248
• Title: Towards Experience Replay for Class-Incremental Learning in Fully-Binary Networks
• Title（参考訳）: 完全双対ネットワークにおけるクラスインクリメンタルラーニングの体験リプレイに向けて
• Authors: Yanis Basso-Bert, Anca Molnos, Romain Lemaire, William Guicquero, Antoine Dupret,
• Abstract要約: 本稿では,FBNN(Fully-Binarized NN)におけるクラスインクリメンタル学習の実現に向けて,さらに一歩進める。 我々は、CILに適したFBNN設計とその訓練手順を再検討する。 第3に、転送可能な表現のためのFBNNの特徴抽出器を事前訓練する半教師付き手法を提案する。
• 参考スコア（独自算出の注目度）: 1.3980986259786223
• License:
• Abstract: Binary Neural Networks (BNNs) are a promising approach to enable Artificial Neural Network (ANN) implementation on ultra-low power edge devices. Such devices may compute data in highly dynamic environments, in which the classes targeted for inference can evolve or even novel classes may arise, requiring continual learning. Class Incremental Learning (CIL) is a common type of continual learning for classification problems, that has been scarcely addressed in the context of BNNs. Furthermore, most of existing BNNs models are not fully binary, as they require several real-valued network layers, at the input, the output, and for batch normalization. This paper goes a step further, enabling class incremental learning in Fully-Binarized NNs (FBNNs) through four main contributions. We firstly revisit the FBNN design and its training procedure that is suitable to CIL. Secondly, we explore loss balancing, a method to trade-off the performance of past and current classes. Thirdly, we propose a semi-supervised method to pre-train the feature extractor of the FBNN for transferable representations. Fourthly, two conventional CIL methods, \ie, Latent and Native replay, are thoroughly compared. These contributions are exemplified first on the CIFAR100 dataset, before being scaled up to address the CORE50 continual learning benchmark. The final results based on our 3Mb FBNN on CORE50 exhibit at par and better performance than conventional real-valued larger NN models.
• Abstract（参考訳）: バイナリニューラルネットワーク(BNN)は,超低消費電力エッジデバイス上でのニューラルネットワーク(ANN)実装を実現するための,有望なアプローチである。 このようなデバイスは、推論対象のクラスが進化したり、新しいクラスが生まれ、継続的な学習を必要とするような、非常にダイナミックな環境でデータを計算することができる。 クラスインクリメンタルラーニング(クラスインクリメンタルラーニング, Class Incremental Learning, CIL)は、BNNの文脈ではほとんど扱われていない分類問題に対する継続学習の一種である。 さらに、既存のBNNモデルは、入力、出力、バッチ正規化のために複数の実数値のネットワーク層を必要とするため、完全にバイナリではない。 本稿では、FBNN(Fully-Binarized NN)における4つの主要なコントリビューションを通じて、クラスインクリメンタルな学習を可能にする。 まず、CILに適したFBNN設計とその訓練手順を見直しる。 次に、過去のクラスと現在のクラスのパフォーマンスをトレードオフする手法である損失バランスについて検討する。 第3に、転送可能な表現のためのFBNNの特徴抽出器を事前訓練する半教師付き手法を提案する。 第4に、従来の2つのCILメソッドであるShaie、Latent、Nativeのリプレイを徹底的に比較する。 これらのコントリビューションは、まずCIFAR100データセットで例示され、CORE50連続学習ベンチマークに対処するためにスケールアップされる。 CORE50の3Mb FBNNをベースとした最終結果は、従来の実価値の大きいNNモデルよりも同等に、パフォーマンスが向上した。

関連論文リスト

• NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
  我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。 我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。 さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
  論文  参考訳（メタデータ） (2024-08-28T02:17:58Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
  k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。 我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。 本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
  論文  参考訳（メタデータ） (2021-12-15T20:15:01Z)
• Student Performance Prediction Using Dynamic Neural Models [0.0]
  本稿では, 学生の次の受験質問に対する回答の正しさを, 以前のインタラクションに基づいて予測する問題に対処する。 我々は、その解に対する動的ニューラルネットワークの2つの主要なクラス、すなわち有限メモリ時間遅延ニューラルネットワーク(TDNN)と潜在的無限メモリリカレントニューラルネットワーク(RNN)を比較した。 実験の結果,これまでに使用したすべてのデータセットにおいて,RNNアプローチの性能はTDNNアプローチよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-06-01T14:40:28Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• FTBNN: Rethinking Non-linearity for 1-bit CNNs and Going Beyond [23.5996182207431]
  本稿では,二項化畳み込み過程が,その誤差を最小限に抑えるために線形性を増大させ,BNNの識別能力を損なうことを示す。 我々は、その矛盾を修正するために、適切な非線形モジュールを再検討し、調整することで、最先端のパフォーマンスを実現する強力なベースラインに繋がる。
  論文  参考訳（メタデータ） (2020-10-19T08:11:48Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。