論文の概要: More Is Better: An Analysis of Instance Quantity/Quality Trade-off in Rehearsal-based Continual Learning

• arxiv url: http://arxiv.org/abs/2105.14106v1
• Date: Fri, 28 May 2021 21:05:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-06 00:53:30.606507
• Title: More Is Better: An Analysis of Instance Quantity/Quality Trade-off in Rehearsal-based Continual Learning
• Title（参考訳）: more is better: rehearsal-based continual learningにおけるインスタンス量/品質トレードオフの分析
• Authors: Francesco Pelosin and Andrea Torsello
• Abstract要約: 連続学習はコネクショナリストシステムの安定性・塑性ジレンマに対処する手段となっている。 本稿では、メモリに格納可能なインスタンス数を増やすために、様々なデータ削減アプローチを採用したメモリ量/品質トレードオフの分析を行う。 その結果, 最適トレードオフは, 非常に圧縮された複数のインスタンスによるリハーサルアプローチが, 最先端のアプローチよりも容易に向上することがわかった。
• 参考スコア（独自算出の注目度）: 3.9596068699962315
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The design of machines and algorithms capable of learning in a dynamically changing environment has become an increasingly topical problem with the increase of the size and heterogeneity of data available to learning systems. As a consequence, the key issue of Continual Learning has become that of addressing the stability-plasticity dilemma of connectionist systems, as they need to adapt their model without forgetting previously acquired knowledge. Within this context, rehearsal-based methods i.e., solutions in where the learner exploits memory to revisit past data, has proven to be very effective, leading to performance at the state-of-the-art. In our study, we propose an analysis of the memory quantity/quality trade-off adopting various data reduction approaches to increase the number of instances storable in memory. In particular, we investigate complex instance compression techniques such as deep encoders, but also trivial approaches such as image resizing and linear dimensionality reduction. Our findings suggest that the optimal trade-off is severely skewed toward instance quantity, where rehearsal approaches with several heavily compressed instances easily outperform state-of-the-art approaches with the same amount of memory at their disposal. Further, in high memory configurations, deep approaches extracting spatial structure combined with extreme resizing (of the order of $8\times8$ images) yield the best results, while in memory-constrained configurations where deep approaches cannot be used due to their memory requirement in training, Extreme Learning Machines (ELM) offer a clear advantage.
• Abstract（参考訳）: 動的に変化する環境で学習できる機械やアルゴリズムの設計は、学習システムで利用可能なデータのサイズと不均一性の増加によって、ますます話題となっている。 結果として、連続学習の重要な問題は、それまでの知識を忘れずにモデルを適応する必要があるため、コネクショナリストシステムの安定性と塑性のジレンマに対処することにある。 この文脈内では、学習者が過去のデータを再考するためにメモリを利用するソリューションであるリハーサルベースの手法が極めて有効であることが証明され、最先端のパフォーマンスが向上した。 本研究では,メモリに格納可能なインスタンス数を増やすために,様々なデータ削減手法を用いたメモリ量/品質トレードオフの分析を行った。 特に,ディープエンコーダなどの複雑なインスタンス圧縮手法について検討すると同時に,画像のリサイズや線形次元の縮小といった簡単な手法も検討する。 以上の結果から, 最適トレードオフは, 複数インスタンスを圧縮したリハーサルアプローチが, 処理時に同じメモリ量で容易に達成できることが示唆された。 さらに、高メモリ構成では、空間構造を抽出し、極端なリサイズ(8\times 8$画像のオーダー)と組み合わせることで、最高の結果が得られる一方、トレーニングにおけるメモリ要求のためにディープアプローチが使用できないメモリ制約構成では、エクストリームラーニングマシン(ELM)が明らかに有利である。

関連論文リスト

• On Improving the Algorithm-, Model-, and Data- Efficiency of Self-Supervised Learning [18.318758111829386]
  非パラメトリックなインスタンス識別に基づく効率的なシングルブランチSSL手法を提案する。 また,確率分布と正方形根版とのKL分散を最小限に抑える新しい自己蒸留損失を提案する。
  論文  参考訳（メタデータ） (2024-04-30T06:39:04Z)
• Random resistive memory-based deep extreme point learning machine for unified visual processing [67.51600474104171]
  ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。 我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
  論文  参考訳（メタデータ） (2023-12-14T09:46:16Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
  大規模未ラベルデータから学ぶための2つの戦略を提案する。 第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。 第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
  論文  参考訳（メタデータ） (2023-07-26T16:19:19Z)
• Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
  本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。 メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。 我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
  論文  参考訳（メタデータ） (2023-02-01T17:32:16Z)
• Deep invariant networks with differentiable augmentation layers [87.22033101185201]
  データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。 我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
  論文  参考訳（メタデータ） (2022-02-04T14:12:31Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• A Variational Information Bottleneck Based Method to Compress Sequential Networks for Human Action Recognition [9.414818018857316]
  本稿では,人間行動認識(HAR)に用いるリカレントニューラルネットワーク(RNN)を効果的に圧縮する手法を提案する。 変分情報ボトルネック(VIB)理論に基づくプルーニング手法を用いて,RNNの逐次セルを流れる情報の流れを小さなサブセットに制限する。 我々は、圧縮を大幅に改善する特定のグループ・ラッソ正規化手法とプルーニング手法を組み合わせる。 提案手法は,UCF11上での動作認識の精度に比較して,最も近い競合に比べて70倍以上の圧縮を実現する。
  論文  参考訳（メタデータ） (2020-10-03T12:41:51Z)
• Active Importance Sampling for Variational Objectives Dominated by Rare Events: Consequences for Optimization and Generalization [12.617078020344618]
  本稿では,レアイベントサンプリング手法とニューラルネットワーク最適化を組み合わせて,レアイベントに支配される目的関数を最適化する手法を提案する。 重要度サンプリングは学習問題に対する解の分散を減少させ,一般化の利点を示唆することを示す。 数値実験により,高次元データと希少データの複合化が困難である場合でも,学習を成功させることができた。
  論文  参考訳（メタデータ） (2020-08-11T23:38:09Z)
• Neuromodulated Neural Architectures with Local Error Signals for Memory-Constrained Online Continual Learning [4.2903672492917755]
  我々は,局所学習とニューロ変調を取り入れた,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。 一つの課題と連続的な学習環境の両方にアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2020-07-16T07:41:23Z)
• Dataset Condensation with Gradient Matching [36.14340188365505]
  本研究では,大規模なデータセットを,深層ニューラルネットワークをスクラッチからトレーニングするための情報的合成サンプルの小さなセットに凝縮させることを学習する,データセット凝縮という,データ効率のよい学習のためのトレーニングセット合成手法を提案する。 いくつかのコンピュータビジョンベンチマークでその性能を厳格に評価し、最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-10T16:30:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。