論文の概要: Compact Memory for Continual Logistic Regression

• arxiv url: http://arxiv.org/abs/2511.09167v1
• Date: Thu, 13 Nov 2025 01:37:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-13 22:34:54.442932
• Title: Compact Memory for Continual Logistic Regression
• Title（参考訳）: 連続ロジスティック回帰のためのコンパクトメモリ
• Authors: Yohan Jung, Hyungi Lee, Wenlong Chen, Thomas Möllenhoff, Yingzhen Li, Juho Lee, Mohammad Emtiyaz Khan,
• Abstract要約: 本稿では,ロジスティック回帰のためのコンパクトメモリ構築手法を提案する。 弊社のアプローチは、Experience Replayに比べて大幅に精度を向上できる。 我々の研究は、連続的な深層学習に役立つコンパクトメモリを構築するための新しい方向を開く。
• 参考スコア（独自算出の注目度）: 45.6774409797545
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite recent progress, continual learning still does not match the performance of batch training. To avoid catastrophic forgetting, we need to build compact memory of essential past knowledge, but no clear solution has yet emerged, even for shallow neural networks with just one or two layers. In this paper, we present a new method to build compact memory for logistic regression. Our method is based on a result by Khan and Swaroop [2021] who show the existence of optimal memory for such models. We formulate the search for the optimal memory as Hessian-matching and propose a probabilistic PCA method to estimate them. Our approach can drastically improve accuracy compared to Experience Replay. For instance, on Split-ImageNet, we get 60% accuracy compared to 30% obtained by replay with memory-size equivalent to 0.3% of the data size. Increasing the memory size to 2% further boosts the accuracy to 74%, closing the gap to the batch accuracy of 77.6% on this task. Our work opens a new direction for building compact memory that can also be useful in the future for continual deep learning.
• Abstract（参考訳）: 最近の進歩にもかかわらず、継続的学習はバッチトレーニングのパフォーマンスに相応しいものではない。 破滅的な忘れ物を避けるためには、重要な過去の知識のコンパクトなメモリを構築する必要があるが、1つか2つの層しか持たない浅いニューラルネットワークでさえ、明確な解決策がまだ現れていない。 本稿では,ロジスティック回帰のためのコンパクトメモリ構築手法を提案する。 提案手法は,Khan と Swaroop [2021] による,そのようなモデルに最適なメモリが存在することを示す結果に基づいている。 ヘッセンマッチングとして最適なメモリの探索を定式化し,確率的PCA法を提案する。 弊社のアプローチは、Experience Replayに比べて大幅に精度を向上できる。 例えば、Split-ImageNetでは、データサイズの0.3%に相当するメモリサイズで再生した30%と比較して60%の精度が得られます。 メモリサイズを2%に増やすことで精度は74%に向上し、このタスクで77.6%のバッチ精度にギャップを埋める。 我々の研究は、連続的な深層学習に役立つコンパクトメモリを構築するための新しい方向を開く。

関連論文リスト

• Memory-Efficient Point Cloud Registration via Overlapping Region Sampling [0.7806681790324609]
  ディープラーニングの最近の進歩は、3Dポイントクラウドの登録を改善したが、グラフィクス処理単位のメモリ使用量も増加した。 精度を維持しながらメモリ使用量を削減するための重複領域サンプリング手法を提案する。 提案手法は,k-nearest-neighbor (kNN) に基づく点圧縮機構を用いて,重なり合う領域とそれからの集中的なサンプルを推定する。
  論文  参考訳（メタデータ） (2024-10-29T05:40:03Z)
• TEAL: New Selection Strategy for Small Buffers in Experience Replay Class Incremental Learning [7.627299398469962]
  TEALは,メモリを例に示す新しい手法である。 TEALは,既存のクラス増分法の平均精度を向上することを示す。
  論文  参考訳（メタデータ） (2024-06-30T12:09:08Z)
• An Evaluation of Memory Optimization Methods for Training Neural Networks [12.534553433992606]
  メモリ最適化手法(MOM)の開発は,大規模モデルのトレーニングにおいて発生するメモリボトルネックに対処するためのソリューションとして登場した。 各種MOMの実用的価値を検討するため,システムの観点から既存の文献を徹底的に分析した。 分析の結果,MOMの有効性を効果的に評価するための標準化された指標が欠如していることが示唆された。
  論文  参考訳（メタデータ） (2023-03-26T05:40:35Z)
• Calibrating the Rigged Lottery: Making All Tickets Reliable [14.353428281239665]
  信頼性校正を改善したスパースモデルを生成するための新しいスパーストレーニング手法を提案する。 本手法は,計算量や記憶負荷をわずかに増加させるだけで,同時に精度を向上する。
  論文  参考訳（メタデータ） (2023-02-18T15:53:55Z)
• A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
  CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。 モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。 本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-05-26T08:24:01Z)
• Memory Replay with Data Compression for Continual Learning [80.95444077825852]
  古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。 我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
  論文  参考訳（メタデータ） (2022-02-14T10:26:23Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• TinyTL: Reduce Activations, Not Trainable Parameters for Efficient On-Device Learning [78.80707950262214]
  デバイス上での学習により、エッジデバイスはAIモデルを新しいデータに継続的に適応できる。 既存の作業は、トレーニング可能なパラメータの数を減らすことで、この問題を解決する。 メモリ効率の高いオンデバイス学習のためのTiny-Transfer-Learning(TinyTL)を提案する。
  論文  参考訳（メタデータ） (2020-07-22T18:39:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。