論文の概要: Ferret: An Efficient Online Continual Learning Framework under Varying Memory Constraints

• arxiv url: http://arxiv.org/abs/2503.12053v1
• Date: Sat, 15 Mar 2025 08:58:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:34:25.223126
• Title: Ferret: An Efficient Online Continual Learning Framework under Varying Memory Constraints
• Title（参考訳）: Ferret: 分散メモリ制約下での効率的なオンライン連続学習フレームワーク
• Authors: Yuhao Zhou, Yuxin Tian, Jindi Lv, Mingjia Shi, Yuanxi Li, Qing Ye, Shuhao Zhang, Jiancheng Lv,
• Abstract要約: Ferretはオンライン連続学習(OCL)アルゴリズムのオンライン精度を高めるために設計された包括的なフレームワークである。 Ferretは、繰り返し勾配補正アルゴリズムと組み合わせて、きめ細かいパイプライン戦略を採用している。 実験ではフェレットの顕著な効率が示され、最大3.7$times$低いメモリオーバーヘッドを実現した。
• 参考スコア（独自算出の注目度）: 22.296419464064947
• License:
• Abstract: In the realm of high-frequency data streams, achieving real-time learning within varying memory constraints is paramount. This paper presents Ferret, a comprehensive framework designed to enhance online accuracy of Online Continual Learning (OCL) algorithms while dynamically adapting to varying memory budgets. Ferret employs a fine-grained pipeline parallelism strategy combined with an iterative gradient compensation algorithm, ensuring seamless handling of high-frequency data with minimal latency, and effectively counteracting the challenge of stale gradients in parallel training. To adapt to varying memory budgets, its automated model partitioning and pipeline planning optimizes performance regardless of memory limitations. Extensive experiments across 20 benchmarks and 5 integrated OCL algorithms show Ferret's remarkable efficiency, achieving up to 3.7$\times$ lower memory overhead to reach the same online accuracy compared to competing methods. Furthermore, Ferret consistently outperforms these methods across diverse memory budgets, underscoring its superior adaptability. These findings position Ferret as a premier solution for efficient and adaptive OCL framework in real-time environments.
• Abstract（参考訳）: 高周波データストリームの領域では、様々なメモリ制約の中でリアルタイム学習を実現することが最重要である。 本稿では,オンライン連続学習(OCL)アルゴリズムのオンライン精度を高めるための包括的フレームワークであるFerretについて述べる。 フェレットは、繰り返し勾配補償アルゴリズムと組み合わせた細粒度のパイプライン並列化戦略を採用し、低レイテンシで高周波データのシームレスなハンドリングを保証し、並列トレーニングにおける静的勾配の課題を効果的に対処する。 さまざまなメモリ予算に対応するため、自動モデルのパーティショニングとパイプライン計画では、メモリ制限に関係なく、パフォーマンスを最適化する。 20のベンチマークと5つのOCLアルゴリズムの統合実験により、フェレットの顕著な効率が示され、競合する手法と比較してオンラインの精度が同じになるよう、最大3.7$\times$のメモリオーバーヘッドが達成された。 さらに、フェレットはこれらの手法を様々なメモリ予算で一貫して上回り、優れた適応性を示している。 これらの知見は,フェレットをリアルタイム環境における効率よく適応的なOCLフレームワークのプライマリソリューションとして位置づけた。

関連論文リスト

• Efficient Distributed Optimization under Heavy-Tailed Noise [32.96984712007111]
  TailOPTは、潜在的に勾配のばらつきと局所的な更新を伴うヘビーテールノイズに対処するように設計されている。 Bi2Clip$は、インナーとアウターの両方でコーディネートワイドクリッピングを行い、アダプティブライクなパフォーマンスを実現する。 この$Bi2Clip$は、いくつかの言語タスクやモデルにおいて優れたパフォーマンスを示し、最先端のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2025-02-06T15:47:18Z)
• Breaking Memory Limits: Gradient Wavelet Transform Enhances LLMs Training [45.225732322141994]
  大規模言語モデル(LLM)は、さまざまな自然言語処理タスクで優れたパフォーマンスを発揮する。 彼らの膨大な数のパラメータは、トレーニング中に大きな記憶障害を引き起こします。 既存のメモリ効率のアルゴリズムは、特異値分解プロジェクションや重み凍結のような技術に依存していることが多い。 本稿では,グラディエントウェーブレット変換(GWT)と呼ばれる新しい解を提案する。
  論文  参考訳（メタデータ） (2025-01-13T11:35:09Z)
• Ferret: Federated Full-Parameter Tuning at Scale for Large Language Models [54.02863371927658]
  大規模言語モデル(LLM)は多くの現実世界のアプリケーションで必須となっている。 フェレットは、ランダム性を共有する最初の一階法である。 高い計算効率、通信オーバーヘッドの低減、高速収束を実現している。
  論文  参考訳（メタデータ） (2024-09-10T07:28:13Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• Corgi^2: A Hybrid Offline-Online Approach To Storage-Aware Data Shuffling For SGD [5.691144886263981]
  グラディエントDescence(SGD)のための新しい部分的データシャッフル戦略を提案する。 CorgiPileメソッドのオフラインイテレーションとその後のオンラインイテレーションを組み合わせたものだ。 提案手法は,CorgiPileのデータアクセス効率を損なうことなく,ランダムアクセスによるSGDと同じような動作を行う。
  論文  参考訳（メタデータ） (2023-09-04T14:49:27Z)
• CAME: Confidence-guided Adaptive Memory Efficient Optimization [20.009302737137787]
  適応勾配法は大規模言語モデルの訓練において優れた性能を示した。 二次モーメント推定の維持には、メモリオーバーヘッドの増大を高いコストで維持する必要がある。 補助メモリ使用量の大幅な削減を実現するために、いくつかのメモリ効率が提案されているが、性能上のペナルティがある。 我々は,従来の適応手法のように高速収束,メモリ効率の低い2つの目標を同時に達成するために,CAMEを提案する。
  論文  参考訳（メタデータ） (2023-07-05T06:05:36Z)
• Stochastic Gradient Descent without Full Data Shuffle [65.97105896033815]
  CorgiPileは階層的なデータシャッフル戦略で、完全なデータシャッフルを回避すると同時に、完全なシャッフルを実行したかのようにSGDの収束率を同等に維持する。 以上の結果から,CorgiPileは深層学習モデルと一般化線形モデルの両方において,全シャッフルベースSGDと同等の収束率を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-12T20:04:31Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。