論文の概要: CLDyB: Towards Dynamic Benchmarking for Continual Learning with Pre-trained Models

• arxiv url: http://arxiv.org/abs/2503.04655v1
• Date: Thu, 06 Mar 2025 17:49:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 15:58:42.728793
• Title: CLDyB: Towards Dynamic Benchmarking for Continual Learning with Pre-trained Models
• Title（参考訳）: CLDyB: 事前学習モデルによる連続学習のための動的ベンチマークに向けて
• Authors: Shengzhuang Chen, Yikai Liao, Xiaoxiao Sun, Kede Ma, Ying Wei,
• Abstract要約: 本稿では,CL手法を確実に評価するための一般的な計算フレームワークである,動的ベンチマーク(CLDyB)について述べる。 まず、複数の最先端CL手法を共同で評価し、一般に困難なタスクシーケンスと一般化可能なタスクシーケンスのセットを導出する。 CLDyBを用いて個々のCL法を個別に評価し,それぞれの長所と短所を明らかにする。
• 参考スコア（独自算出の注目度）: 22.032582616029707
• License:
• Abstract: The advent of the foundation model era has sparked significant research interest in leveraging pre-trained representations for continual learning (CL), yielding a series of top-performing CL methods on standard evaluation benchmarks. Nonetheless, there are growing concerns regarding potential data contamination during the pre-training stage. Furthermore, standard evaluation benchmarks, which are typically static, fail to capture the complexities of real-world CL scenarios, resulting in saturated performance. To address these issues, we describe CL on dynamic benchmarks (CLDyB), a general computational framework based on Markov decision processes for evaluating CL methods reliably. CLDyB dynamically identifies inherently difficult and algorithm-dependent tasks for the given CL methods, and determines challenging task orders using Monte Carlo tree search. Leveraging CLDyB, we first conduct a joint evaluation of multiple state-of-the-art CL methods, leading to a set of commonly challenging and generalizable task sequences where existing CL methods tend to perform poorly. We then conduct separate evaluations of individual CL methods using CLDyB, discovering their respective strengths and weaknesses. The source code and generated task sequences are publicly accessible at https://github.com/szc12153/CLDyB.
• Abstract（参考訳）: 基礎モデル時代の到来は、訓練済みの表現を継続学習(CL)に活用することに大きな研究関心を呼んだ。 それでも、事前訓練中のデータ汚染に関する懸念が高まっている。 さらに、通常静的な標準評価ベンチマークは、現実のCLシナリオの複雑さを捉えることができず、飽和性能をもたらす。 これらの問題に対処するために,マルコフ決定プロセスに基づく計算フレームワークである動的ベンチマーク(CLDyB)のCLについて述べる。 CLDyBは、与えられたCLメソッドに対して本質的に困難でアルゴリズムに依存したタスクを動的に識別し、モンテカルロ木探索を用いて挑戦的なタスクオーダを決定する。 CLDyBを活用することで、まず複数の最先端のCLメソッドを共同で評価し、既存のCLメソッドが性能が劣るような、一般に困難で一般化可能なタスクシーケンスをセットする。 CLDyBを用いて個々のCL法を個別に評価し,それぞれの長所と短所を明らかにする。 ソースコードと生成されたタスクシーケンスはhttps://github.com/szc12153/CLDyBで公開されている。

関連論文リスト

• Continual Learning Should Move Beyond Incremental Classification [51.23416308775444]
  連続学習(Continuous Learning, CL)は、動的環境における知識の蓄積に関わる機械学習のサブフィールドである。 ここでは、このような焦点を維持することは、CL法の理論的発展と実践的適用性の両方を制限すると論じる。 C1) 学習課題における連続性の性質,(C2) 類似性を測定するための適切な空間とメトリクスの選択,(C3) 学習目標が分類を超えた役割である。
  論文  参考訳（メタデータ） (2025-02-17T15:40:13Z)
• Does the Definition of Difficulty Matter? Scoring Functions and their Role for Curriculum Learning [42.4526628515253]
  CL(Curriculum Learning)は、サンプルを学習プロセスに徐々に導入する機械学習トレーニング戦略である。 サンプル難易度推定のための最も一般的なスコアリング関数のロバスト性と類似性について検討する。 その結果,ランダムシード間のスコアリング関数のロバスト性はCL性能と正の相関関係があることが判明した。
  論文  参考訳（メタデータ） (2024-11-01T18:55:31Z)
• CLoG: Benchmarking Continual Learning of Image Generation Models [29.337710309698515]
  本稿では,分類に基づくCLからCLoGへの移行を提唱する。 我々は,既存のCL手法,リプレイベース,正規化ベース,パラメータアイソレーションベースの3種類の手法を生成タスクに適用する。 我々のベンチマークと結果から、将来のCLoG手法の開発に有用な興味深い洞察が得られる。
  論文  参考訳（メタデータ） (2024-06-07T02:12:29Z)
• Hyperparameters in Continual Learning: A Reality Check [53.30082523545212]
  連続学習(CL)は、可塑性(新しいタスクを学ぶ)と安定性(事前知識を保持する)のトレードオフをバランスしながら、一連のタスクでモデルを訓練することを目的としている。 CLアルゴリズムの従来の評価プロトコルは、与えられたシナリオで最適なハイパーパラメータを選択し、同じシナリオでアルゴリズムを評価する。 このプロトコルには大きな欠点があり、アルゴリズムのCL能力を過大評価し、非現実的なハイパーパラメータチューニングに依存している。 CLアルゴリズムの評価は,予測できないシナリオに対するCL能力の一般化性を評価することに集中すべきである,と我々は主張する。
  論文  参考訳（メタデータ） (2024-03-14T03:13:01Z)
• Density Distribution-based Learning Framework for Addressing Online Continual Learning Challenges [4.715630709185073]
  オンライン連続学習のための密度分布に基づく学習フレームワークを提案する。 我々のフレームワークは、より優れた平均精度と時間空間効率を実現する。 提案手法は, CL のアプローチにおいて, 有意な差で優れる。
  論文  参考訳（メタデータ） (2023-11-22T09:21:28Z)
• From MNIST to ImageNet and Back: Benchmarking Continual Curriculum Learning [9.104068727716294]
  継続学習(CL)は、機械学習研究で最も有望なトレンドの1つである。 6つの画像データセットから複数の異種タスクを含む2つの新しいCLベンチマークを導入する。 さらに、タスクが複雑化と減少の順序で表されるように、ベンチマークを構造化します。
  論文  参考訳（メタデータ） (2023-03-16T18:11:19Z)
• Real-Time Evaluation in Online Continual Learning: A New Hope [104.53052316526546]
  計算コストに関して,現在の継続学習(CL)手法を評価した。 簡単なベースラインは、この評価の下で最先端のCL法より優れている。 これは、既存のCL文献の大部分は、実用的でない特定の種類のストリームに適合していることを驚くほど示唆している。
  論文  参考訳（メタデータ） (2023-02-02T12:21:10Z)
• Do Pre-trained Models Benefit Equally in Continual Learning? [25.959813589169176]
  既存の継続学習(CL)の研究は主に、ゼロから訓練されたモデルのアルゴリズムの開発に費やされている。 コントリビュートベンチマークのパフォーマンスは高いが、これらのアルゴリズムは現実のシナリオで劇的なパフォーマンス低下を示す。 本稿では,CLに対する事前学習の体系的導入を提唱する。
  論文  参考訳（メタデータ） (2022-10-27T18:03:37Z)
• A Study of Continual Learning Methods for Q-Learning [78.6363825307044]
  本稿では、強化学習(RL)シナリオにおける継続学習(CL)手法の使用に関する実証的研究について述べる。 この結果から,専用CL法は「経験的再生」のベースライン手法と比較して学習を著しく改善できることがわかった。
  論文  参考訳（メタデータ） (2022-06-08T14:51:52Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)
• The CLEAR Benchmark: Continual LEArning on Real-World Imagery [77.98377088698984]
  連続学習(CL)は、生涯AIにとって重要な課題であると考えられている。 本稿では,視覚概念の自然な時間進化を伴う最初の連続画像分類ベンチマークであるCLEARを紹介する。 単純な教師なし事前学習のステップで、最先端のCLアルゴリズムがすでに強化されていることが分かりました。
  論文  参考訳（メタデータ） (2022-01-17T09:09:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。