論文の概要: Rapid Adaptation in Online Continual Learning: Are We Evaluating It Right?

• arxiv url: http://arxiv.org/abs/2305.09275v1
• Date: Tue, 16 May 2023 08:29:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 15:47:15.213428
• Title: Rapid Adaptation in Online Continual Learning: Are We Evaluating It Right?
• Title（参考訳）: オンライン連続学習における迅速な適応:私たちはそれを正しく評価していますか?
• Authors: Hasan Abed Al Kader Hammoud, Ameya Prabhu, Ser-Nam Lim, Philip H.S. Torr, Adel Bibi, Bernard Ghanem
• Abstract要約: オンライン連続学習(OCL)アルゴリズムの適応性を評価するための一般的な手法を,オンライン精度の指標を用いて再検討する。 空白のブラインド分類器でさえ、非現実的に高いオンライン精度を達成できるため、この指標は信頼できない。 既存のOCLアルゴリズムは、オンラインの精度も高いが、有用な情報の保持は不十分である。
• 参考スコア（独自算出の注目度）: 135.71855998537347
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We revisit the common practice of evaluating adaptation of Online Continual Learning (OCL) algorithms through the metric of online accuracy, which measures the accuracy of the model on the immediate next few samples. However, we show that this metric is unreliable, as even vacuous blind classifiers, which do not use input images for prediction, can achieve unrealistically high online accuracy by exploiting spurious label correlations in the data stream. Our study reveals that existing OCL algorithms can also achieve high online accuracy, but perform poorly in retaining useful information, suggesting that they unintentionally learn spurious label correlations. To address this issue, we propose a novel metric for measuring adaptation based on the accuracy on the near-future samples, where spurious correlations are removed. We benchmark existing OCL approaches using our proposed metric on large-scale datasets under various computational budgets and find that better generalization can be achieved by retaining and reusing past seen information. We believe that our proposed metric can aid in the development of truly adaptive OCL methods. We provide code to reproduce our results at https://github.com/drimpossible/EvalOCL.
• Abstract（参考訳）: 我々は,オンライン連続学習(OCL)アルゴリズムの適応性を評価する一般的な手法を,オンラインの精度の指標を用いて再検討する。 しかし,予測に入力画像を使用しない空白のブラインド分類器でさえ,データストリーム内のスプリアスラベル相関を利用して非現実的な高いオンライン精度を実現することができるため,この指標は信頼性に乏しい。 本研究により,既存のOCLアルゴリズムは高いオンライン精度を達成できるが,有用な情報の保持にはあまり役に立たないことが明らかとなった。 そこで本研究では,スプリアス相関を除去した近未来の試料の精度に基づく適応度測定のための新しい指標を提案する。 計算予算の異なる大規模データセット上で,提案手法を用いて既存のOCL手法をベンチマークし,過去の情報を保持し再利用することで,よりよい一般化が達成できることを示す。 提案手法は,真に適応的なOCL手法の開発に有効であると考えられる。 我々は、https://github.com/drimpossible/EvalOCLで結果を再現するコードを提供します。

関連論文リスト

• Label-free Monitoring of Self-Supervised Learning Progress [1.2289361708127877]
  自己教師付き学習(SSL)は、階層化されていないデータを利用してハイレベルな埋め込み空間を学習する効果的な方法である。 本研究では,非競合データの埋め込みに適用可能ないくつかの評価指標を提案する。
  論文  参考訳（メタデータ） (2024-09-10T16:04:10Z)
• Towards Robust and Interpretable EMG-based Hand Gesture Recognition using Deep Metric Meta Learning [37.21211404608413]
  本稿では,意味的かつ解釈可能な表現の作成を監督するために,EMG PRにおける深層メートル法メタラーニングへのシフトを提案する。 我々は、不正確な決定をよりよく拒否する頑健なクラス近接性に基づく信頼度推定器を導出する。
  論文  参考訳（メタデータ） (2024-04-17T23:37:50Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• A Study of Unsupervised Evaluation Metrics for Practical and Automatic Domain Adaptation [15.728090002818963]
  教師なしドメイン適応(UDA)メソッドは、ラベルなしでターゲットドメインへのモデル転送を容易にする。 本稿では,対象の検証ラベルにアクセスすることなく,移動モデルの品質を評価できる評価指標を見つけることを目的とする。
  論文  参考訳（メタデータ） (2023-08-01T05:01:05Z)
• Estimating Large Language Model Capabilities without Labeled Test Data [51.428562302037534]
  大規模言語モデル(LLM)は、ほんの数例からICL(In-context Learning)を実行するという印象的な能力を持っている。 ICLの精度推定タスクを提案し、新しいタスクで文脈内学習を行う場合のLLMの精度を予測する。
  論文  参考訳（メタデータ） (2023-05-24T06:55:09Z)
• Self-Adaptive In-Context Learning: An Information Compression Perspective for In-Context Example Selection and Ordering [15.3566963926257]
  本稿では、自己適応型インコンテキスト学習(ICL)の新たな原則を提唱する。 自己適応機構を導入し、各サンプルが正しい予測を導出できるコンテキスト内サンプル置換を見つけるのを助ける。 我々の自己適応型ICL法は,実践環境よりも40%の相対的な改善を実現している。
  論文  参考訳（メタデータ） (2022-12-20T15:55:21Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning [52.831894583501395]
  連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。 我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。 ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
  論文  参考訳（メタデータ） (2021-01-02T09:04:14Z)
• Meta-Generating Deep Attentive Metric for Few-shot Classification [53.07108067253006]
  本稿では,新しい数ショット学習タスクのための特定のメトリックを生成するための,新しい深度メタジェネレーション手法を提案する。 本研究では,各タスクの識別基準を生成するのに十分なフレキシブルな3層深い注意ネットワークを用いて,メトリクスを構造化する。 特に挑戦的なケースでは、最先端の競合他社よりも驚くほどパフォーマンスが向上しています。
  論文  参考訳（メタデータ） (2020-12-03T02:07:43Z)
• Calibrated neighborhood aware confidence measure for deep metric learning [0.0]
  深度メートル法学習は、数ショット学習、画像検索、およびオープンセット分類の問題にうまく適用されてきた。 深層学習モデルの信頼度を測定し、信頼できない予測を特定することは、まだオープンな課題です。 本稿では,その分類精度をよく反映した校正・解釈可能な信頼度尺度の定義に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-08T21:05:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。