論文の概要: Adaptive Shortcut Debiasing for Online Continual Learning
- arxiv url: http://arxiv.org/abs/2312.08677v1
- Date: Thu, 14 Dec 2023 06:27:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-15 23:43:57.004156
- Title: Adaptive Shortcut Debiasing for Online Continual Learning
- Title(参考訳): オンライン連続学習のための適応型ショートカットデバイアス
- Authors: Doyoung Kim, Dongmin Park, Yooju Shin, Jihwan Bang, Hwanjun Song,
Jae-Gil Lee
- Abstract要約: オンライン連続学習(OCL)におけるショートカットバイアスを抑制する新しい枠組みを提案する。
観察されたショートカットバイアスの高アテンション特性により、高度に活性化された特徴がデバイアスの候補と考えられる。
5つのベンチマークデータセットの実験では、様々なOCLアルゴリズムと組み合わせることで、DropTopは平均精度を最大10.4%向上し、忘れを最大63.2%低下させる。
- 参考スコア(独自算出の注目度): 37.18171171654679
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel framework DropTop that suppresses the shortcut bias in
online continual learning (OCL) while being adaptive to the varying degree of
the shortcut bias incurred by continuously changing environment. By the
observed high-attention property of the shortcut bias, highly-activated
features are considered candidates for debiasing. More importantly, resolving
the limitation of the online environment where prior knowledge and auxiliary
data are not ready, two novel techniques -- feature map fusion and adaptive
intensity shifting -- enable us to automatically determine the appropriate
level and proportion of the candidate shortcut features to be dropped.
Extensive experiments on five benchmark datasets demonstrate that, when
combined with various OCL algorithms, DropTop increases the average accuracy by
up to 10.4% and decreases the forgetting by up to 63.2%.
- Abstract(参考訳): 本稿では,オンライン連続学習(OCL)におけるショートカットバイアスを抑制しつつ,環境変化に伴うショートカットバイアスの程度に適応する新しいフレームワークDropTopを提案する。
観察されたショートカットバイアスの高アテンション特性により、高度に活性化された特徴がデバイアスの候補と考えられる。
より重要なのは、事前知識と補助データの準備が整っていないオンライン環境の制限を解決するために、2つの新しい技術 -- 特徴マップ融合と適応強度シフト -- が、投下すべき候補ショートカット機能の適切なレベルと比率を自動的に決定することを可能にすることです。
5つのベンチマークデータセットに関する広範囲な実験により、様々なoclアルゴリズムと組み合わせることで、droptopは平均精度を10.4%向上させ、忘れることを63.2%低下させることが示された。
関連論文リスト
- FedBIAD: Communication-Efficient and Accuracy-Guaranteed Federated
Learning with Bayesian Inference-Based Adaptive Dropout [14.72932631655587]
フェデレートラーニング(FL)は、エンドユーザーデータ伝送なしで分散機械学習パラダイムとして現れる。
FedBIADは、非独立およびIdentically Distributed(非IID)データであっても、最大2.41%の精度で2倍のアップリンク削減を提供する。
論文 参考訳(メタデータ) (2023-07-14T05:51:04Z) - Rapid Adaptation in Online Continual Learning: Are We Evaluating It
Right? [135.71855998537347]
オンライン連続学習(OCL)アルゴリズムの適応性を評価するための一般的な手法を,オンライン精度の指標を用いて再検討する。
空白のブラインド分類器でさえ、非現実的に高いオンライン精度を達成できるため、この指標は信頼できない。
既存のOCLアルゴリズムは、オンラインの精度も高いが、有用な情報の保持は不十分である。
論文 参考訳(メタデータ) (2023-05-16T08:29:33Z) - Regularizing Second-Order Influences for Continual Learning [39.16131410356833]
継続的な学習は、それまでの知識を破滅的に忘れることなく、非定常的なデータストリームで学習することを目的としている。
一般的なリプレイベースのメソッドは、見たデータを保持する小さなバッファーでリハーサルすることで、この問題に対処する。
我々は、影響関数に基づいて構築されたフレームワーク内での逐次選択ステップの相互作用を識別する。
論文 参考訳(メタデータ) (2023-04-20T09:30:35Z) - A novel Deep Learning approach for one-step Conformal Prediction
approximation [0.7646713951724009]
Conformal Prediction (CP) は、最小限の制約を与えられた最大エラー率を保証する汎用的なソリューションである。
本稿では,従来の2ステップCPアプローチを1ステップで近似する新しい共形損失関数を提案する。
論文 参考訳(メタデータ) (2022-07-25T17:46:09Z) - Contextual Squeeze-and-Excitation for Efficient Few-Shot Image
Classification [57.36281142038042]
本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。
また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
論文 参考訳(メタデータ) (2022-06-20T15:25:08Z) - Delving into Probabilistic Uncertainty for Unsupervised Domain Adaptive
Person Re-Identification [54.174146346387204]
ドメイン適応型人物再識別のための確率的不確実性誘導プログレッシブラベル精錬(P$2$LR)という手法を提案する。
擬似ラベルの不確実性を測定し、ネットワークトレーニングを容易にする定量的基準を確立する。
本手法はDuke2Marketタスクではベースラインが6.5%,Market2MSMTタスクでは2.5%,最先端手法では2.5%を上回った。
論文 参考訳(メタデータ) (2021-12-28T07:40:12Z) - GCR: Gradient Coreset Based Replay Buffer Selection For Continual
Learning [1.911678487931003]
調査対象のオフライン学習環境において,最先端の学習に比べて有意な増加(2%~4%)を示した。
また、オンライン/ストリーミングのCL設定にも効果的に移行し、既存のアプローチよりも最大5%向上しました。
論文 参考訳(メタデータ) (2021-11-18T18:01:57Z) - Automating Control of Overestimation Bias for Continuous Reinforcement
Learning [65.63607016094305]
バイアス補正を導くためのデータ駆動型手法を提案する。
我々は、最先端の連続制御アルゴリズムであるTrncated Quantile Criticsにおいて、その効果を実証する。
論文 参考訳(メタデータ) (2021-10-26T09:27:12Z) - Advanced Dropout: A Model-free Methodology for Bayesian Dropout
Optimization [62.8384110757689]
ディープニューラルネットワーク(DNN)の現実的応用において、ユビキタスなオーバーフィッティングが存在する
先進的なドロップアウト手法は、パラメトリック先行でモデルフリーで容易に実装された分布を適用し、ドロップアウト率を適応的に調整する。
7つのコンピュータビジョンデータセットにおける9つのドロップアウト手法に対する高度なドロップアウトの有効性を評価する。
論文 参考訳(メタデータ) (2020-10-11T13:19:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。