論文の概要: Adaptive Shortcut Debiasing for Online Continual Learning

• arxiv url: http://arxiv.org/abs/2312.08677v1
• Date: Thu, 14 Dec 2023 06:27:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-15 23:43:57.004156
• Title: Adaptive Shortcut Debiasing for Online Continual Learning
• Title（参考訳）: オンライン連続学習のための適応型ショートカットデバイアス
• Authors: Doyoung Kim, Dongmin Park, Yooju Shin, Jihwan Bang, Hwanjun Song, Jae-Gil Lee
• Abstract要約: オンライン連続学習(OCL)におけるショートカットバイアスを抑制する新しい枠組みを提案する。 観察されたショートカットバイアスの高アテンション特性により、高度に活性化された特徴がデバイアスの候補と考えられる。 5つのベンチマークデータセットの実験では、様々なOCLアルゴリズムと組み合わせることで、DropTopは平均精度を最大10.4%向上し、忘れを最大63.2%低下させる。
• 参考スコア（独自算出の注目度）: 37.18171171654679
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel framework DropTop that suppresses the shortcut bias in online continual learning (OCL) while being adaptive to the varying degree of the shortcut bias incurred by continuously changing environment. By the observed high-attention property of the shortcut bias, highly-activated features are considered candidates for debiasing. More importantly, resolving the limitation of the online environment where prior knowledge and auxiliary data are not ready, two novel techniques -- feature map fusion and adaptive intensity shifting -- enable us to automatically determine the appropriate level and proportion of the candidate shortcut features to be dropped. Extensive experiments on five benchmark datasets demonstrate that, when combined with various OCL algorithms, DropTop increases the average accuracy by up to 10.4% and decreases the forgetting by up to 63.2%.
• Abstract（参考訳）: 本稿では,オンライン連続学習(OCL)におけるショートカットバイアスを抑制しつつ,環境変化に伴うショートカットバイアスの程度に適応する新しいフレームワークDropTopを提案する。 観察されたショートカットバイアスの高アテンション特性により、高度に活性化された特徴がデバイアスの候補と考えられる。 より重要なのは、事前知識と補助データの準備が整っていないオンライン環境の制限を解決するために、2つの新しい技術 -- 特徴マップ融合と適応強度シフト -- が、投下すべき候補ショートカット機能の適切なレベルと比率を自動的に決定することを可能にすることです。 5つのベンチマークデータセットに関する広範囲な実験により、様々なoclアルゴリズムと組み合わせることで、droptopは平均精度を10.4%向上させ、忘れることを63.2%低下させることが示された。

関連論文リスト

• Enhancing Zero-Shot Vision Models by Label-Free Prompt Distribution Learning and Bias Correcting [55.361337202198925]
  CLIPのようなヴィジュアル言語モデルは、適切なテキスト記述を使用する際に、顕著な一般化能力を示している。 本稿では,ラベル付きデータを必要としないゼロショット性能を向上する,**Frolic**と呼ばれるラベルフリーな分布学習とバイアス補正フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-25T04:00:45Z)
• BiasPruner: Debiased Continual Learning for Medical Image Classification [20.6029805375464]
  BiasPrunerは、学習のショートカットにつながる可能性のあるトレーニングデータの素早い相関を意図的に忘れるCLフレームワークである。 推論中、BiasPrunerは、予測に最適なバイアス付きサブネットワークを選択するために、単純なタスクに依存しないアプローチを採用している。 皮膚病変分類と胸部X線分類の3つの医学データセットについて実験を行い,BiasPrunerがSOTA CL法を常に上回っていることを示す。
  論文  参考訳（メタデータ） (2024-07-11T15:45:57Z)
• A Self-boosted Framework for Calibrated Ranking [7.4291851609176645]
  キャリブレーションランキング(Calibrated Ranking)は、正確なランキング品質とキャリブレーションされた確率予測を同時に追求するスケールキャリブレーションランキングシステムである。 それまでの方法は、ランキングの損失を計算するために、単一のミニバッチ内に完全な候補リストを集約する必要があった。 校正ランク付けのための自己ブーストフレームワーク(SBCR)を提案する。
  論文  参考訳（メタデータ） (2024-06-12T09:00:49Z)
• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Rapid Adaptation in Online Continual Learning: Are We Evaluating It Right? [135.71855998537347]
  オンライン連続学習(OCL)アルゴリズムの適応性を評価するための一般的な手法を,オンライン精度の指標を用いて再検討する。 空白のブラインド分類器でさえ、非現実的に高いオンライン精度を達成できるため、この指標は信頼できない。 既存のOCLアルゴリズムは、オンラインの精度も高いが、有用な情報の保持は不十分である。
  論文  参考訳（メタデータ） (2023-05-16T08:29:33Z)
• Regularizing Second-Order Influences for Continual Learning [39.16131410356833]
  継続的な学習は、それまでの知識を破滅的に忘れることなく、非定常的なデータストリームで学習することを目的としている。 一般的なリプレイベースのメソッドは、見たデータを保持する小さなバッファーでリハーサルすることで、この問題に対処する。 我々は、影響関数に基づいて構築されたフレームワーク内での逐次選択ステップの相互作用を識別する。
  論文  参考訳（メタデータ） (2023-04-20T09:30:35Z)
• A novel Deep Learning approach for one-step Conformal Prediction approximation [0.7646713951724009]
  Conformal Prediction (CP) は、最小限の制約を与えられた最大エラー率を保証する汎用的なソリューションである。 本稿では,従来の2ステップCPアプローチを1ステップで近似する新しい共形損失関数を提案する。
  論文  参考訳（メタデータ） (2022-07-25T17:46:09Z)
• Contextual Squeeze-and-Excitation for Efficient Few-Shot Image Classification [57.36281142038042]
  本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。 また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-06-20T15:25:08Z)
• GCR: Gradient Coreset Based Replay Buffer Selection For Continual Learning [1.911678487931003]
  調査対象のオフライン学習環境において,最先端の学習に比べて有意な増加(2%～4%)を示した。 また、オンライン/ストリーミングのCL設定にも効果的に移行し、既存のアプローチよりも最大5%向上しました。
  論文  参考訳（メタデータ） (2021-11-18T18:01:57Z)
• Automating Control of Overestimation Bias for Continuous Reinforcement Learning [65.63607016094305]
  バイアス補正を導くためのデータ駆動型手法を提案する。 我々は、最先端の連続制御アルゴリズムであるTrncated Quantile Criticsにおいて、その効果を実証する。
  論文  参考訳（メタデータ） (2021-10-26T09:27:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。