論文の概要: UER: A Heuristic Bias Addressing Approach for Online Continual Learning

• arxiv url: http://arxiv.org/abs/2309.04081v1
• Date: Fri, 8 Sep 2023 02:42:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-11 16:14:18.194396
• Title: UER: A Heuristic Bias Addressing Approach for Online Continual Learning
• Title（参考訳）: UER:オンライン連続学習のためのヒューリスティックバイアス対応アプローチ
• Authors: Huiwei Lin, Shanshan Feng, Baoquan Zhang, Hongliang Qiao, Xutao Li, and Yunming Ye
• Abstract要約: オンライン連続学習は、単一のパススルーデータで連続データストリームからニューラルネットワークを継続的にトレーニングすることを目的としている。 最も効果的なアプローチとして、リハーサルベースのメソッドは、以前のデータの一部を再生する。 本稿では,より単純で効率的な手法でバイアス問題に対処する。
• 参考スコア（独自算出の注目度）: 22.375489356775468
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online continual learning aims to continuously train neural networks from a continuous data stream with a single pass-through data. As the most effective approach, the rehearsal-based methods replay part of previous data. Commonly used predictors in existing methods tend to generate biased dot-product logits that prefer to the classes of current data, which is known as a bias issue and a phenomenon of forgetting. Many approaches have been proposed to overcome the forgetting problem by correcting the bias; however, they still need to be improved in online fashion. In this paper, we try to address the bias issue by a more straightforward and more efficient method. By decomposing the dot-product logits into an angle factor and a norm factor, we empirically find that the bias problem mainly occurs in the angle factor, which can be used to learn novel knowledge as cosine logits. On the contrary, the norm factor abandoned by existing methods helps remember historical knowledge. Based on this observation, we intuitively propose to leverage the norm factor to balance the new and old knowledge for addressing the bias. To this end, we develop a heuristic approach called unbias experience replay (UER). UER learns current samples only by the angle factor and further replays previous samples by both the norm and angle factors. Extensive experiments on three datasets show that UER achieves superior performance over various state-of-the-art methods. The code is in https://github.com/FelixHuiweiLin/UER.
• Abstract（参考訳）: オンライン連続学習は、単一のパススルーデータで連続データストリームからニューラルネットワークを継続的にトレーニングすることを目的としている。 最も効果的なアプローチとして、リハーサルベースのメソッドは、以前のデータの一部を再生する。 既存の手法で一般的に使用される予測器は、バイアス問題や忘れる現象として知られる現在のデータのクラスを好むバイアス付きドット製品ロジットを生成する傾向がある。 バイアスを補正することで、忘れる問題を克服する多くのアプローチが提案されているが、それでもオンライン方式で改善する必要がある。 本稿では,より単純で効率的な手法でバイアス問題に対処する。 点生成ロジットをアングル因子とノルム因子に分解することにより、バイアス問題は主としてコサインロジットとして新しい知識を学ぶために使用できるアングル因子に生じることを経験的に発見する。 逆に、既存の方法によって放棄された標準因子は、歴史的知識を思い出すのに役立つ。 この観察に基づいて,バイアスに対処するための新しい知識と古い知識のバランスをとるために,規範因子を活用することを直感的に提案する。 そこで我々はUnbias Experience Replay (UER)と呼ばれるヒューリスティックなアプローチを開発した。 UERは現在のサンプルを角度因子のみで学習し、標準と角度因子の両方で以前のサンプルを再生する。 3つのデータセットに対する大規模な実験により、UERは様々な最先端の手法よりも優れた性能を発揮することが示された。 コードはhttps://github.com/FelixHuiweiLin/UERにある。

関連論文リスト

• Accurate Forgetting for Heterogeneous Federated Continual Learning [89.08735771893608]
  提案手法は,フェデレーションネットワークにおける従来の知識を選択的に活用する新しい生成再生手法である。 我々は,従来の知識の信頼性を定量化するために,正規化フローモデルに基づく確率的フレームワークを用いる。
  論文  参考訳（メタデータ） (2025-02-20T02:35:17Z)
• ALBAR: Adversarial Learning approach to mitigate Biases in Action Recognition [52.537021302246664]
  行動認識モデルは、しばしば背景バイアス(背景の手がかりに基づく行動の推測)と前景バイアス(主題の外観に依存する)に悩まされる。 本稿では,前景や背景のバイアスを,バイアス特性の専門知識を必要とせずに軽減する,新たな対人訓練手法であるALBARを提案する。 我々は,提案手法を確立された背景および前景バイアスプロトコル上で評価し,新しい最先端技術を設定し,HMDB51上で12%以上のデバイアス性能を向上した。
  論文  参考訳（メタデータ） (2025-01-31T20:47:06Z)
• CosFairNet:A Parameter-Space based Approach for Bias Free Learning [1.9116784879310025]
  バイアス付きデータに基づいてトレーニングされたディープニューラルネットワークは、意図しない推論ルールを不注意に学習することが多い。 本稿では,モデルのパラメータ空間内で直接バイアスに対処する新しい手法を提案する。 各種合成および実世界のデータセットにおいて,分類精度の向上と偏りの低減効果を示す。
  論文  参考訳（メタデータ） (2024-10-19T13:06:40Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Towards Debiasing Frame Length Bias in Text-Video Retrieval via Causal Intervention [72.12974259966592]
  トリミングビデオクリップのトレーニングセットとテストセットのフレーム長差による時間偏差について,一意かつ体系的に検討した。 Epic-Kitchens-100, YouCook2, MSR-VTTデータセットについて, 因果脱バイアス法を提案し, 広範な実験およびアブレーション研究を行った。
  論文  参考訳（メタデータ） (2023-09-17T15:58:27Z)
• Pseudo Bias-Balanced Learning for Debiased Chest X-ray Classification [57.53567756716656]
  本研究では, バイアスラベルを正確に把握せず, 脱バイアス胸部X線診断モデルの開発について検討した。 本稿では,まずサンプルごとのバイアスラベルをキャプチャし,予測する新しいアルゴリズム,擬似バイアスバランス学習を提案する。 提案手法は他の最先端手法よりも一貫した改善を実現した。
  論文  参考訳（メタデータ） (2022-03-18T11:02:18Z)
• Class Incremental Online Streaming Learning [40.97848249237289]
  本稿では,これらの課題に対処するために,エンフォリンストリーミング環境におけるクラスインクリメンタル学習のための新しいアプローチを提案する。 提案手法は暗黙的かつ明示的な二重重み正規化と経験的リプレイを利用する。 また、モデルの性能を大幅に向上させる効率的なオンラインメモリ再生および置換バッファ戦略を提案する。
  論文  参考訳（メタデータ） (2021-10-20T19:24:31Z)
• Reducing Representation Drift in Online Continual Learning [87.71558506591937]
  私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。 この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
  論文  参考訳（メタデータ） (2021-04-11T15:19:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。