論文の概要: Diagnosing Catastrophe: Large parts of accuracy loss in continual learning can be accounted for by readout misalignment

• arxiv url: http://arxiv.org/abs/2310.05644v1
• Date: Mon, 9 Oct 2023 11:57:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 05:10:03.852788
• Title: Diagnosing Catastrophe: Large parts of accuracy loss in continual learning can be accounted for by readout misalignment
• Title（参考訳）: カタストロフィの診断: 連続学習における精度損失の大部分が読み出しミスアライメントによって説明できる
• Authors: Daniel Anthes and Sushrut Thorat and Peter K\"onig and Tim C. Kietzmann
• Abstract要約: データ分散の変更に関するニューラルネットワークのトレーニングは、古いタスクのパフォーマンスを急速に低下させる。 本稿では,この性能を損なう表現的変化について検討し,この現象を考慮に入れた3つの異なる過程を同定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unlike primates, training artificial neural networks on changing data distributions leads to a rapid decrease in performance on old tasks. This phenomenon is commonly referred to as catastrophic forgetting. In this paper, we investigate the representational changes that underlie this performance decrease and identify three distinct processes that together account for the phenomenon. The largest component is a misalignment between hidden representations and readout layers. Misalignment occurs due to learning on additional tasks and causes internal representations to shift. Representational geometry is partially conserved under this misalignment and only a small part of the information is irrecoverably lost. All types of representational changes scale with the dimensionality of hidden representations. These insights have implications for deep learning applications that need to be continuously updated, but may also aid aligning ANN models to the rather robust biological vision.
• Abstract（参考訳）: 霊長類とは異なり、データ分布を変化させる人工ニューラルネットワークのトレーニングは、古いタスクのパフォーマンスを急速に低下させる。 この現象は一般に破滅的な忘れ物と呼ばれる。 本稿では,この性能を低下させる表現的変化について検討し,この現象を考慮に入れた3つの異なる過程を同定する。 最大のコンポーネントは、隠れた表現層と読み出し層の間の不一致である。 ミスアライメントは、追加のタスクの学習によって起こり、内部表現がシフトする。 表現幾何学はこの不一致の下で部分的に保存され、情報のほんの一部だけが不可解に失われる。 あらゆる種類の表現的変化は、隠された表現の次元とともにスケールする。 これらの洞察は、継続的に更新する必要がある深層学習アプリケーションにとって意味を持つが、anモデルをかなり堅牢な生物学的ビジョンに合わせるのに役立つかもしれない。

関連論文リスト

• Dynamical loss functions shape landscape topography and improve learning in artificial neural networks [0.9208007322096533]
  クロスエントロピーと平均二乗誤差を動的損失関数に変換する方法を示す。 異なるサイズのネットワークに対する検証精度を大幅に向上させる方法を示す。
  論文  参考訳（メタデータ） (2024-10-14T16:27:03Z)
• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• Mitigating the Effect of Incidental Correlations on Part-based Learning [50.682498099720114]
  部分ベースの表現は、より解釈可能で、限られたデータでより一般化できる。 パートベース表現のための2つの革新的な正規化手法を提案する。 我々は、ベンチマークデータセット上の数ショットの学習タスクに対して、最先端(SoTA)パフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-09-30T13:44:48Z)
• Unsupervised Learning of Invariance Transformations [105.54048699217668]
  近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
  論文  参考訳（メタデータ） (2023-07-24T17:03:28Z)
• Memorization-Dilation: Modeling Neural Collapse Under Label Noise [10.134749691813344]
  ディープニューラルネットワークをトレーニングする最終フェーズでは、同じクラスのすべての例の特徴埋め込みが単一の表現に崩壊する傾向にある。 経験的証拠は、ノイズのあるデータポイントの記憶が神経崩壊の劣化(拡散)を引き起こすことを示唆している。 実験により, ラベルの平滑化が正規化効果を生み出すために経験的に観察された交叉エントロピーの修正が, 分類タスクの一般化に繋がることを示す。
  論文  参考訳（メタデータ） (2022-06-11T13:40:37Z)
• Improving Transferability of Representations via Augmentation-Aware Self-Supervision [117.15012005163322]
  AugSelfは、ランダムに強化された2つのサンプル間の拡張パラメータの違いを学習する補助的な自己教師型損失である。 私たちの直感は、AugSelfが学習表現における拡張認識情報の保存を奨励していることです。 AugSelfは、最新の最先端の表現学習手法に、無視できる追加のトレーニングコストで簡単に組み込むことができる。
  論文  参考訳（メタデータ） (2021-11-18T10:43:50Z)
• Reducing Representation Drift in Online Continual Learning [87.71558506591937]
  私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。 この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
  論文  参考訳（メタデータ） (2021-04-11T15:19:30Z)
• Analyzing Overfitting under Class Imbalance in Neural Networks for Image Segmentation [19.259574003403998]
  画像分割では、ニューラルネットワークは小さな構造物の前景サンプルに過剰に適合する可能性がある。 本研究では,ネットワークの動作を検査することにより,クラス不均衡下でのオーバーフィッティング問題に対する新たな知見を提供する。
  論文  参考訳（メタデータ） (2021-02-20T14:57:58Z)
• Essentials for Class Incremental Learning [43.306374557919646]
  CIFAR-100とImageNetのクラスインクリメンタルな学習結果は、アプローチをシンプルに保ちながら、最先端の成果を大きなマージンで改善します。
  論文  参考訳（メタデータ） (2021-02-18T18:01:06Z)
• Evaluating Robustness to Context-Sensitive Feature Perturbations of Different Granularities [9.102162930376386]
  画像分類器の入力に対して,文脈に敏感な特徴摂動を識別する新しい手法を提案する。 我々は、訓練された生成ニューラルネットワークの異なるレイヤの活性化値に小さな調整を行うことで、これらの変化を生成する。 当然のことながら、最先端の分類器はそのような変化に対して堅牢ではない。
  論文  参考訳（メタデータ） (2020-01-29T19:20:01Z)
• Learning and Memorizing Representative Prototypes for 3D Point Cloud Semantic and Instance Segmentation [117.29799759864127]
  3Dポイントクラウドセマンティクスとインスタンスセグメンテーションは、3Dシーン理解にとって不可欠で基本である。 深層ネットワークは、学習過程における非支配的なケースを忘れやすく、不満足なパフォーマンスをもたらす。 本稿では,多様なサンプルを普遍的にカバーする代表プロトタイプを学習し,記憶するメモリ拡張ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-01-06T01:07:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。