論文の概要: What do larger image classifiers memorise?

• arxiv url: http://arxiv.org/abs/2310.05337v1
• Date: Mon, 9 Oct 2023 01:52:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 08:20:30.788705
• Title: What do larger image classifiers memorise?
• Title（参考訳）: より大きな画像分類器は何を記憶しますか。
• Authors: Michal Lukasik, Vaishnavh Nagarajan, Ankit Singh Rawat, Aditya Krishna Menon, Sanjiv Kumar
• Abstract要約: トレーニング例は, モデルサイズにまたがって, 予想外の多彩な記憶軌跡を示す。 有効で一般的なモデル圧縮手法である知識蒸留は,記憶を阻害する傾向があり,一般化も改善する。
• 参考スコア（独自算出の注目度）: 64.01325988398838
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of modern neural networks has prompted study of the connection between memorisation and generalisation: overparameterised models generalise well, despite being able to perfectly fit (memorise) completely random labels. To carefully study this issue, Feldman proposed a metric to quantify the degree of memorisation of individual training examples, and empirically computed the corresponding memorisation profile of a ResNet on image classification bench-marks. While an exciting first glimpse into what real-world models memorise, this leaves open a fundamental question: do larger neural models memorise more? We present a comprehensive empirical analysis of this question on image classification benchmarks. We find that training examples exhibit an unexpectedly diverse set of memorisation trajectories across model sizes: most samples experience decreased memorisation under larger models, while the rest exhibit cap-shaped or increasing memorisation. We show that various proxies for the Feldman memorization score fail to capture these fundamental trends. Lastly, we find that knowledge distillation, an effective and popular model compression technique, tends to inhibit memorisation, while also improving generalisation. Specifically, memorisation is mostly inhibited on examples with increasing memorisation trajectories, thus pointing at how distillation improves generalisation.
• Abstract（参考訳）: 現代のニューラルネットワークの成功は、記憶と一般化の関連性の研究を促している: 過パラメータ化されたモデルは、完全にランダムなラベルに完全に適合する(記憶)にもかかわらず、うまく一般化する。 この問題を慎重に研究するため、フェルドマンは個々のトレーニング例の記憶度を定量化する指標を提案し、画像分類ベンチマーク上のResNetの記憶プロファイルを実証的に計算した。 現実世界のモデルが記憶しているものについて、エキサイティングな第一歩を垣間見る一方で、これは根本的な疑問を解き放つ:より大きなニューラルモデルは記憶するだろうか? 画像分類ベンチマークにおいて,この問題を包括的に分析する。 その結果, トレーニング例では, モデルサイズにまたがる予期せぬ多彩な記憶軌跡がみられ, 大部分のサンプルでは, より大きなモデルで記憶が減少し, 残りはキャップ形状や記憶の増大がみられた。 フェルドマン記憶スコアの様々なプロキシは,これらの基本的な傾向を捉えられなかった。 最後に, 有効で一般的なモデル圧縮技術である知識蒸留は, 記憶を阻害する傾向があり, 一般化も改善する。 特に、記憶は記憶の軌跡が増加する例で主に抑制され、蒸留が一般化をどのように改善するかを示す。

関連論文リスト

• Generalisation First, Memorisation Second? Memorisation Localisation for Natural Language Classification Tasks [33.1099258648462]
  記憶は、現実世界のデータから学ぶ自然な部分です。 記憶は局所的なものではなく,段階的なプロセスであることを示す。
  論文  参考訳（メタデータ） (2024-08-09T09:30:57Z)
• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• From seeing to remembering: Images with harder-to-reconstruct representations leave stronger memory traces [4.012995481864761]
  本稿では,画像の特徴埋め込みを圧縮するためのスパース符号化モデルを提案する。 シーン画像のオープンな記憶可能性データセットにおいて、再構成誤差は記憶精度だけでなく、検索中の応答遅延も説明し、後者の場合、強力な視覚のみのモデルによって説明されるすべての分散が説明されることを示す。
  論文  参考訳（メタデータ） (2023-02-21T01:40:32Z)
• Classification and Generation of real-world data with an Associative Memory Model [0.0]
  マルチモーダル・フレームワークを用いて,基本的な連想記憶モデルの能力を拡張する。 イメージとラベルの両方をモダリティとして保存することで、単一のメモリを使用してパターンを検索し、完了させることができる。
  論文  参考訳（メタデータ） (2022-07-11T12:51:27Z)
• Measuring Forgetting of Memorized Training Examples [80.9188503645436]
  機械学習モデルは、トレーニングデータ記憶と様々な形態記憶の2つの矛盾する現象を示す。 特定の例では、モデルは特定のトレーニングに過度に適合し、最終的にはプライバシー攻撃の影響を受けやすい。 我々は、決定論的に忘れる例を潜在的な説明として識別し、モデルが時間とともに訓練された例を経験的に忘れないことを示す。
  論文  参考訳（メタデータ） (2022-06-30T20:48:26Z)
• A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
  CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。 モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。 本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-05-26T08:24:01Z)
• Memorization Without Overfitting: Analyzing the Training Dynamics of Large Language Models [64.22311189896888]
  因果的および仮面的言語モデリング、モデルサイズ、およびトレーニングプロセス全体における正確な記憶について検討する。 驚くべきことに、大きなモデルは過度に適合する前にデータの大部分を記憶し、トレーニングプロセスを通して忘れる傾向にある。
  論文  参考訳（メタデータ） (2022-05-22T07:43:50Z)
• Learning and Memorizing Representative Prototypes for 3D Point Cloud Semantic and Instance Segmentation [117.29799759864127]
  3Dポイントクラウドセマンティクスとインスタンスセグメンテーションは、3Dシーン理解にとって不可欠で基本である。 深層ネットワークは、学習過程における非支配的なケースを忘れやすく、不満足なパフォーマンスをもたらす。 本稿では,多様なサンプルを普遍的にカバーする代表プロトタイプを学習し,記憶するメモリ拡張ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-01-06T01:07:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。