論文の概要: Memorization in image classification: test set behavior and scaling laws
- arxiv url: http://arxiv.org/abs/2610.16090v1
- Date: Mon, 12 Oct 2026 02:56:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-19 07:44:03.807804
- Title: Memorization in image classification: test set behavior and scaling laws
- Title（参考訳）: 画像分類における記憶 : テストセットの挙動とスケーリング法則
- Abstract要約: 深層ニューラルネットワークは自然タスクの一般化解を学習し、任意のマッピングを記憶できることが示される。
必要なネットワーク容量とトレーニング時間による記憶に及ぼすデータセットサイズの影響を検討する。
記憶ネットワークは普遍的な解法を学習しないが、さらなる調査を求める興味深い行動を示す。
- 参考スコア（独自算出の注目度）: 4.870012761464388
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks are capable of both learning generalizing solutions on natural tasks and memorizing arbitrary mappings. We argue that understanding the former requires understanding the latter, which is much less studied. In what ways do networks that generalize or memorize differ in their behavior or their training dynamics? Do memorizing networks simply function as a lookup table where input-output mappings are stored independently? We investigate these questions in the context of CNNs trained on image classification tasks with randomized labels or pixels. We first study the behavior of such memorizing networks on unseen images. We find that independently initialized networks trained on the same random labels learn different predictive functions: they make different predictions on test examples, in contrast with generalizing networks. We then examine the effect of dataset size on memorization through the required network capacity and training time to interpolate the training set. Counter-intuitively, we find that the number of presentations of a given example required for complete memorization can decrease with dataset size even when input-output pairs share no common structure. Although memorizing networks do not learn a universal solution, they exhibit interesting behaviors which call for further investigations into the underlying mechanisms.
- Abstract（参考訳）: ディープニューラルネットワークは、自然なタスクに対するソリューションの一般化と任意のマッピングの記憶の両方を学ぶことができる。
前者を理解するには後者を理解する必要があるが、これはあまり研究されていない。
一般化または記憶するネットワークは、その振る舞いやトレーニングのダイナミクスにどのような違いがあるのか?
記憶ネットワークは単に、入出力マッピングを独立して格納するルックアップテーブルとして機能するのか?
ランダムなラベルや画素を用いた画像分類タスクを訓練したCNNの文脈において,これらの質問について検討する。
まず、このような記憶ネットワークの振る舞いを、目に見えない画像上で研究する。
同じランダムラベルでトレーニングされた独立に初期化されたネットワークは、テスト例で異なる予測を行うため、一般化されたネットワークとは対照的に、異なる予測関数を学習する。
次に,データセットのサイズが,必要なネットワーク容量とトレーニング時間を通じて記憶に与える影響を調べ,トレーニングセットを補間する。
対意的に、入力と出力のペアが共通の構造を共有しない場合でも、完全な記憶に必要となる例のプレゼンテーション数はデータセットサイズによって減少する可能性がある。
記憶ネットワークは普遍的な解法を学習しないが、基礎となるメカニズムについてさらなる研究を求める興味深い行動を示す。
関連論文リスト
- Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - The Curious Case of Benign Memorization [19.74244993871716]
データ拡張を含むトレーニングプロトコルの下で、ニューラルネットワークは、完全にランダムなラベルを良心的に記憶することを学ぶ。
深層モデルでは,暗記作業と特徴学習を異なる層に分散することで,信号からノイズを分離する驚くべき能力があることを実証する。
論文 参考訳（メタデータ） (2022-10-25T13:41:31Z) - Measures of Information Reflect Memorization Patterns [53.71420125627608]
異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。
重要なことは、情報組織が記憶の2つの形態を指していることである。
論文 参考訳（メタデータ） (2022-10-17T20:15:24Z) - Reasoning-Modulated Representations [85.08205744191078]
タスクが純粋に不透明でないような共通的な環境について研究する。
我々のアプローチは、新しいデータ効率表現学習の道を開く。
論文 参考訳（メタデータ） (2021-07-19T13:57:13Z) - Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。
まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。
第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
論文 参考訳（メタデータ） (2020-09-10T17:59:10Z) - Encoding-based Memory Modules for Recurrent Neural Networks [79.42778415729475]
本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて考察する。
本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
論文 参考訳（メタデータ） (2020-01-31T11:14:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。