論文の概要: Fisher information and the geometry of memorization in neural networks

• arxiv url: http://arxiv.org/abs/2610.16161v1
• Date: Mon, 12 Oct 2026 04:34:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.308807
• Title: Fisher information and the geometry of memorization in neural networks
• Title（参考訳）: ニューラルネットワークにおける魚情報と記憶の幾何学
• Abstract要約: 上面のフィッシャー固有ベクトルにモデル重みを投影すると、ノイズのあるサンプル記憶から一般的なタスク性能が切り離されることを示す。 この結果から,ニューラルネットワークが一般化と記憶の間の容量を割り当てる手法の基礎となる幾何学的構造の側面をフィッシャー情報が捉えていることが判明した。
• 参考スコア（独自算出の注目度）: 5.0347084964407935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A fruitful approach towards understanding generalization in machine learning involves characterizing how models separate generalizable structure from idiosyncratic or even corrupted features of training data. Fisher information has emerged as a diagnostic tool for this separation, leveraging loss geometry to distinguish generalization from memorization. Here we investigate this connection in vision models trained on CIFAR-10 with controlled noise that can be learned only through memorization. We show that projecting model weights onto the top Fisher eigenvectors decouples general task performance from noisy sample memorization, and we investigate how this decoupling presents differentially across layers. We show that the same phenomena are present in small transformers trained to solve a synthetic in-context learning task, and are reproduced in closed form in a simple, analytically solvable linear model. Our results reveal that Fisher information captures aspects of the geometric structure underlying how neural networks allocate capacity between generalization and memorization.
• Abstract（参考訳）: 機械学習における一般化を理解するための実りあるアプローチは、モデルの一般化可能な構造と、訓練データの慣用的な特徴、さらには破損した特徴を区別する方法を特徴付けることである。 魚情報はこの分離の診断ツールとして登場し、損失幾何学を利用して記憶の一般化と区別している。 そこで本研究では,CIFAR-10で学習した視覚モデルと,暗記によってのみ学習可能な制御ノイズとの関係について検討する。 モデル重みをフィッシャー固有ベクトルの上面に投影することで、ノイズのあるサンプル記憶から一般的なタスク性能を分離することを示し、このデカップリングが層間でどのように異なる結果を示すかを検討する。 合成文脈内学習課題を解くために訓練された小型変圧器にも同様の現象が存在し、単純で解析的に解ける線形モデルで閉じた形で再現されることを示す。 この結果から,ニューラルネットワークが一般化と記憶の間の容量を割り当てる手法の基礎となる幾何学的構造の側面をフィッシャー情報が捉えていることが判明した。

関連論文リスト

• Patterning: The Dual of Interpretability [2.3443925855637073]
  パターン化は,各解の局所学習係数をターゲットとして,モデルが学習するアルゴリズムを選択することができることを示す。 結果は、内部構造を読むのに使用されるのと同じ数学的枠組みが、それを記述するために逆転可能であることを証明している。
  論文  参考訳（メタデータ） (2026-01-20T03:15:27Z)
• Modeling Transformers as complex networks to analyze learning dynamics [0.2538209532048867]
  本研究は,複雑なネットワーク理論のレンズを用いて,動的学習を特徴付けることができるかどうかを考察する。 ノードがモデルの計算コンポーネントである有向重み付きグラフとして、トランスフォーマーベースのモデルを表現するための新しい手法を紹介します。 グラフ理論の一連のメトリクスを分析して、ネットワークの構造が探索、統合、洗練の異なるフェーズを通して進化することを明らかにする。
  論文  参考訳（メタデータ） (2025-09-18T10:20:26Z)
• A Neural Network Model of Complementary Learning Systems: Pattern Separation and Completion for Continual Learning [2.9123921488295768]
  事前知識を忘れずに新しい情報を学ぶことは、人間の知性の中心である。 対照的に、ニューラルネットワークモデルは、新しい情報を取得する際に破滅的な忘れに苦しむ。 我々は、最先端の精度(90%)に近づいた、神経学的にもっともらしい連続学習モデルを開発する。 本研究は, 生体および人工システムにおいて, メモリ統合, 一般化, 継続学習をモデル化するための機能テンプレートを提供する。
  論文  参考訳（メタデータ） (2025-07-15T15:05:26Z)
• Shortcut Learning Susceptibility in Vision Classifiers [11.599035626374409]
  ショートカット学習は、機械学習モデルが意味のある特徴をキャプチャする代わりに、データの急激な相関を利用する場所である。 本研究では,クラスラベルと位置と強度の相関関係にあるデータセットに意図的にショートカットを導入する。 異なる学習率で学習をショートカットする可能性を評価する。
  論文  参考訳（メタデータ） (2025-02-13T10:25:52Z)
• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Demolition and Reinforcement of Memories in Spin-Glass-like Neural Networks [0.0]
  この論文の目的は、連想記憶モデルと生成モデルの両方において、アンラーニングの有効性を理解することである。 構造化データの選択により、連想記憶モデルは、相当量のアトラクションを持つニューラルダイナミクスのアトラクションとしての概念を検索することができる。 Boltzmann Machinesの新しい正規化手法が提案され、データセットから隠れ確率分布を学習する以前に開発された手法より優れていることが証明された。
  論文  参考訳（メタデータ） (2024-03-04T23:12:42Z)
• Unsupervised Learning of Invariance Transformations [105.54048699217668]
  近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
  論文  参考訳（メタデータ） (2023-07-24T17:03:28Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。