論文の概要: The Rules-and-Facts Model for Simultaneous Generalization and Memorization in Neural Networks

• arxiv url: http://arxiv.org/abs/2603.25579v1
• Date: Thu, 26 Mar 2026 15:56:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-27 20:52:48.367992
• Title: The Rules-and-Facts Model for Simultaneous Generalization and Memorization in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける同時一般化・記憶のためのルール・アンド・ファクトモデル
• Authors: Gabriele Farné, Fabrizio Boncoraglio, Lenka Zdeborová,
• Abstract要約: 現代のニューラルネットワークの重要な能力は、基礎となるルールを同時に学習し、特定の事実や例外を記憶する能力である。 本稿では,ルール・アンド・ファクト(RAF)モデルについて紹介する。
• 参考スコア（独自算出の注目度）: 11.93069441086844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A key capability of modern neural networks is their capacity to simultaneously learn underlying rules and memorize specific facts or exceptions. Yet, theoretical understanding of this dual capability remains limited. We introduce the Rules-and-Facts (RAF) model, a minimal solvable setting that enables precise characterization of this phenomenon by bridging two classical lines of work in the statistical physics of learning: the teacher-student framework for generalization and Gardner-style capacity analysis for memorization. In the RAF model, a fraction $1 - \varepsilon$ of training labels is generated by a structured teacher rule, while a fraction $\varepsilon$ consists of unstructured facts with random labels. We characterize when the learner can simultaneously recover the underlying rule - allowing generalization to new data - and memorize the unstructured examples. Our results quantify how overparameterization enables the simultaneous realization of these two objectives: sufficient excess capacity supports memorization, while regularization and the choice of kernel or nonlinearity control the allocation of capacity between rule learning and memorization. The RAF model provides a theoretical foundation for understanding how modern neural networks can infer structure while storing rare or non-compressible information.
• Abstract（参考訳）: 現代のニューラルネットワークの重要な能力は、基礎となるルールを同時に学習し、特定の事実や例外を記憶する能力である。 しかし、この二重能力の理論的な理解は依然として限られている。 本稿では,ルール・アンド・ファクトス(RAF)モデルを紹介し,学習の統計物理学における古典的な2つの研究ラインをブリッジすることで,この現象の正確な評価を可能にする最小限の解決可能な設定法を提案する。 RAFモデルでは、1 - \varepsilon$のトレーニングラベルは構造化された教師規則によって生成されるが、分の$\varepsilon$はランダムなラベルを持つ非構造化事実で構成されている。 我々は,学習者が基礎となるルールを同時に回復し,新しいデータへの一般化を可能にし,非構造化例を記憶できる時を特徴付ける。 その結果, 過度なパラメータ化がこれらの2つの目的の同時実現を可能にするかが定量化され, 十分な過剰なキャパシティがメモリ化をサポートする一方で, カーネルや非線形性の選択が規則学習と記憶の間のキャパシティの割り当てを制御する。 RAFモデルは、最近のニューラルネットワークが、希少または非圧縮性のある情報を格納しながら構造を推論する方法を理解するための理論的基盤を提供する。

関連論文リスト

• A Theory of How Pretraining Shapes Inductive Bias in Fine-Tuning [51.505728136705564]
  我々は, 対角線ネットワークにおけるプレトレーニングファインチューニングパイプラインの解析理論を開発した。 異なる初期化選択により、ネットワークは4つの異なる微調整レジームに分類される。 以前の階層の縮小により、ネットワークは機能の再利用と洗練を両立することができ、より優れた一般化を実現している。
  論文  参考訳（メタデータ） (2026-02-23T17:19:33Z)
• Why Neural Network Can Discover Symbolic Structures with Gradient-based Training: An Algebraic and Geometric Foundation for Neurosymbolic Reasoning [73.18052192964349]
  我々は、連続的なニューラルネットワークトレーニングのダイナミックスから、離散的なシンボル構造が自然に現れるかを説明する理論的枠組みを開発する。 ニューラルパラメータを測度空間に上げ、ワッサーシュタイン勾配流としてモデル化することにより、幾何的制約の下では、パラメータ測度 $mu_t$ が2つの同時現象となることを示す。
  論文  参考訳（メタデータ） (2025-06-26T22:40:30Z)
• Learned Random Label Predictions as a Neural Network Complexity Metric [0.6577148087211809]
  本研究では,教師付き学習におけるクラスラベルと並行してランダムに生成されたラベルの学習が,深層ニューラルネットワークの記憶,モデル複雑性,一般化に与える影響について検討する。 公平なAIで使用される手法にインスパイアされた我々の手法は、ランダムなラベルの学習を可能にし、ネットワークが個々のサンプルを記憶するのを防ぐ。
  論文  参考訳（メタデータ） (2024-11-29T11:52:59Z)
• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Rule Based Learning with Dynamic (Graph) Neural Networks [0.8158530638728501]
  本稿ではルールベースグラフニューラルネットワーク(RuleGNN)を提案する。 実験の結果,ルールGNNの予測性能は最先端のグラフ分類器に匹敵することがわかった。 専門家の知識をルールGNNに組み込む方法を示すために,新しいベンチマークグラフデータセットを導入する。
  論文  参考訳（メタデータ） (2024-06-14T12:01:18Z)
• Fundamental limits of overparametrized shallow neural networks for supervised learning [11.136777922498355]
  本研究では,教師ネットワークが生成した入力-出力ペアから学習した2層ニューラルネットワークについて検討する。 この結果は,トレーニングデータとネットワーク重み間の相互情報,すなわちベイズ最適一般化誤差に関連する境界の形で得られる。
  論文  参考訳（メタデータ） (2023-07-11T08:30:50Z)
• PROTOtypical Logic Tensor Networks (PROTO-LTN) for Zero Shot Learning [2.236663830879273]
  論理ネットワーク(英: Logic Networks, LTN)は、ディープニューラルネットワークに根ざした微分可能な一階述語論理に基づくニューロシンボリックシステムである。 ここでは、ほとんどの意味的画像解釈タスクをエンコードする基本となるsubsumptionまたはtextttisOfClass述語に焦点を当てる。 本稿では,オブジェクト埋め込みと対応するクラスプロトタイプ間の距離の関数を真理レベルとする,共通のtextttisOfClass述語を提案する。
  論文  参考訳（メタデータ） (2022-06-26T18:34:07Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Reinforcement Learning with External Knowledge by using Logical Neural Networks [67.46162586940905]
  論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。 外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T12:34:59Z)
• Identifying Learning Rules From Neural Network Observables [26.96375335939315]
  学習ルールの異なるクラスは、重み、アクティベーション、即時的な階層的活動変化の集計統計に基づいてのみ分離可能であることを示す。 本研究は, シナプス後活動の電気生理学的記録から得られる活性化パターンが, 学習規則の同定に有効であることを示すものである。
  論文  参考訳（メタデータ） (2020-10-22T14:36:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。