論文の概要: Sample-efficient learning with Dense Associative Memories

• arxiv url: http://arxiv.org/abs/2610.27384v1
• Date: Mon, 19 Oct 2026 23:18:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.543441
• Title: Sample-efficient learning with Dense Associative Memories
• Title（参考訳）: Dense Associative Memories を用いたサンプル効率学習
• Abstract要約: 本研究では,無作為な拡張型低密度パリティチェック符号のランダムなサンプルコードワードを用いた学習において,連想記憶(DenseAM)のエネルギー関数の進化について検討する。 小さなトレーニングセットのサイズの体系では、モデルはいくつかのトレーニング例を記憶するが、コードワード辞書生成プロセス全体の基本的なルールを発見できない。 逆のルールは、より大きなトレーニングセットのサイズに対応するもので、モデルがデータセット全体を生成するスパース制約を明らかにする。
• 参考スコア（独自算出の注目度）: 4.9217140173914204
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We analytically study the evolution of the energy function of Dense Associative Memories (DenseAMs) as they train on randomly sampled codewords of random expander low-density parity-check codes (a.k.a. solutions of random XORSAT problems). We identify two distinct regimes and a transition between them, reminiscent of grokking in neural networks. A regime of small training set size is where the model memorizes a few training examples but cannot discover the underlying rules of the entire codeword dictionary generative process. The opposite regime, corresponding to a larger training set size, is where the model has uncovered the sparse constraints that generated the entire data set after seeing only polynomially many patterns. We also design a novel class of DenseAMs with a thresholding learning rule, and show that any amount of thresholding enables the model to perform simplified sparse Hamiltonian learning, which exponentially reduces the number of training examples needed to learn the true underlying data set. In this regime, the model learns how to discover $\exp[\mathrm{O}(n)]$ solutions from only $\mathrm{O}(\log n)$ training samples, which is asymptotically optimal for any learning algorithm. When training on codewords of certain random codes, the model can even learn the underlying code when a small O(1) fraction of bits are latent variables. These latent variables are not shown to the model during learning, but will be discovered by sparsifying observed higher-order correlations. For certain random codes, we show that a simple and conservative algorithm learns a minimal latent representation for the data set. This provides a transparent, physics-motivated, and analytically tractable toy model for how deep latent representations emerge in an associative memory training.
• Abstract（参考訳）: ランダム拡張器の低密度パリティチェック符号(ランダムXORSAT問題の解)をランダムにサンプル化したコードワードで学習するDense Associative Memories(DenseAMs)のエネルギー関数の進化を解析的に研究する。 我々は2つの異なる状態とそれらの間の遷移を同定し、ニューラルネットワークにおけるグルーキングを思い出させる。 小さなトレーニングセットのサイズの体系では、モデルはいくつかのトレーニング例を記憶するが、コードワード辞書生成プロセス全体の基本的なルールを発見できない。 逆の規則は、より大きなトレーニングセットのサイズに対応するもので、このモデルは、多項式的に多くのパターンだけを見た後にデータセット全体を生成するスパース制約を明らかにする。 また、しきい値学習ルールを持つ新しいDenseAMのクラスを設計し、しきい値学習によってモデルが単純化されたスパースハミルトン学習を実行でき、真の基礎となるデータセットを学習するのに必要なトレーニング例を指数関数的に削減できることを示す。 この状態において、モデルは、任意の学習アルゴリズムに漸近的に最適である$\exp[\mathrm{O}(n)]$のトレーニングサンプルのみから$\exp[\mathrm{O}(\log n)$のソリューションを見つける方法を学ぶ。 特定のランダムコードのコードワードをトレーニングする場合、小さなO(1)ビットの断片が潜伏変数である場合にも、基礎となるコードを学ぶことができる。 これらの潜伏変数は学習中にモデルに示されないが、観測された高次相関によって発見される。 特定のランダムコードに対して、単純で保守的なアルゴリズムがデータセットの最小遅延表現を学習することを示す。 これは、深い潜伏表現が連想記憶トレーニングでどのように現れるかを示す、透明で、物理学的な動機を持ち、分析的に抽出可能なおもちゃモデルを提供する。

関連論文リスト

• Requential Coding: Pushing the Limits of Model Compression with Self-Generated Training Data [55.04392122319273]
  本稿では,教師モデルが生徒自身の分布から抽出した学習サンプルを選択するための逐次符号化手法を提案する。 結果として得られるコード長は、パラメータカウントとデータエントロピーとは独立しており、多くの場合、先行するコード長よりも桁違いに短い。
  論文  参考訳（メタデータ） (2026-07-13T17:58:50Z)
• A computational phase transition for learning-to-sample from Ising models [26.34581413505931]
  生成モデリングの基礎となる基本的なアルゴリズム的タスクであるemphlearning-to-sampleについて検討する。 我々は、スペクトルしきい値のすぐ向こうにある常に有界幅のイジングモデルの族を構築する。 その結果,学習からサンプルへの学習はパラメータ学習よりも困難であることが示唆された。
  論文  参考訳（メタデータ） (2026-05-23T22:04:30Z)
• CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
  我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。 学習方法は,「フリーランチ」仮説の主張を考察する。 データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-05-03T17:55:25Z)
• An Information-Theoretic Analysis of Compute-Optimal Neural Scaling Laws [24.356906682593532]
  大規模ニューラルネットワークにおけるモデルとトレーニングデータセットサイズ間の計算-最適トレードオフについて検討する。 以上の結果から, チンチラの実証分析で裏付けられる線形関係が示唆された。
  論文  参考訳（メタデータ） (2022-12-02T18:46:41Z)
• Cherry-Picking Gradients: Learning Low-Rank Embeddings of Visual Data via Differentiable Cross-Approximation [53.95297550117153]
  本稿では,大規模な視覚データテンソルの処理を行うエンドツーエンドのトレーニング可能なフレームワークを提案する。 提案手法は大規模多次元グリッドデータや,大規模受容領域上のコンテキストを必要とするタスクに特に有用である。
  論文  参考訳（メタデータ） (2021-05-29T08:39:57Z)
• Neural networks behave as hash encoders: An empirical study [79.38436088982283]
  ReLUライクなアクティベーションを持つニューラルネットワークの入力空間は、複数の線形領域に分割される。 このパーティションは、さまざまなディープラーニングモデルで以下のエンコーディング特性を示すことを実証します。 K$-Means、$K$-NN、およびロジスティック回帰などの単純なアルゴリズムは、トレーニングデータとテストデータの両方でかなり優れたパフォーマンスを達成できます。
  論文  参考訳（メタデータ） (2021-01-14T07:50:40Z)
• OccamNet: A Fast Neural Model for Symbolic Regression at Scale [11.463756755780583]
  OccamNetは、データに適合する解釈可能でコンパクトでスパースなシンボルを見つけるニューラルネットワークモデルである。 本モデルでは,効率的なサンプリングと関数評価を行い,関数上の確率分布を定義する。 解析的および非解析的関数、暗黙的関数、単純な画像分類など、様々な問題に対する記号的適合を識別することができる。
  論文  参考訳（メタデータ） (2020-07-16T21:14:45Z)
• The data-driven physical-based equations discovery using evolutionary approach [77.34726150561087]
  与えられた観測データから数学的方程式を発見するアルゴリズムについて述べる。 このアルゴリズムは遺伝的プログラミングとスパース回帰を組み合わせたものである。 解析方程式の発見や偏微分方程式(PDE)の発見にも用いられる。
  論文  参考訳（メタデータ） (2020-04-03T17:21:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。