論文の概要: Implicit Bias and Invariance: How Hopfield Networks Efficiently Learn Graph Orbits

• arxiv url: http://arxiv.org/abs/2512.14338v1
• Date: Tue, 16 Dec 2025 12:06:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-17 16:49:26.709934
• Title: Implicit Bias and Invariance: How Hopfield Networks Efficiently Learn Graph Orbits
• Title（参考訳）: 暗黙のバイアスと不変性:ホップフィールドネットワークがグラフ軌道を効率的に学習する方法
• Authors: Michael Murray, Tenzin Chan, Kedar Karhadker, Christopher J. Hillar,
• Abstract要約: 我々は、小さなランダムサンプルからグラフの完全同型類を推測する。 発見はホップフィールドネットワークにおける一般化の統一メカニズムを強調している。
• 参考スコア（独自算出の注目度）: 9.02293509509624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many learning problems involve symmetries, and while invariance can be built into neural architectures, it can also emerge implicitly when training on group-structured data. We study this phenomenon in classical Hopfield networks and show they can infer the full isomorphism class of a graph from a small random sample. Our results reveal that: (i) graph isomorphism classes can be represented within a three-dimensional invariant subspace, (ii) using gradient descent to minimize energy flow (MEF) has an implicit bias toward norm-efficient solutions, which underpins a polynomial sample complexity bound for learning isomorphism classes, and (iii) across multiple learning rules, parameters converge toward the invariant subspace as sample sizes grow. Together, these findings highlight a unifying mechanism for generalization in Hopfield networks: a bias toward norm efficiency in learning drives the emergence of approximate invariance under group-structured data.
• Abstract（参考訳）: 多くの学習問題は対称性を伴い、ニューラルネットワークに不変性を組み込むことができるが、グループ構造化データのトレーニング時に暗黙的に現れることもある。 この現象を古典ホップフィールドネットワークで研究し、小さなランダム標本からグラフの完全同型類を推測できることを示す。 私たちの結果はこう明らかです。 i) グラフ同型類は3次元不変部分空間内で表すことができる。 (II) 勾配降下によるエネルギーフローの最小化(MEF)はノルム効率の高い解に対する暗黙の偏りを持ち、同型類を学習するための多項式サンプルの複雑性の基盤となる。 (iii)複数の学習規則にまたがって、パラメータはサンプルサイズが大きくなるにつれて不変部分空間に収束する。 学習におけるノルム効率へのバイアスは、群構造データに基づく近似不変性の出現を促進する。

関連論文リスト

• Diffeomorphism-Equivariant Neural Networks [20.100205038541695]
  本稿では,エネルギーをベースとした正準化により,事前学習ニューラルネットワークの微分同相性を誘導する手法を提案する。 セグメンテーションと分類タスクに関する実証的な結果は、我々のアプローチが、広範囲なデータ拡張や再学習に頼ることなく、等式を近似し、未知の変換に一般化することを確認する。
  論文  参考訳（メタデータ） (2026-02-06T13:31:56Z)
• Exact Dynamics of Multi-class Stochastic Gradient Descent [4.1538344141902135]
  ワンパス勾配勾配法(SGD)を用いて学習した多種多様な高次元最適化問題の学習・学習速度ダイナミクスを解析するためのフレームワークを開発する。 我々は、ODEのシステムに対する決定論的解という観点から、リスクや真の信号との重なり合いを含む、制限力学の関数の大規模なクラスに対して、正確な表現を与える。
  論文  参考訳（メタデータ） (2025-10-15T20:31:49Z)
• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• Supercharging Graph Transformers with Advective Diffusion [28.40109111316014]
  本稿では,この課題に対処するために,物理に着想を得たグラフトランスモデルであるAdvDIFFormerを提案する。 本稿では,AdvDIFFormerが位相シフトによる一般化誤差を制御できることを示す。 経験的に、このモデルは情報ネットワーク、分子スクリーニング、タンパク質相互作用の様々な予測タスクにおいて優位性を示す。
  論文  参考訳（メタデータ） (2023-10-10T08:40:47Z)
• Unsupervised Learning of Invariance Transformations [105.54048699217668]
  近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
  論文  参考訳（メタデータ） (2023-07-24T17:03:28Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。