論文の概要: Interpretable Scaling Behavior in Sparse Subnetwork Representations of Quantum States

• arxiv url: http://arxiv.org/abs/2505.22734v1
• Date: Wed, 28 May 2025 18:00:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.458083
• Title: Interpretable Scaling Behavior in Sparse Subnetwork Representations of Quantum States
• Title（参考訳）: 量子状態のスパースサブネット表現における解釈可能なスケーリング挙動
• Authors: Brandon Barton, Juan Carrasquilla, Christopher Roth, Agnes Valenti,
• Abstract要約: パラメータ数が1桁を超えると、スパースニューラルネットワークは密度の高いニューラルネットワークに匹敵する精度に達することが示される。 ネットワークサイズと物理モデルにまたがって持続する普遍的なスケーリングの挙動を同定し、そこではスケーリング領域の境界は、基礎となるハミルトニアンによって決定される。
• 参考スコア（独自算出の注目度）: 0.46603287532620735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Lottery Ticket Hypothesis (LTH) posits that within overparametrized neural networks, there exist sparse subnetworks that are capable of matching the performance of the original model when trained in isolation from the original initialization. We extend this hypothesis to the unsupervised task of approximating the ground state of quantum many-body Hamiltonians, a problem equivalent to finding a neural-network compression of the lowest-lying eigenvector of an exponentially large matrix. Focusing on two representative quantum Hamiltonians, the transverse field Ising model (TFIM) and the toric code (TC), we demonstrate that sparse neural networks can reach accuracies comparable to their dense counterparts, even when pruned by more than an order of magnitude in parameter count. Crucially, and unlike the original LTH, we find that performance depends only on the structure of the sparse subnetwork, not on the specific initialization, when trained in isolation. Moreover, we identify universal scaling behavior that persists across network sizes and physical models, where the boundaries of scaling regions are determined by the underlying Hamiltonian. At the onset of high-error scaling, we observe signatures of a sparsity-induced quantum phase transition that is first-order in shallow networks. Finally, we demonstrate that pruning enhances interpretability by linking the structure of sparse subnetworks to the underlying physics of the Hamiltonian.
• Abstract（参考訳）: Lottery Ticket hypothesis (LTH) は、過度にパラメータ化されたニューラルネットワーク内には、オリジナルの初期化から独立してトレーニングされた時に、元のモデルのパフォーマンスにマッチできるスパースサブネットが存在することを示唆している。 我々は、この仮説を量子多体ハミルトンの基底状態を近似する教師なしのタスクに拡張する。これは指数関数的に大きい行列の最低階層固有ベクトルのニューラルネットワーク圧縮を見つけるのと同等の問題である。 横フィールドイジングモデル (TFIM) とトーリック符号 (TC) の2つの代表的な量子ハミルトニアンに着目し, パラメータ数が1桁を超える場合であっても, スパースニューラルネットワークが高密度の量子ハミルトニアンに匹敵する精度に達することを示した。 重要なことに、元のLTHとは異なり、性能はスパースサブネットワークの構造にのみ依存し、特定の初期化に依存しない。 さらに、ネットワークサイズや物理モデルにまたがって持続する普遍的なスケーリング挙動を同定し、そこでは、スケーリング領域の境界は、基礎となるハミルトニアンによって決定される。 ハイエラースケーリングの開始時に、浅層ネットワークにおいて1次となるスパシティ誘起量子相転移のシグネチャを観測する。 最後に, プルーニングは, スパースサブネットの構造とハミルトニアンの基盤となる物理を結びつけることにより, 解釈可能性を高めることを示した。

関連論文リスト

• Spike-and-slab shrinkage priors for structurally sparse Bayesian neural networks [0.16385815610837165]
  スパースディープラーニングは、基礎となるターゲット関数のスパース表現を復元することで、課題に対処する。 構造化された空間によって圧縮されたディープニューラルアーキテクチャは、低レイテンシ推論、データスループットの向上、エネルギー消費の削減を提供する。 本研究では, (i) Spike-and-Slab Group Lasso (SS-GL) と (ii) Spike-and-Slab Group Horseshoe (SS-GHS) を併用した過剰ノードを誘発する構造的疎いベイズニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-17T17:14:18Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
  本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。 隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。 スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
  論文  参考訳（メタデータ） (2022-02-13T07:12:02Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• The edge of chaos: quantum field theory and deep neural networks [0.0]
  我々は、ディープニューラルネットワークの一般クラスに対応する量子場理論を明示的に構築する。 我々は、深さ$T$と幅$N$との比の摂動展開において、相関関数に対するループ補正を計算する。 我々の分析は、急速に出現するNN-QFT対応に対する第一原理のアプローチを提供し、ディープニューラルネットワークの臨界性の研究にいくつかの興味深い道を開く。
  論文  参考訳（メタデータ） (2021-09-27T18:00:00Z)
• Mitigating Performance Saturation in Neural Marked Point Processes: Architectures and Loss Functions [50.674773358075015]
  本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。 我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-07-07T16:59:14Z)
• Fixed points of nonnegative neural networks [6.7113569772720565]
  まず、非負の重みとバイアスを持つ非負のニューラルネットワークは、モノトニックで(弱く)スケーラブルなマッピングとして認識できることを示す。 非負の重みとバイアスを持つ非負のニューラルネットワークの固定点集合の形状が間隔であることを証明する。
  論文  参考訳（メタデータ） (2021-06-30T17:49:55Z)
• Tensor-Train Networks for Learning Predictive Modeling of Multidimensional Data [0.0]
  有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。 本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。 TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2021-01-22T16:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。