論文の概要: Transfer entropy and O-information to detect grokking in tensor network multi-class classification problems

• arxiv url: http://arxiv.org/abs/2507.23346v1
• Date: Thu, 31 Jul 2025 08:53:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-01 17:19:09.329338
• Title: Transfer entropy and O-information to detect grokking in tensor network multi-class classification problems
• Title（参考訳）: テンソルネットワーク多クラス分類問題におけるグラッキング検出のための転送エントロピーとO情報
• Authors: Domenico Pomarico, Roberto Cilli, Alfonso Monaco, Loredana Bellantuono, Marianna La Rocca, Tommaso Maggipinto, Giuseppe Magnifico, Marlis Ontivero Ortega, Ester Pantaleo, Sabina Tangaro, Sebastiano Stramaglia, Roberto Bellotti, Nicola Amoroso,
• Abstract要約: マトリックス製品状態(MPS)分類器の3クラス問題に対するトレーニングダイナミクスについて検討した。 記憶の後に一般化が突然現れるグラッキング現象について検討する。 以上の結果から,MNIST課題は急激な絡み合い遷移と冗長な情報のピークと一致し,過度に適合した超スペクトルモデルでは相乗的,乱れのある動作が保たれることがわかった。
• 参考スコア（独自算出の注目度）: 0.6222849132943892
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantum-enhanced machine learning, encompassing both quantum algorithms and quantum-inspired classical methods such as tensor networks, offers promising tools for extracting structure from complex, high-dimensional data. In this work, we study the training dynamics of Matrix Product State (MPS) classifiers applied to three-class problems, using both fashion MNIST and hyper-spectral satellite imagery as representative datasets. We investigate the phenomenon of grokking, where generalization emerges suddenly after memorization, by tracking entanglement entropy, local magnetization, and model performance across training sweeps. Additionally, we employ information theory tools to gain deeper insights: transfer entropy is used to reveal causal dependencies between label-specific quantum masks, while O-information captures the shift from synergistic to redundant correlations among class outputs. Our results show that grokking in the fashion MNIST task coincides with a sharp entanglement transition and a peak in redundant information, whereas the overfitted hyper-spectral model retains synergistic, disordered behavior. These findings highlight the relevance of high-order information dynamics in quantum-inspired learning and emphasize the distinct learning behaviors that emerge in multi-class classification, offering a principled framework to interpret generalization in quantum machine learning architectures.
• Abstract（参考訳）: 量子アルゴリズムとテンソルネットワークのような量子インスパイアされた古典的手法の両方を含む量子強化機械学習は、複雑な高次元データから構造を抽出するための有望なツールを提供する。 本研究では,MNISTとハイパースペクトル衛星画像の両方を代表的なデータセットとして用いて,マトリックス製品状態(MPS)分類器の3クラス問題に対するトレーニングダイナミクスについて検討する。 本研究では, ゆがみエントロピー, 局所磁化, モデル性能を追跡することにより, 記憶の後に一般化が突然現れるグルーキング現象について検討する。 転送エントロピーは、ラベル固有の量子マスク間の因果関係を明らかにするのに使われ、一方、O-インフォメーションは、クラス出力間の相乗的から冗長な相関のシフトを捉えます。 以上の結果から,MNIST課題は急激な絡み合い遷移や冗長な情報のピークと一致し,過度に適合した超スペクトルモデルでは相乗的,乱れのある動作が保たれることがわかった。 これらの知見は、量子化学習における高次情報力学の関連性を強調し、多クラス分類で現れる異なる学習行動を強調し、量子機械学習アーキテクチャにおける一般化を解釈するための原則的枠組みを提供する。

関連論文リスト

• Models of Heavy-Tailed Mechanistic Universality [62.107333654304014]
  トレーニングニューラルネットワークにおける重み付け行動を引き起こす属性を探索するために,ランダム行列モデルのファミリーを提案する。 このモデルの下では、3つの独立した因子の組み合わせによって、尾翼の電力法則によるスペクトル密度が生じる。 ニューラルネットワークトレーニングの5段階以上において、ニューラルネットワークのスケーリング法則、軌道、および5段階以上の位相を含む重尾の出現に対する我々のモデルの影響について論じる。
  論文  参考訳（メタデータ） (2025-06-04T00:55:01Z)
• Explaining Anomalies with Tensor Networks [0.0]
  本稿では,説明可能な異常検出のためのツリーテンソルネットワークを提案する。 いくつかのベースラインモデルと比較して,適切な予測性能を示す。 これにより、より広範な潜在的な問題にテンソルネットワークの適用を拡大する。
  論文  参考訳（メタデータ） (2025-05-06T18:35:05Z)
• Grokking as an entanglement transition in tensor network machine learning [0.608657548424657]
  我々は、グラッキング現象が、基礎となる量子多体系における絡み合いの動的遷移と関係があることを数値的に証明する。 本研究では,有意義で関連する遺伝子サブコミュニティを識別するためのツールとして,マトリックス製品状態ネットワークにおける量子化と相関関数の測定を利用する。
  論文  参考訳（メタデータ） (2025-03-13T15:51:23Z)
• Generalization Performance of Hypergraph Neural Networks [21.483543928698676]
  我々は、ハイパーグラフニューラルネットワークの4つの代表クラスに対して、マージンに基づく一般化境界を開発する。 その結果,ハイパーグラフ構造やスペクトルノルムが一般化境界にどのような影響を及ぼすかが明らかになった。 本研究は,実世界のデータセットに対するモデルの性能と理論的境界の関係を実験的に検討した。
  論文  参考訳（メタデータ） (2025-01-22T00:20:26Z)
• Quantum reservoir computing on random regular graphs [0.0]
  量子貯水池コンピューティング(QRC)は、入力駆動多体量子システムと古典的な学習技術を組み合わせた低複雑性学習パラダイムである。 我々は、情報局在化、動的量子相関、および乱れハミルトニアンの多体構造について研究する。 そこで本研究では、乱れたアナログ量子学習プラットフォームの最適設計のためのガイドラインを提供する。
  論文  参考訳（メタデータ） (2024-09-05T16:18:03Z)
• ShadowNet for Data-Centric Quantum System Learning [188.683909185536]
  本稿では,ニューラルネットワークプロトコルと古典的シャドウの強みを組み合わせたデータ中心学習パラダイムを提案する。 ニューラルネットワークの一般化力に基づいて、このパラダイムはオフラインでトレーニングされ、これまで目に見えないシステムを予測できる。 量子状態トモグラフィーおよび直接忠実度推定タスクにおいて、我々のパラダイムのインスタンス化を示し、60量子ビットまでの数値解析を行う。
  論文  参考訳（メタデータ） (2023-08-22T09:11:53Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• A didactic approach to quantum machine learning with a single qubit [68.8204255655161]
  我々は、データ再ロード技術を用いて、単一のキュービットで学習するケースに焦点を当てる。 我々は、Qiskit量子コンピューティングSDKを用いて、おもちゃと現実世界のデータセットに異なる定式化を実装した。
  論文  参考訳（メタデータ） (2022-11-23T18:25:32Z)
• Generalization despite overfitting in quantum machine learning models [0.0]
  量子モデルにおける良性過剰適合のキャラクタリゼーションを提供する。 量子モデルのクラスが如何に類似した特徴を示すかを示す。 我々はこれらの特徴を、局所的な「スパイク」な振る舞いでノイズデータを補間する量子モデルの能力に応じて直感的に説明する。
  論文  参考訳（メタデータ） (2022-09-12T18:08:45Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)
• Tracing Information Flow from Open Quantum Systems [52.77024349608834]
  我々は導波路アレイに光子を用いて、キュービットと低次元の離散環境とのカップリングの量子シミュレーションを実装した。 量子状態間のトレース距離を情報の尺度として用いて、異なるタイプの情報伝達を分析する。
  論文  参考訳（メタデータ） (2021-03-22T16:38:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。