論文の概要: On Emergences of Non-Classical Statistical Characteristics in Classical Neural Networks
- arxiv url: http://arxiv.org/abs/2603.04451v1
- Date: Fri, 27 Feb 2026 06:56:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-06 22:06:10.890364
- Title: On Emergences of Non-Classical Statistical Characteristics in Classical Neural Networks
- Title（参考訳）: 古典的ニューラルネットワークにおける非古典的統計特性の創発について
- Authors: Hanyu Zhao, Yang Wu, Yuexian Hou,
- Abstract要約: 非古典的ネットワーク(non-classical Network, NCnet)は、古典的でない統計的挙動を安定して示す単純な古典的ニューラルネットワークである。
非古典性はCHSH不等式(英語版)の$S$統計によって測定され、マルチタスクで共有される隠蔽層ニューロンの競合から生じる。
- 参考スコア（独自算出の注目度）: 19.89817204415622
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Inspired by measurement incompatibility and Bell-family inequalities in quantum mechanics, we propose the Non-Classical Network (NCnet), a simple classical neural architecture that stably exhibits non-classical statistical behaviors under typical and interpretable experimental setups. We find non-classicality, measured by the $S$ statistic of CHSH inequality, arises from gradient competitions of hidden-layer neurons shared by multi-tasks. Remarkably, even without physical links supporting explicit communication, one task head can implicitly sense the training task of other task heads via local loss oscillations, leading to non-local correlations in their training outcomes. Specifically, in the low-resource regime, the value of $S$ increases gradually with increasing resources and approaches toward its classical upper-bound 2, which implies that underfitting is alleviated with resources increase. As the model nears the critical scale required for adequate performance, $S$ may temporarily exceed 2. As resources continue to grow, $S$ then asymptotically decays down to and fluctuates around 2. Empirically, when model capacity is insufficient, $S$ is positively correlated with generalization performance, and the regime where $S$ first approaches $2$ often corresponding to good generalization. Overall, our results suggest that non-classical statistics can provide a novel perspective for understanding internal interactions and training dynamics of deep networks.
- Abstract（参考訳）: 量子力学における非古典的ニューラルネットワーク(Non-Classical Network, NCnet)は, 典型的, 解釈可能な実験環境下での非古典的統計的挙動を安定に示す。
非古典性はCHSH不等式(英語版)の$S$統計によって測定され、マルチタスクで共有される隠蔽層ニューロンの勾配競争から生じる。
注目すべきは、明示的なコミュニケーションをサポートする物理的なリンクがなくても、あるタスクヘッドは局所的な損失振動によって他のタスクヘッドのトレーニングタスクを暗黙的に感知することができ、トレーニング結果に非局所的相関をもたらすことである。
具体的には、低リソース体制においては、リソースの増加と古典的な上行2へのアプローチにより、S$の値は徐々に増加し、リソースの増加とともに不適合が緩和されることを意味する。
モデルが適切なパフォーマンスに必要な臨界スケールに近づくと、$S$は一時的に2を超えるかもしれない。
資源が成長し続ければ、$S$は漸近的に崩壊し、約2.2ドル前後で変動する。
経験的に、モデルキャパシティが不十分な場合、$S$は一般化性能と正に相関し、$S$ファーストが良い一般化に対応する2ドルアプローチのレジームである。
以上の結果から,非古典的統計学は内部相互作用の理解と深層ネットワークの動的学習に新たな視点を与える可能性が示唆された。
関連論文リスト
- Hybrid Quantum-Classical Neural Networks for Few-Shot Credit Risk Assessment [52.05742536403784]
この仕事は、数発の信用リスク評価の課題に取り組む。
我々は、新しいハイブリッド量子古典ワークフローを設計、実装する。
量子ニューラルネットワーク(QNN)はパラメータシフト規則によって訓練された。
実世界の279のサンプルデータを用いて、QNNはシミュレーションで0.852 +/-0.027の堅牢な平均AUCを達成し、ハードウェア実験で0.88の印象的なAUCを得た。
論文 参考訳（メタデータ） (2025-09-17T08:36:05Z) - Dynamical Decoupling of Generalization and Overfitting in Large Two-Layer Networks [10.591718074748895]
本研究では,2層ニューラルネットワークの動的平均場理論による学習ダイナミクスについて検討する。
大きなネットワーク幅$m$と入力次元$n/d$あたりのサンプル数に対して、トレーニングダイナミクスは時間スケールの分離を示す。
論文 参考訳（メタデータ） (2025-02-28T17:45:26Z) - Learning non-ideal genuine network nonlocality using causally inferred Bayesian neural network algorithms [0.688204255655161]
我々はLHV層ニューラルネットワークと呼ばれるスケーラブルな因果推論型ベイズ学習フレームワークを導入する。
基礎的なドメイン固有の制約を持つ機械学習アプローチが量子基礎の分野に多大な恩恵をもたらすことを示す。
論文 参考訳（メタデータ） (2025-01-14T12:45:47Z) - Estimating the volumes of correlations sets in causal networks [0.41942958779358674]
ベルの定理におけるそれを超える因果関係は、非古典性の新しい種類や応用をもたらす可能性がある。
コミュニティでもっとも普及しているツールが,非古典的行動のかなりの部分を検出することができないことを示す。
また、推論における中心的なツールである利用介入が、非古典性を見極める能力を大幅に向上させることも示している。
論文 参考訳（メタデータ） (2023-11-14T22:35:57Z) - On Excess Risk Convergence Rates of Neural Network Classifiers [8.329456268842227]
本稿では,ニューラルネットワークを用いた2値分類におけるプラグイン分類器の性能を,その過大なリスクによって測定した。
ニューラルネットワークの推定と近似特性を分析し,次元自由で均一な収束率を求める。
論文 参考訳（メタデータ） (2023-09-26T17:14:10Z) - High-Level Parallelism and Nested Features for Dynamic Inference Cost and Top-Down Attention [4.051316555028782]
本稿では,動的推論コストとトップダウンアテンション機構をシームレスに統合する新しいネットワークトポロジーを提案する。
人間の知覚からインスピレーションを得るため、汎用的な低レベル特徴の逐次処理と並列性と高レベルの特徴のネスト処理を組み合わせる。
動的推論コストの面では、我々の方法論は最大7,3.48,%のパラメータと84.41,%のギガ乗算累積(GMAC)演算を除外することができる。
論文 参考訳（メタデータ） (2023-08-09T08:49:29Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Problem-Dependent Power of Quantum Neural Networks on Multi-Class
Classification [83.20479832949069]
量子ニューラルネットワーク(QNN)は物理世界を理解する上で重要なツールとなっているが、その利点と限界は完全には理解されていない。
本稿では,多クラス分類タスクにおけるQCの問題依存力について検討する。
我々の研究はQNNの課題依存力に光を当て、その潜在的なメリットを評価するための実践的なツールを提供する。
論文 参考訳（メタデータ） (2022-12-29T10:46:40Z) - On the generalization of learning algorithms that do not converge [54.122745736433856]
ディープラーニングの一般化解析は、訓練が一定の点に収束すると仮定するのが一般的である。
最近の結果は、実際には勾配降下に最適化されたディープニューラルネットワークの重みは、しばしば無限に振動することを示している。
論文 参考訳（メタデータ） (2022-08-16T21:22:34Z) - The dilemma of quantum neural networks [63.82713636522488]
量子ニューラルネットワーク(QNN)は、古典的な学習モデルに対して何の恩恵も与えないことを示す。
QNNは、現実世界のデータセットの一般化が不十分な、極めて限られた有効モデル能力に悩まされている。
これらの結果から、現在のQNNの役割を再考し、量子的優位性で現実の問題を解決するための新しいプロトコルを設計せざるを得ない。
論文 参考訳（メタデータ） (2021-06-09T10:41:47Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks
Trained with the Logistic Loss [0.0]
勾配に基づく手法によるロジスティック(クロスエントロピー)損失を最小限に抑えるために訓練されたニューラルネットワークは、多くの教師付き分類タスクでうまく機能する。
我々は、均一な活性化を伴う無限に広い2層ニューラルネットワークのトレーニングと一般化の挙動を解析する。
論文 参考訳（メタデータ） (2020-02-11T15:42:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。