論文の概要: Emergence of Structure in Ensembles of Random Neural Networks

• arxiv url: http://arxiv.org/abs/2505.10331v1
• Date: Thu, 15 May 2025 14:20:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.354693
• Title: Emergence of Structure in Ensembles of Random Neural Networks
• Title（参考訳）: ランダムニューラルネットワークのアンサンブルにおける構造の発生
• Authors: Luca Muscarnera, Luigi Loreti, Giovanni Todeschini, Alessio Fumagalli, Francesco Regazzoni,
• Abstract要約: ランダム分類器のアンサンブルにおける集団行動の出現に関する理論的モデルを提案する。 MNISTデータセットの実験は、高品質でノイズのないデータセットにおけるこの現象の関連性を説明する。
• 参考スコア（独自算出の注目度）: 3.3385430106181184
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Randomness is ubiquitous in many applications across data science and machine learning. Remarkably, systems composed of random components often display emergent global behaviors that appear deterministic, manifesting a transition from microscopic disorder to macroscopic organization. In this work, we introduce a theoretical model for studying the emergence of collective behaviors in ensembles of random classifiers. We argue that, if the ensemble is weighted through the Gibbs measure defined by adopting the classification loss as an energy, then there exists a finite temperature parameter for the distribution such that the classification is optimal, with respect to the loss (or the energy). Interestingly, for the case in which samples are generated by a Gaussian distribution and labels are constructed by employing a teacher perceptron, we analytically prove and numerically confirm that such optimal temperature does not depend neither on the teacher classifier (which is, by construction of the learning problem, unknown), nor on the number of random classifiers, highlighting the universal nature of the observed behavior. Experiments on the MNIST dataset underline the relevance of this phenomenon in high-quality, noiseless, datasets. Finally, a physical analogy allows us to shed light on the self-organizing nature of the studied phenomenon.
• Abstract（参考訳）: ランダム性は、データサイエンスや機械学習にまたがる多くのアプリケーションで広く使われている。 注目すべきは、ランダムなコンポーネントで構成されるシステムは、しばしば決定論的に見える創発的なグローバルな振る舞いを示し、顕微鏡的な障害からマクロ的な組織への移行を示すことである。 本研究では,ランダム分類器のアンサンブルにおける集団行動の出現に関する理論的モデルを提案する。 アンサンブルがエネルギーとして分類損失を採用することで定義されるギブズ測度を通して重み付けされている場合、その分類が損失(またはエネルギー)に関して最適であるような分布に対して有限温度パラメータが存在すると論じる。 興味深いことに、ガウス分布によってサンプルが生成され、教師パーセプトロンを用いてラベルが構築されている場合、そのような最適温度が教師分類器(学習問題の構築によって未知の)にもランダム分類器の数にも依存せず、観察された行動の普遍的な性質に重点を置いていないことを解析的に証明し、数値的に確認する。 MNISTデータセットの実験は、高品質でノイズのないデータセットにおけるこの現象の関連性を説明する。 最後に、物理アナロジーにより、研究された現象の自己組織化の性質に光を放つことができる。

関連論文リスト

• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Characterization and Greedy Learning of Gaussian Structural Causal Models under Unknown Interventions [4.993565079216378]
  我々は、GnIESと呼ばれる欲求アルゴリズムを用いて、介入対象の知識のないデータ生成モデルの等価クラスを復元する。 さらに,本論文では,半合成データセットを未知の因果基底真理で生成する手法を開発した。
  論文  参考訳（メタデータ） (2022-11-27T17:37:21Z)
• Identifiability and Asymptotics in Learning Homogeneous Linear ODE Systems from Discrete Observations [114.17826109037048]
  通常の微分方程式(ODE)は、機械学習において最近多くの注目を集めている。 理論的な側面、例えば、統計的推定の識別可能性と特性は、いまだに不明である。 本稿では,1つの軌道からサンプリングされた等間隔の誤差のない観測結果から,同次線形ODE系の同定可能性について十分な条件を導出する。
  論文  参考訳（メタデータ） (2022-10-12T06:46:38Z)
• Gaussian Universality of Linear Classifiers with Random Labels in High-Dimension [24.503842578208268]
  高次元における生成モデルから得られるデータは、ガウスデータと対応するデータ共分散の最小限の訓練損失を持つことを示す。 特に,同質なガウス雲と多モード生成ニューラルネットワークの任意の混合によって生成されたデータについて述べる。
  論文  参考訳（メタデータ） (2022-05-26T12:25:24Z)
• Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics for Convex Losses in High-Dimension [25.711297863946193]
  我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。 一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
  論文  参考訳（メタデータ） (2022-01-31T17:44:58Z)
• Uniform Convergence, Adversarial Spheres and a Simple Remedy [40.44709296304123]
  これまでの研究は、統一収束の一般的な枠組みと、ニューラルネットワークの一般化を説明する能力に疑問を投げかけてきた。 我々は、無限大モデルのレンズを通して、以前に研究されたデータセットの広範な理論的検討を行う。 我々は、ニューラルタンジェントカーネル(NTK)も同じ現象に苦しむことを証明し、その起源を明らかにします。
  論文  参考訳（メタデータ） (2021-05-07T20:23:01Z)
• Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
  実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。 特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。 本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
  論文  参考訳（メタデータ） (2021-02-12T12:23:13Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Neural Networks and Polynomial Regression. Demystifying the Overparametrization Phenomena [17.205106391379026]
  ニューラルネットワークモデルでは、過度パラメトリゼーション(overparametrization)は、これらのモデルが見えないデータに対してうまく一般化しているように見える現象を指す。 この現象の従来の説明は、データのトレーニングに使用されるアルゴリズムの自己正規化特性に基づいている。 教師ネットワークが生成したデータを補間する学生ネットワークは,少なくともデータ次元によって制御される明示的な量である場合,よく一般化することを示す。
  論文  参考訳（メタデータ） (2020-03-23T20:09:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。