論文の概要: Emergence of Structure in Ensembles of Random Neural Networks

• arxiv url: http://arxiv.org/abs/2505.10331v1
• Date: Thu, 15 May 2025 14:20:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.354693
• Title: Emergence of Structure in Ensembles of Random Neural Networks
• Title（参考訳）: ランダムニューラルネットワークのアンサンブルにおける構造の発生
• Authors: Luca Muscarnera, Luigi Loreti, Giovanni Todeschini, Alessio Fumagalli, Francesco Regazzoni,
• Abstract要約: ランダム分類器のアンサンブルにおける集団行動の出現に関する理論的モデルを提案する。 MNISTデータセットの実験は、高品質でノイズのないデータセットにおけるこの現象の関連性を説明する。
• 参考スコア（独自算出の注目度）: 3.3385430106181184
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Randomness is ubiquitous in many applications across data science and machine learning. Remarkably, systems composed of random components often display emergent global behaviors that appear deterministic, manifesting a transition from microscopic disorder to macroscopic organization. In this work, we introduce a theoretical model for studying the emergence of collective behaviors in ensembles of random classifiers. We argue that, if the ensemble is weighted through the Gibbs measure defined by adopting the classification loss as an energy, then there exists a finite temperature parameter for the distribution such that the classification is optimal, with respect to the loss (or the energy). Interestingly, for the case in which samples are generated by a Gaussian distribution and labels are constructed by employing a teacher perceptron, we analytically prove and numerically confirm that such optimal temperature does not depend neither on the teacher classifier (which is, by construction of the learning problem, unknown), nor on the number of random classifiers, highlighting the universal nature of the observed behavior. Experiments on the MNIST dataset underline the relevance of this phenomenon in high-quality, noiseless, datasets. Finally, a physical analogy allows us to shed light on the self-organizing nature of the studied phenomenon.
• Abstract（参考訳）: ランダム性は、データサイエンスや機械学習にまたがる多くのアプリケーションで広く使われている。 注目すべきは、ランダムなコンポーネントで構成されるシステムは、しばしば決定論的に見える創発的なグローバルな振る舞いを示し、顕微鏡的な障害からマクロ的な組織への移行を示すことである。 本研究では,ランダム分類器のアンサンブルにおける集団行動の出現に関する理論的モデルを提案する。 アンサンブルがエネルギーとして分類損失を採用することで定義されるギブズ測度を通して重み付けされている場合、その分類が損失(またはエネルギー)に関して最適であるような分布に対して有限温度パラメータが存在すると論じる。 興味深いことに、ガウス分布によってサンプルが生成され、教師パーセプトロンを用いてラベルが構築されている場合、そのような最適温度が教師分類器(学習問題の構築によって未知の)にもランダム分類器の数にも依存せず、観察された行動の普遍的な性質に重点を置いていないことを解析的に証明し、数値的に確認する。 MNISTデータセットの実験は、高品質でノイズのないデータセットにおけるこの現象の関連性を説明する。 最後に、物理アナロジーにより、研究された現象の自己組織化の性質に光を放つことができる。

関連論文リスト

• Free Independence and Unitary Design from Random Matrix Product Unitaries [0.0]
  ランダム行列積のユニタリアンサンブルからの自由度の発生について検討する。 結合次元のみを用いて、これらのユニタリは局所有限トレース観測可能な高階OTOCのハール値を再現する。 この結果は、演算子力学の文脈において、以前のユニタリ設計の概念を洗練する必要性を強調している。
  論文  参考訳（メタデータ） (2025-07-31T18:00:00Z)
• Rademacher learning rates for iterated random functions [0.0]
  トレーニングデータセットが、必ずしも既約あるいは非周期的でない反復ランダム関数によって生成される場合を考える。 支配関数が第一引数に関して収縮的であるという仮定の下で、まず、対応するサンプル誤差に対する一様収束結果を確立する。 次に、近似経験的リスク最小化アルゴリズムの学習可能性を示し、その学習速度を導出する。
  論文  参考訳（メタデータ） (2025-06-16T19:36:13Z)
• Identifiable Latent Neural Causal Models [82.14087963690561]
  因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。 因果表現の識別可能性に寄与する分布シフトのタイプを決定する。 本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
  論文  参考訳（メタデータ） (2024-03-23T04:13:55Z)
• Learning Linear Causal Representations from Interventions under General Nonlinear Mixing [52.66151568785088]
  介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。 これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
  論文  参考訳（メタデータ） (2023-06-04T02:32:12Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Characterization and Greedy Learning of Gaussian Structural Causal Models under Unknown Interventions [4.993565079216378]
  我々は、GnIESと呼ばれる欲求アルゴリズムを用いて、介入対象の知識のないデータ生成モデルの等価クラスを復元する。 さらに,本論文では,半合成データセットを未知の因果基底真理で生成する手法を開発した。
  論文  参考訳（メタデータ） (2022-11-27T17:37:21Z)
• Identifiability and Asymptotics in Learning Homogeneous Linear ODE Systems from Discrete Observations [114.17826109037048]
  通常の微分方程式(ODE)は、機械学習において最近多くの注目を集めている。 理論的な側面、例えば、統計的推定の識別可能性と特性は、いまだに不明である。 本稿では,1つの軌道からサンプリングされた等間隔の誤差のない観測結果から,同次線形ODE系の同定可能性について十分な条件を導出する。
  論文  参考訳（メタデータ） (2022-10-12T06:46:38Z)
• Gaussian Universality of Linear Classifiers with Random Labels in High-Dimension [24.503842578208268]
  高次元における生成モデルから得られるデータは、ガウスデータと対応するデータ共分散の最小限の訓練損失を持つことを示す。 特に,同質なガウス雲と多モード生成ニューラルネットワークの任意の混合によって生成されたデータについて述べる。
  論文  参考訳（メタデータ） (2022-05-26T12:25:24Z)
• Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics for Convex Losses in High-Dimension [25.711297863946193]
  我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。 一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
  論文  参考訳（メタデータ） (2022-01-31T17:44:58Z)
• Uniform Convergence, Adversarial Spheres and a Simple Remedy [40.44709296304123]
  これまでの研究は、統一収束の一般的な枠組みと、ニューラルネットワークの一般化を説明する能力に疑問を投げかけてきた。 我々は、無限大モデルのレンズを通して、以前に研究されたデータセットの広範な理論的検討を行う。 我々は、ニューラルタンジェントカーネル(NTK)も同じ現象に苦しむことを証明し、その起源を明らかにします。
  論文  参考訳（メタデータ） (2021-05-07T20:23:01Z)
• Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
  実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。 特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。 本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
  論文  参考訳（メタデータ） (2021-02-12T12:23:13Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Neural Networks and Polynomial Regression. Demystifying the Overparametrization Phenomena [17.205106391379026]
  ニューラルネットワークモデルでは、過度パラメトリゼーション(overparametrization)は、これらのモデルが見えないデータに対してうまく一般化しているように見える現象を指す。 この現象の従来の説明は、データのトレーニングに使用されるアルゴリズムの自己正規化特性に基づいている。 教師ネットワークが生成したデータを補間する学生ネットワークは,少なくともデータ次元によって制御される明示的な量である場合,よく一般化することを示す。
  論文  参考訳（メタデータ） (2020-03-23T20:09:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。