論文の概要: Signal-to-Noise Ratio and Sample Size Govern Representational Alignment in Neural Networks

• arxiv url: http://arxiv.org/abs/2605.26973v1
• Date: Tue, 26 May 2026 12:58:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:42.169021
• Title: Signal-to-Noise Ratio and Sample Size Govern Representational Alignment in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける信号対雑音比とサンプルサイズゴブリン表現アライメント
• Authors: Ali Hussaini Umar, Alessandro Laio,
• Abstract要約: 我々は、ノイズプロセスの独立実現によるトレーニングセットを用いて、回帰および分類タスクにおけるネットワークのアンサンブルを訓練する。 信号対雑音比(SNR)とトレーニングサンプルサイズがアライメントに影響を及ぼすことを示す。 線形および非線形ネットワーク全体、回帰および分類タスク、および合成および実世界のデータの両方において、アライメントがSNRと単調に変化することを一貫して観察する。
• 参考スコア（独自算出の注目度）: 48.553902624178995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks are known to develop latent representations that are $aligned$, namely structurally similar across networks trained with different architectures, training protocols, or training datasets. We study this phenomenon in a controlled setting, where we train an ensemble of networks on regression and classification tasks using training sets perturbed by independent realizations of a noise process. We show that the signal-to-noise ratio (SNR) and the training sample size influence the alignment in qualitatively similar ways in networks trained on real-world datasets and in an extremely simple $linear$ network with a single hidden layer, for which the alignment can be estimated analytically. Across linear and nonlinear networks, regression and classification tasks, and both synthetic and real-world data, we consistently observe that alignment varies monotonically with SNR but non-monotonically with training sample size. In particular, the alignment is minimized near the interpolation threshold, and a stronger alignment does not necessarily correspond to better generalization error. These findings reveal a non-trivial dependence of alignment on data quality and quantity, decoupled from generalization performance.
• Abstract（参考訳）: ニューラルネットワークは、異なるアーキテクチャでトレーニングされたネットワーク、トレーニングプロトコル、データセットでトレーニングされたネットワーク間で構造的に類似した、$aligned$の潜在表現を開発することが知られている。 我々は,この現象を制御された環境で研究し,ノイズプロセスの独立実現による学習セットを用いて,回帰および分類タスクにおけるネットワークのアンサンブルを訓練する。 実世界のデータセットでトレーニングされたネットワークや、単一の隠れ層を持つ非常に単純な$linear$ネットワークにおいて、信号対雑音比(SNR)とトレーニングサンプルサイズが定性的に類似したアライメントに影響を及ぼし、アライメントを解析的に推定できることを示す。 線形および非線形ネットワーク全体、回帰および分類タスク、および合成および実世界のデータの両方において、アライメントはSNRと単調に変化するが、トレーニングサンプルサイズは非単調に変化する。 特に、アライメントは補間しきい値付近で最小化され、強いアライメントは必ずしもより良い一般化誤差に対応しない。 これらの結果から,データ品質と量に対するアライメントの非自明な依存が,一般化性能から切り離されたことが明らかとなった。

関連論文リスト

• Harnessing Orthogonality to Train Low-Rank Neural Networks [0.07538606213726905]
  本研究は,ニューラルネットワークの学習力学を,トレーニングを通じて重みの特異値分解(SVD)を分析することによって研究する。 本稿では,ニューラルネットワークの直交性を利用した新しいトレーニング手法であるOrthogonality-Informed Adaptive Low-Rank(OIALR)トレーニングを紹介する。
  論文  参考訳（メタデータ） (2024-01-16T17:07:22Z)
• Signal Processing for Implicit Neural Representations [80.38097216996164]
  Inlicit Neural Representation (INR)は、マルチ層パーセプトロンを介して連続したマルチメディアデータを符号化する。 既存の作業は、その離散化されたインスタンスの処理を通じて、そのような連続的な表現を操作する。 本稿では,INSP-Netと呼ばれる暗黙的ニューラル信号処理ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-10-17T06:29:07Z)
• Understanding Dynamics of Nonlinear Representation Learning and Its Application [12.697842097171119]
  暗黙的非線形表現学習のダイナミクスについて検討する。 我々は,データ構造アライメント条件がグローバル収束に十分であることを示す。 我々はデータ構造アライメント条件を満たす新しいトレーニングフレームワークを作成した。
  論文  参考訳（メタデータ） (2021-06-28T16:31:30Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
  現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。 現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。 トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-16T18:39:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。