論文の概要: Computing frustration and near-monotonicity in deep neural networks

• arxiv url: http://arxiv.org/abs/2510.05286v1
• Date: Mon, 06 Oct 2025 18:54:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:07.944559
• Title: Computing frustration and near-monotonicity in deep neural networks
• Title（参考訳）: ディープニューラルネットワークにおけるフラストレーションと近接単調性
• Authors: Joel Wendin, Erik G. Larsson, Claudio Altafini,
• Abstract要約: 私たちが考慮しているすべての事前訓練された深層畳み込みニューラルネットワークに対して、フラストレーションは常にヌルモデルから予想されるよりも小さいことが分かる。 これは、ディープ畳み込みニューラルネットワークのクラスが、ヌルモデルから予想されるよりも順序づけられた振る舞いを持つ傾向があることを確認している。
• 参考スコア（独自算出の注目度）: 20.623369592417557
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For the signed graph associated to a deep neural network, one can compute the frustration level, i.e., test how close or distant the graph is to structural balance. For all the pretrained deep convolutional neural networks we consider, we find that the frustration is always less than expected from null models. From a statistical physics point of view, and in particular in reference to an Ising spin glass model, the reduced frustration indicates that the amount of disorder encoded in the network is less than in the null models. From a functional point of view, low frustration (i.e., proximity to structural balance) means that the function representing the network behaves near-monotonically, i.e., more similarly to a monotone function than in the null models. Evidence of near-monotonic behavior along the partial order determined by frustration is observed for all networks we consider. This confirms that the class of deep convolutional neural networks tends to have a more ordered behavior than expected from null models, and suggests a novel form of implicit regularization.
• Abstract（参考訳）: ディープニューラルネットワークに関連する符号付きグラフでは、フラストレーションレベル、すなわちグラフが構造的バランスにどの程度近いか、遠いかをテストすることができる。 私たちが考慮しているすべての事前訓練された深層畳み込みニューラルネットワークに対して、フラストレーションは常にヌルモデルから予想されるよりも小さいことが分かる。 統計物理学の観点からは、特にイジングスピンガラスモデルに関して、ネットワークに符号化された障害の量はヌルモデルよりも少ないことを示すフラストレーションが減少している。 機能的観点から見ると、低フラストレーション(すなわち構造バランスに近接する)は、ネットワークを表す関数がヌルモデルよりもモノトン関数に近く単調に振る舞うことを意味する。 フラストレーションによって決定される部分次数に沿ったほぼ単調な挙動の証拠は、我々が考慮する全てのネットワークで観察される。 これは、ディープ畳み込みニューラルネットワークのクラスがヌルモデルから予想されるよりも順序づけられた振る舞いを持つ傾向があることを確認し、暗黙の正則化の新たな形態を示唆している。

関連論文リスト

• A categorical embedding discontinuity-capturing shallow neural network for anisotropic elliptic interface problems [0.0]
  異方性楕円型インタフェース問題に対する階層型埋め込み不連続保持型浅層ニューラルネットワークを提案する。 不連続な埋め込みを自動的に学習することにより、提案手法は明示的なドメインラベリングの必要性を回避することができる。 提案手法は,浅く単純な構造であるにもかかわらず,従来の格子型数値法に匹敵する精度と効率を実現する。
  論文  参考訳（メタデータ） (2025-03-19T17:21:51Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Consistency of Neural Networks with Regularization [0.0]
  本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。 双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
  論文  参考訳（メタデータ） (2022-06-22T23:33:39Z)
• Benign Overfitting in Two-layer Convolutional Neural Networks [90.75603889605043]
  2層畳み込みニューラルネットワーク(CNN)の訓練における良性過剰適合現象の検討 信号対雑音比が一定の条件を満たすと、勾配降下により訓練された2層CNNが任意に小さな訓練と試験損失を達成できることを示す。 一方、この条件が保たない場合、オーバーフィッティングは有害となり、得られたCNNは一定レベルのテスト損失しか達成できない。
  論文  参考訳（メタデータ） (2022-02-14T07:45:51Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• A global convergence theory for deep ReLU implicit networks via over-parameterization [26.19122384935622]
  暗黙の深層学習は近年注目を集めている。 本稿では,Rectified Linear Unit (ReLU) 活性化暗黙的ニューラルネットワークの勾配流れを解析する。
  論文  参考訳（メタデータ） (2021-10-11T23:22:50Z)
• Slope and generalization properties of neural networks [0.0]
  十分に訓練されたニューラルネットワーク分類器の勾配分布は、一般に、完全に接続されたネットワークの層幅から独立していることを示す。 傾斜は、関連する体積を通して類似した大きさであり、滑らかに変化する。また、再スケーリングの例でも予測されるように振る舞う。 本稿では、損失関数の一部として利用したり、ネットワークトレーニング中に基準を終了させたり、複雑度の観点からデータセットをランク付けしたりといった、斜面概念の応用の可能性について論じる。
  論文  参考訳（メタデータ） (2021-07-03T17:54:27Z)
• The Rate of Convergence of Variation-Constrained Deep Neural Networks [35.393855471751756]
  変動制約のあるニューラルネットワークのクラスは、任意に小さな定数$delta$に対して、ほぼパラメトリックレート$n-1/2+delta$を達成することができることを示す。 その結果、滑らかな関数の近似に必要な神経機能空間は、しばしば知覚されるものほど大きくない可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-22T21:28:00Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。