論文の概要: Do Neural Models Prefer Their Submodels?

• arxiv url: http://arxiv.org/abs/2610.28439v1
• Date: Tue, 20 Oct 2026 16:01:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.91135
• Title: Do Neural Models Prefer Their Submodels?
• Title（参考訳）: ニューラルネットワークはサブモデルを好むか?
• Abstract要約: ニューラルネットワークモデルは、与えられたニューラルネットワークアーキテクチャによって表現できる関数の集合である。 ニューラルモデルの幾何学を研究し、それらがそれらのサブモデルを好むかどうかを問う。
• 参考スコア（独自算出の注目度）: 0.5599792629509229
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A neural model is the set of functions that can be expressed by a given neural network architecture. Neural models contain natural submodels, such as those obtained by setting some neurons to be inactive. We study the geometry of neural models and ask whether they prefer their submodels. By this we mean whether local minimizers of the loss function lie in a given submodel. We introduce a geometric framework to determine if this occurs. For shallow multilayer perceptrons, we show that subnetworks with inactive hidden neurons are never preferred. For deep multilayer perceptrons, we give conditions under which subnetworks with inactive hidden neurons are not preferred. For lightning self-attention, lower-rank submodels are usually not preferred, but we identify examples where they are because they lie on a boundary of the model. Our results show that, aside from a few exceptions, preference for submodels cannot be explained by the geometry of the neural model, and must instead come from other sources such as training dynamics.
• Abstract（参考訳）: ニューラルネットワークモデルは、与えられたニューラルネットワークアーキテクチャによって表現できる関数の集合である。 ニューラルモデルは、いくつかのニューロンが不活性になるように設定して得られるような自然なサブモデルを含む。 ニューラルモデルの幾何学を研究し、それらがそれらのサブモデルを好むかどうかを問う。 これにより、損失関数の局所最小化が与えられた部分モデルに含まれるか否かが分かる。 これが起こるかどうかを判断するための幾何学的枠組みを導入する。 浅い多層パーセプトロンでは、非活性な隠れニューロンを持つサブネットワークが好まれないことが示される。 深い多層パーセプトロンでは、非活性な隠れニューロンを持つサブネットが好ましくない条件を与える。 雷自認の場合、低ランクのサブモデルは通常好ましくないが、モデルの境界の上に置かれているため、それらがどこにあるのかを例に挙げる。 我々の結果は,いくつかの例外を除いて,サブモデルの好みはニューラルモデルの幾何学によって説明できないことを示し,代わりに,トレーニング力学などの他の情報源から導出する必要がある。

関連論文リスト

• Probabilistic Modeling of Spiking Neural Networks with Contract-Based Verification [3.169837971782123]
  スパイキングニューラルネットワーク(SNN)は「現実的な」計算のモデルである。 SNNは、神経細胞の反応性活性化/応答の時間遅延(およびおそらくは確率)に焦点を当てている。
  論文  参考訳（メタデータ） (2025-06-16T10:30:16Z)
• Neural Additive Models for Location Scale and Shape: A Framework for Interpretable Neural Regression Beyond the Mean [1.0923877073891446]
  ディープニューラルネットワーク(DNN)は、様々なタスクで非常に効果的であることが証明されている。 この成功にもかかわらず、DNNの内部構造はしばしば透明ではない。 この解釈可能性の欠如は、本質的に解釈可能なニューラルネットワークの研究の増加につながった。
  論文  参考訳（メタデータ） (2023-01-27T17:06:13Z)
• Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language Understanding [82.46024259137823]
  幅広いタスクに対するクロスモデル比較損失を提案する。 3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
  論文  参考訳（メタデータ） (2023-01-10T03:04:27Z)
• Quadratic models for understanding catapult dynamics of neural networks [15.381097076708535]
  近年提案されたニューラル二次モデルでは,そのようなモデルを大きな学習率で訓練する際に生じる「カタパルト相」が示されることが示されている。 さらに,2次モデルがニューラルネットワーク解析の有効なツールであることを示す。
  論文  参考訳（メタデータ） (2022-05-24T05:03:06Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。