論文の概要: Randomness of Low-Layer Parameters Determines Confusing Samples in Terms of Interaction Representations of a DNN

• arxiv url: http://arxiv.org/abs/2502.08625v1
• Date: Wed, 12 Feb 2025 18:25:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:51:14.395961
• Title: Randomness of Low-Layer Parameters Determines Confusing Samples in Terms of Interaction Representations of a DNN
• Title（参考訳）: DNNの相互作用表現における低層パラメータのランダム性
• Authors: Junpeng Zhang, Lei Cheng, Qing Li, Liang Lin, Quanshi Zhang,
• Abstract要約: ディープニューラルネットワーク(DNN)によって符号化された相互作用の複雑さは、その一般化能力を説明することができる。 また,非一般化可能な相互作用によって表現されるDNNの紛らわしいサンプルは,その低層パラメータによって決定されることがわかった。
• 参考スコア（独自算出の注目度）: 67.80700786901016
• License:
• Abstract: In this paper, we find that the complexity of interactions encoded by a deep neural network (DNN) can explain its generalization power. We also discover that the confusing samples of a DNN, which are represented by non-generalizable interactions, are determined by its low-layer parameters. In comparison, other factors, such as high-layer parameters and network architecture, have much less impact on the composition of confusing samples. Two DNNs with different low-layer parameters usually have fully different sets of confusing samples, even though they have similar performance. This finding extends the understanding of the lottery ticket hypothesis, and well explains distinctive representation power of different DNNs.
• Abstract（参考訳）: 本稿では,ディープニューラルネットワーク(DNN)によって符号化された相互作用の複雑さが,その一般化能力を説明することができることを示す。 また,非一般化可能な相互作用によって表現されるDNNの紛らわしいサンプルは,その低層パラメータによって決定されることがわかった。 対照的に、高層パラメータやネットワークアーキテクチャなどの他の要因は、混乱したサンプルの構成に大きく影響しない。 異なる低層パラメータを持つ2つのDNNは通常、類似した性能を持つにもかかわらず、完全に異なる混乱したサンプルセットを持つ。 この発見は、宝くじのチケット仮説の理解を拡張し、異なるDNNの表現力をうまく説明している。

関連論文リスト

• Learning local discrete features in explainable-by-design convolutional neural networks [0.0]
  本稿では,側方抑制機構に基づくCNN(Design-by-Design Convolutional Neural Network)を提案する。 このモデルは、残留または高密度のスキップ接続を持つ高精度CNNである予測器で構成されている。 観測を収集し,直接確率を計算することにより,隣接するレベルのモチーフ間の因果関係を説明することができる。
  論文  参考訳（メタデータ） (2024-10-31T18:39:41Z)
• How Uniform Random Weights Induce Non-uniform Bias: Typical Interpolating Neural Networks Generalize with Narrow Teachers [37.54951110709193]
  NN のパラメータ化に先立つフラット' が NN 関数に先立ってリッチな先行を誘導することを示す。 これにより、より単純な関数へのバイアスが発生し、表現するパラメータが少なくなる。
  論文  参考訳（メタデータ） (2024-02-09T11:03:52Z)
• Interpretable Neural Networks with Random Constructive Algorithm [3.1200894334384954]
  本稿では,無作為重み付きニューラルネットワークの不透明なパラメータ化プロセスに取り組むために,空間情報を組み込んだ解釈型ニューラルネットワーク(INN)を提案する。 ネットワーク収束に寄与するノードパラメータを選択するために、候補ノードのプールと関係を確立することで、幾何学的関係戦略を考案する。
  論文  参考訳（メタデータ） (2023-07-01T01:07:20Z)
• Where We Have Arrived in Proving the Emergence of Sparse Symbolic Concepts in AI Models [21.02716340199201]
  本研究の目的は、よく訓練されたディープニューラルネットワーク(DNN)における記号的概念(あるいはより正確にはスパースプリミティブ推論パターン)の出現を証明することである。 指数関数的に多数のランダムマスクされたサンプルに対するDNNの推測スコアは、ほんの数個の相互作用の数値効果によって常にうまく模倣できることを示す。
  論文  参考訳（メタデータ） (2023-05-03T07:32:28Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Discovering and Explaining the Representation Bottleneck of DNNs [21.121270460158712]
  本稿では,ディープニューラルネットワーク(DNN)の特徴表現のボトルネックについて検討する。 入力変数間の多階相互作用に焦点をあて、その順序は相互作用の複雑さを表す。 DNNは単純すぎる相互作用と複雑すぎる相互作用の両方を符号化する傾向にあるが、通常は中間複雑性の相互作用を学習することができない。
  論文  参考訳（メタデータ） (2021-11-11T14:35:20Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• GraN: An Efficient Gradient-Norm Based Detector for Adversarial and Misclassified Examples [77.99182201815763]
  ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。 GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。 GraNは多くの問題セットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-04-20T10:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。