論文の概要: Is network fragmentation a useful complexity measure?

• arxiv url: http://arxiv.org/abs/2411.04695v1
• Date: Thu, 07 Nov 2024 13:27:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:37:56.562315
• Title: Is network fragmentation a useful complexity measure?
• Title（参考訳）: ネットワークの断片化は有用な複雑性尺度か?
• Authors: Coenraad Mouton, Randle Rabe, Daniël G. Haasbroek, Marthinus W. Theunissen, Hermanus L. Potgieter, Marelie H. Davel,
• Abstract要約: ディープニューラルネットワーク分類器はフラグメンテーションを示すことができ、モデル関数は入力空間がトラバースされるにつれてクラスを急速に変更する。 我々はこの現象を画像分類の文脈で研究し、フラグメンテーションが一般化性能の予測可能かどうかを問う。 i) フラグメンテーションは入力空間に限らず, 隠蔽表現にも生じ, (ii) フラグメンテーションはトレーニングを通しての検証誤差の傾向に従い, (iii) フラグメンテーションは重量ノルムの増加による直接の結果ではない。
• 参考スコア（独自算出の注目度）: 0.8480931990442769
• License:
• Abstract: It has been observed that the input space of deep neural network classifiers can exhibit `fragmentation', where the model function rapidly changes class as the input space is traversed. The severity of this fragmentation tends to follow the double descent curve, achieving a maximum at the interpolation regime. We study this phenomenon in the context of image classification and ask whether fragmentation could be predictive of generalization performance. Using a fragmentation-based complexity measure, we show this to be possible by achieving good performance on the PGDL (Predicting Generalization in Deep Learning) benchmark. In addition, we report on new observations related to fragmentation, namely (i) fragmentation is not limited to the input space but occurs in the hidden representations as well, (ii) fragmentation follows the trends in the validation error throughout training, and (iii) fragmentation is not a direct result of increased weight norms. Together, this indicates that fragmentation is a phenomenon worth investigating further when studying the generalization ability of deep neural networks.
• Abstract（参考訳）: ディープニューラルネットワーク分類器の入力空間は「フラグメンテーション」を示し、入力空間がトラバースされるにつれてモデル関数がクラスを急速に変化させることが観察されている。 この断片化の重大さは二重降下曲線に追従する傾向にあり、補間系で最大となる。 我々はこの現象を画像分類の文脈で研究し、フラグメンテーションが一般化性能の予測可能かどうかを問う。 フラグメンテーションに基づく複雑性尺度を用いて、PGDL(Predicting Generalization in Deep Learning)ベンチマークで優れた性能を達成し、これを実現できることを示す。 また,断片化に関する新たな観測,すなわち断片化に関する報告を行った。 i)フラグメンテーションは入力空間に限らず、隠された表現にも発生する。 二 フラグメンテーションは、訓練中における検証誤差の傾向を辿り、 (iii)フラグメンテーションは重量ノルムの増大による直接の結果ではない。 このことは、ディープニューラルネットワークの一般化能力を研究する際に、断片化がさらに研究する価値のある現象であることを示している。

関連論文リスト

• Simplicity bias and optimization threshold in two-layer ReLU networks [24.43739371803548]
  過度なパラメータ化にもかかわらず、ネットワークはトレーニングデータを補間するのではなく、より単純な解へと収束することを示す。 我々の分析は、ニューロンが特定の方向に向かっているいわゆる早期アライメントフェーズに依存しています。
  論文  参考訳（メタデータ） (2024-10-03T09:58:57Z)
• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• AttenScribble: Attentive Similarity Learning for Scribble-Supervised Medical Image Segmentation [5.8447004333496855]
  本稿では,単純かつ効果的なスクリブル教師あり学習フレームワークを提案する。 我々は、任意の完全畳み込みネットワーク(FCN)バックボーンの内部特徴層の上に、接続可能な空間自己アテンションモジュールを作成する。 この注意深い類似性は、セグメンテーション予測と視覚親和性の一貫性を課する新たな正規化損失をもたらす。
  論文  参考訳（メタデータ） (2023-12-11T18:42:18Z)
• From Tempered to Benign Overfitting in ReLU Neural Networks [41.271773069796126]
  過自明なニューラルネットワーク(NN)は、ノイズの多いデータに完全に適合するように訓練された場合でも、適切に一般化することが観察される。 最近、NNの振舞いは「抑止過剰」と表現されることが多いと推測され、実証的に観察された。
  論文  参考訳（メタデータ） (2023-05-24T13:36:06Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• Flip Learning: Erase to Segment [65.84901344260277]
  弱い教師付きセグメンテーション(WSS)は、時間と面倒な手作業のアノテーションを減らすのに役立ちます。 ボックスアノテーションのみを必要とするFlip Learningという,斬新で汎用的なWSSフレームワークを提案する。 提案手法は,完全教師付き学習と弱教師付き学習のギャップを狭める大きな可能性を示す。
  論文  参考訳（メタデータ） (2021-08-02T09:56:10Z)
• Mitigating Performance Saturation in Neural Marked Point Processes: Architectures and Loss Functions [50.674773358075015]
  本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。 我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-07-07T16:59:14Z)
• Extreme Memorization via Scale of Initialization [72.78162454173803]
  我々は,初期化の規模を変えることが,SGDによって誘導される暗黙の正規化に強く影響を与える実験装置を構築する。 一般化能力に影響を及ぼす範囲と方法が、使用したアクティベーションと損失関数に依存することがわかった。 均質なReLU活性化の場合、この挙動は損失関数に起因することが示される。
  論文  参考訳（メタデータ） (2020-08-31T04:53:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。