論文の概要: The Vanishing Decision Boundary Complexity and the Strong First
Component
- arxiv url: http://arxiv.org/abs/2211.16209v1
- Date: Fri, 25 Nov 2022 21:39:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 15:10:50.315476
- Title: The Vanishing Decision Boundary Complexity and the Strong First
Component
- Title(参考訳): 消滅する決定境界複雑性と強第1成分
- Authors: Hengshuai Yao
- Abstract要約: 機械学習とは異なり、よく訓練された深層モデルの決定境界には複雑な境界構造は存在しないことを示す。
複雑な構造はトレーニング中に現れるが、形成後すぐに消滅することがわかった。
深層モデルの一般化研究に先立つ決定境界をどう使うかを示す。
- 参考スコア(独自算出の注目度): 11.65690857661528
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We show that unlike machine learning classifiers, there are no complex
boundary structures in the decision boundaries for well-trained deep models.
However, we found that the complicated structures do appear in training but
they vanish shortly after shaping. This is a pessimistic news if one seeks to
capture different levels of complexity in the decision boundary for
understanding generalization, which works well in machine learning.
Nonetheless, we found that the decision boundaries of predecessor models on the
training data are reflective of the final model's generalization. We show how
to use the predecessor decision boundaries for studying the generalization of
deep models. We have three major findings. One is on the strength of the first
principle component of deep models, another about the singularity of
optimizers, and the other on the effects of the skip connections in ResNets.
Code is at https://github.com/hengshu1/decision_boundary_github.
- Abstract(参考訳): 機械学習の分類器とは異なり、よく訓練された深層モデルの決定境界には複雑な境界構造は存在しない。
しかし, 複雑な構造は訓練中に現れるが, 形成後すぐに消失することがわかった。
これは、機械学習でうまく機能する一般化を理解するための決定境界における様々なレベルの複雑さを捉えようとする場合、悲観的なニュースである。
それにもかかわらず、トレーニングデータの事前モデルの決定境界は、最終モデルの一般化を反映していることがわかった。
深層モデルの一般化研究に先駆的な決定境界を用いる方法を示す。
主な発見は3つある。
1つは深層モデルの第一原理成分の強さ、もう1つはオプティマイザの特異性、もう1つはresnetにおけるスキップ接続の効果である。
コードはhttps://github.com/hengshu1/decision_boundary_githubにある。
関連論文リスト
- Learning to Branch in Combinatorial Optimization with Graph Pointer
Networks [17.729352126574902]
本稿では,分岐境界における変数選択ポリシーを学習するためのグラフポインターネットワークモデルを提案する。
グラフニューラルネットワークとポインタ機構を組み合わせたモデルでは,解法状態から分岐変数決定への効果的マッピングが可能である。
論文 参考訳(メタデータ) (2023-07-04T01:56:07Z) - Deep Model Reassembly [60.6531819328247]
我々はDeep Model Reassembly(DeRy)と呼ばれる新しい知識伝達タスクを探索する。
DeRyの目標は、まず各モデルを固有のビルディングブロックに分割し、それから派生したブロックを選択的に再組み立てて、カスタマイズされたネットワークを生成することである。
ImageNetでは、最高の再組み立てモデルは微調整なしで78.6%のトップ1の精度を実現している。
論文 参考訳(メタデータ) (2022-10-24T10:16:13Z) - Part-Based Models Improve Adversarial Robustness [57.699029966800644]
人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。
我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。
実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
論文 参考訳(メタデータ) (2022-09-15T15:41:47Z) - A Review of Sparse Expert Models in Deep Learning [23.721204843236006]
スパースエキスパートモデル(Sparse expert model)は、ディープラーニングの一般的なアーキテクチャとして再開発される30年前のコンセプトだ。
本稿では,スパースエキスパートモデルの概念を概観し,共通アルゴリズムの基本的記述を提供し,深層学習時代の進歩を文脈化する。
論文 参考訳(メタデータ) (2022-09-04T18:00:29Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳(メタデータ) (2022-05-11T17:43:54Z) - Can Neural Nets Learn the Same Model Twice? Investigating
Reproducibility and Double Descent from the Decision Boundary Perspective [48.227605035133415]
ニューラルネットワーク決定境界と決定領域を可視化する手法について議論する。
モデルアーキテクチャの変更が決定境界の可視的変化を引き起こすことを観察する。
また、決定境界法を用いて二重降下現象を可視化する。
論文 参考訳(メタデータ) (2022-03-15T17:51:15Z) - Contrasting random and learned features in deep Bayesian linear
regression [12.234742322758418]
本研究では,学習能力が単純なモデルの一般化性能に与える影響について検討する。
すべての層が訓練されたディープネットワークと比較することにより、幅、深さ、データ密度、事前のミスマッチの相互作用を詳細に解析する。
論文 参考訳(メタデータ) (2022-03-01T15:51:29Z) - Exploring Strategies for Generalizable Commonsense Reasoning with
Pre-trained Models [62.28551903638434]
モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。
2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。
我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
論文 参考訳(メタデータ) (2021-09-07T03:13:06Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳(メタデータ) (2021-06-06T19:08:53Z) - Auditing and Debugging Deep Learning Models via Decision Boundaries:
Individual-level and Group-level Analysis [0.0]
深層学習モデルの説明、監査、デバッグにはフリップポイントを使用します。
フリップポイントは、2つの出力クラスの境界にある任意の点である。
機械学習のソーシャルな応用に使用される標準データセットに基づいて訓練されたモデルをいくつか調べて,本手法を実証する。
論文 参考訳(メタデータ) (2020-01-03T01:45:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。