論文の概要: Can Neural Nets Learn the Same Model Twice? Investigating Reproducibility and Double Descent from the Decision Boundary Perspective

• arxiv url: http://arxiv.org/abs/2203.08124v1
• Date: Tue, 15 Mar 2022 17:51:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-16 15:09:40.827102
• Title: Can Neural Nets Learn the Same Model Twice? Investigating Reproducibility and Double Descent from the Decision Boundary Perspective
• Title（参考訳）: ニューラルネットは2回同じモデルを学習できるのか? 決定境界の観点からの再現性と二重降下の検討
• Authors: Gowthami Somepalli, Liam Fowl, Arpit Bansal, Ping Yeh-Chiang, Yehuda Dar, Richard Baraniuk, Micah Goldblum, Tom Goldstein
• Abstract要約: ニューラルネットワーク決定境界と決定領域を可視化する手法について議論する。 モデルアーキテクチャの変更が決定境界の可視的変化を引き起こすことを観察する。 また、決定境界法を用いて二重降下現象を可視化する。
• 参考スコア（独自算出の注目度）: 48.227605035133415
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We discuss methods for visualizing neural network decision boundaries and decision regions. We use these visualizations to investigate issues related to reproducibility and generalization in neural network training. We observe that changes in model architecture (and its associate inductive bias) cause visible changes in decision boundaries, while multiple runs with the same architecture yield results with strong similarities, especially in the case of wide architectures. We also use decision boundary methods to visualize double descent phenomena. We see that decision boundary reproducibility depends strongly on model width. Near the threshold of interpolation, neural network decision boundaries become fragmented into many small decision regions, and these regions are non-reproducible. Meanwhile, very narrows and very wide networks have high levels of reproducibility in their decision boundaries with relatively few decision regions. We discuss how our observations relate to the theory of double descent phenomena in convex models. Code is available at https://github.com/somepago/dbViz
• Abstract（参考訳）: ニューラルネットワーク決定境界と決定領域を可視化する手法について議論する。 ニューラルネットワークトレーニングにおける再現性と一般化に関する問題を,これらの可視化を用いて調査する。 モデルアーキテクチャの変更(およびそれに伴う帰納的バイアス)が決定境界を視覚的に変化させるのに対して、同じアーキテクチャを持つ複数の実行は、特にワイドアーキテクチャの場合には、強い類似性を伴う。 また,二重降下現象を可視化するために決定境界法を用いる。 決定境界再現性はモデル幅に強く依存している。 補間しきい値付近では、ニューラルネットワーク決定境界は多くの小さな決定領域に断片化され、これらの領域は再現不可能である。 一方、非常に狭いネットワークと非常に広いネットワークは、比較的少数の決定領域を持つ決定境界において高い再現性を持つ。 凸モデルにおける二重降下現象の理論と我々の観測がどう関係しているかを論じる。 コードはhttps://github.com/somepago/dbVizで入手できる。

関連論文リスト

• PnPNet: Pull-and-Push Networks for Volumetric Segmentation with Boundary Confusion [25.12551124399544]
  U字型ネットワークは境界形状制約の欠如によりこの課題を効果的に解決できない。 隣接領域の相互作用ダイナミクスを包含することで境界生成を再認識する。 Netの中核成分は、境界領域を絞り込むプッシュとプルの枝を含む。
  論文  参考訳（メタデータ） (2023-12-13T17:50:31Z)
• From NeurODEs to AutoencODEs: a mean-field control framework for width-varying Neural Networks [68.8204255655161]
  本稿では,動的に駆動する制御フィールドをベースとした,AutoencODEと呼ばれる新しいタイプの連続時間制御システムを提案する。 損失関数が局所凸な領域では,多くのアーキテクチャが復元可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-05T13:26:17Z)
• The Vanishing Decision Boundary Complexity and the Strong First Component [11.65690857661528]
  機械学習とは異なり、よく訓練された深層モデルの決定境界には複雑な境界構造は存在しないことを示す。 複雑な構造はトレーニング中に現れるが、形成後すぐに消滅することがわかった。 深層モデルの一般化研究に先立つ決定境界をどう使うかを示す。
  論文  参考訳（メタデータ） (2022-11-25T21:39:08Z)
• Zonotope Domains for Lagrangian Neural Network Verification [102.13346781220383]
  我々は、ディープニューラルネットワークを多くの2層ニューラルネットワークの検証に分解する。 我々の手法は線形プログラミングとラグランジアンに基づく検証技術の両方により改善された境界を与える。
  論文  参考訳（メタデータ） (2022-10-14T19:31:39Z)
• Understanding Deep Learning via Decision Boundary [81.49114762506287]
  決定境界(DB)の変動が低いニューラルネットワークはより一般化可能であることを示す。 アルゴリズムDBの変数と$(epsilon, eta)$-data DBの変数という2つの新しい概念が、決定境界の変数を測定するために提案されている。
  論文  参考訳（メタデータ） (2022-06-03T11:34:12Z)
• Visualizing the Diversity of Representations Learned by Bayesian Neural Networks [5.660714085843854]
  ベイジアンニューラルネットワーク(BNN)で学習した特徴表現の多様性を探索・可視化するために,XAI手法がどう利用できるかを検討する。 我々の研究は、人間の理解可能な特徴情報の観点から、下層の意思決定戦略に関して、後天的な分布に関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2022-01-26T10:40:55Z)
• A Twin Neural Model for Uplift [59.38563723706796]
  Upliftは条件付き治療効果モデリングの特定のケースです。 相対リスクのベイズ解釈との関連性を利用して定義した新たな損失関数を提案する。 本提案手法は,シミュレーション設定の最先端と大規模ランダム化実験による実データとの競合性を示す。
  論文  参考訳（メタデータ） (2021-05-11T16:02:39Z)
• Hold me tight! Influence of discriminative features on deep network boundaries [63.627760598441796]
  本稿では,データセットの特徴と,サンプルから決定境界までの距離を関連付ける新しい視点を提案する。 これにより、トレーニングサンプルの位置を慎重に調整し、大規模ビジョンデータセットでトレーニングされたCNNの境界における誘発された変化を測定することができる。
  論文  参考訳（メタデータ） (2020-02-15T09:29:36Z)
• Unifying and generalizing models of neural dynamics during decision-making [27.46508483610472]
  本稿では,意思決定作業中の神経活動モデリングのための統一フレームワークを提案する。 このフレームワークは標準ドリフト拡散モデルを含み、多次元アキュミュレータ、可変および崩壊境界、離散ジャンプなどの拡張を可能にする。
  論文  参考訳（メタデータ） (2020-01-13T23:57:28Z)
• Properties of the geometry of solutions and capacity of multi-layer neural networks with Rectified Linear Units activations [2.3018169548556977]
  本稿では,2層ニューラルネットワークにおける線形整流ユニットが解空間の容量および幾何学的景観に与える影響について検討する。 予想外のことに、隠れた層内のニューロン数が増加するにつれて、ネットワークの容量は有限であることがわかった。 おそらくもっと重要なことは、大きな偏差のアプローチによって、解空間の幾何学的景観が特異な構造を持つことを見つけることができるということである。
  論文  参考訳（メタデータ） (2019-07-17T15:23:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。