論文の概要: Visualizing, Rethinking, and Mining the Loss Landscape of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2405.12493v1
• Date: Tue, 21 May 2024 04:30:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 14:18:37.229988
• Title: Visualizing, Rethinking, and Mining the Loss Landscape of Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークの失われた景観を可視化し、再考し、マイニングする
• Authors: Xin-Chun Li, Lan Li, De-Chuan Zhan,
• Abstract要約: 本稿では,v-basin,v-side,w-basin,w-peak,vv-basin曲線を含む1次元曲線を単純から複雑に体系的に分類する。 観測されたいくつかの興味深い現象を説明するために,ヘッセン行列のレンズからの理論的洞察を提案する。
• 参考スコア（独自算出の注目度）: 40.5117833362268
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The loss landscape of deep neural networks (DNNs) is commonly considered complex and wildly fluctuated. However, an interesting observation is that the loss surfaces plotted along Gaussian noise directions are almost v-basin ones with the perturbed model lying on the basin. This motivates us to rethink whether the 1D or 2D subspace could cover more complex local geometry structures, and how to mine the corresponding perturbation directions. This paper systematically and gradually categorizes the 1D curves from simple to complex, including v-basin, v-side, w-basin, w-peak, and vvv-basin curves. Notably, the latter two types are already hard to obtain via the intuitive construction of specific perturbation directions, and we need to propose proper mining algorithms to plot the corresponding 1D curves. Combining these 1D directions, various types of 2D surfaces are visualized such as the saddle surfaces and the bottom of a bottle of wine that are only shown by demo functions in previous works. Finally, we propose theoretical insights from the lens of the Hessian matrix to explain the observed several interesting phenomena.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)のロスランドスケープは、一般的に複雑で、大きく変動していると考えられている。 しかし興味深い観察は、ガウスの騒音方向に沿ってプロットされた損失面は、流域に摂動モデルがあるほぼv塩基であるということである。 このことは、1Dまたは2D部分空間がより複雑な局所幾何学構造をカバーできるかどうかを再考し、それに対応する摂動方向をどのようにマイニングするかを動機付けている。 本稿では, v-basin, v-side, w-basin, w-peak, vvv-basin曲線を含む, 1次元曲線を単純から複雑に体系的に分類する。 特に、後者の2つのタイプは、特定の摂動方向を直感的に構築することで既に入手が困難であり、対応する1次元曲線をプロットするための適切なマイニングアルゴリズムを提案する必要がある。 これらの1D方向を組み合わせることで、以前の作品でデモ機能でしか示されていないサドル面やワインのボトルの底など、様々な種類の2D面が可視化される。 最後に、観測されたいくつかの興味深い現象を説明するために、ヘッセン行列のレンズからの理論的洞察を提案する。

関連論文リスト

• Landscaping Linear Mode Connectivity [76.39694196535996]
  線形モード接続(LMC)は理論と実用の両方の観点から関心を集めている。 ロスランドスケープがLCCに対して地形的にどのように振る舞う必要があるかのモデルを提供することで、その理解に向けて一歩前進する。
  論文  参考訳（メタデータ） (2024-06-24T03:53:30Z)
• Dimensional reduction for a system of 2D anyons [0.0]
  タイト導波路内のエノンの2次元系の次元的低減について検討する。 固有関数と固有関数の双方が、この還元の過程で緩やかな収束方向と厳密な収束方向に分離されることを証明した。 $x$-directionの極限1Dは、$alpha$に依存せず、2Dモデルの長距離相互作用の痕跡も残っていないトンクス=ジラルドー・ボース気体によって与えられる。
  論文  参考訳（メタデータ） (2023-05-11T09:10:21Z)
• Visualizing high-dimensional loss landscapes with Hessian directions [0.0]
  低次元の損失表現における曲率特性が、元の損失空間における曲率特性にどのように依存するかを考察する。 元の空間のサドル点は、ランダムな射影が用いられる場合、期待される下次元表現のように正しく識別されることは滅多にない。
  論文  参考訳（メタデータ） (2022-08-28T13:18:47Z)
• Minimal Neural Atlas: Parameterizing Complex Surfaces with Minimal Charts and Distortion [71.52576837870166]
  我々は、新しいアトラスに基づく明示的なニューラルサーフェス表現であるミニマルニューラルアトラスを提案する。 その中核は完全学習可能なパラメトリック領域であり、パラメトリック空間の開平方上で定義された暗黙の確率的占有場によって与えられる。 我々の再構成は、トポロジーと幾何学に関する懸念の分離のため、全体的な幾何学の観点からより正確である。
  論文  参考訳（メタデータ） (2022-07-29T16:55:06Z)
• FuNNscope: Visual microscope for interactively exploring the loss landscape of fully connected neural networks [77.34726150561087]
  ニューラルネットワークの高次元景観特性を探索する方法を示す。 我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。 インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
  論文  参考訳（メタデータ） (2022-04-09T16:41:53Z)
• Deep learning, stochastic gradient descent and diffusion maps [0.0]
  勾配降下(SGD)はその計算効率のためにディープラーニングで広く使われている。 過度にパラメータ化された深層ネットワークの損失ランドスケープにおけるHessianの損失関数のほとんどの固有値がゼロに近いことが観察されている。 パラメータ空間は非常に高次元であるが、これらの結果はSGD力学が主に低次元多様体上に存在することを示唆しているようである。
  論文  参考訳（メタデータ） (2022-04-04T10:19:39Z)
• Deep Networks on Toroids: Removing Symmetries Reveals the Structure of Flat Regions in the Landscape Geometry [3.712728573432119]
  我々は、すべての対称性を除去し、トロイダルトポロジーをもたらす標準化されたパラメータ化を開発する。 最小化器の平坦性とそれらの接続する測地線経路の有意義な概念を導出する。 また、勾配勾配の変種によって発見された最小化器は、ゼロエラー経路と1つの曲がり角で接続可能であることも見いだした。
  論文  参考訳（メタデータ） (2022-02-07T09:57:54Z)
• Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR-based Perception [122.53774221136193]
  運転時のLiDARに基づく認識のための最先端の手法は、しばしば点雲を2D空間に投影し、2D畳み込みによって処理する。 自然な対策として、3Dボクセル化と3D畳み込みネットワークを利用する方法がある。 本研究では,3次元幾何学的パターンを探索するために,円筒状分割と非対称な3次元畳み込みネットワークを設計する,屋外LiDARセグメンテーションのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-12T06:25:11Z)
• Deep Two-View Structure-from-Motion Revisited [83.93809929963969]
  2次元構造移動(SfM)は3次元再構成と視覚SLAMの基礎となる。 古典パイプラインの適切性を活用することで,深部2視点sfmの問題を再検討することを提案する。 本手法は,1)2つのフレーム間の密対応を予測する光フロー推定ネットワーク,2)2次元光フロー対応から相対カメラポーズを計算する正規化ポーズ推定モジュール,3)エピポーラ幾何を利用して探索空間を縮小し,密対応を洗練し,相対深度マップを推定するスケール不変深さ推定ネットワークからなる。
  論文  参考訳（メタデータ） (2021-04-01T15:31:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。