論文の概要: Exploring and Exploiting the Asymmetric Valley of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2405.12489v4
• Date: Wed, 09 Oct 2024 13:04:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:29:22.236887
• Title: Exploring and Exploiting the Asymmetric Valley of Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークの非対称な谷の探索と爆発
• Authors: Xin-Chun Li, Jin-Lin Tang, Bo Zhang, Lan Li, De-Chuan Zhan,
• Abstract要約: 最近の研究は、平らな谷と鋭い谷の向こう側に追加の非対称性があることを示唆している。 本研究では,谷の対称性に影響を及ぼす要因を定量的に検討する。 主要観測では,ノイズと収束点との間の信号の整合度が谷対称性の臨界指標であることが示された。
• 参考スコア（独自算出の注目度）: 36.951198231609936
• License:
• Abstract: Exploring the loss landscape offers insights into the inherent principles of deep neural networks (DNNs). Recent work suggests an additional asymmetry of the valley beyond the flat and sharp ones, yet without thoroughly examining its causes or implications. Our study methodically explores the factors affecting the symmetry of DNN valleys, encompassing (1) the dataset, network architecture, initialization, and hyperparameters that influence the convergence point; and (2) the magnitude and direction of the noise for 1D visualization. Our major observation shows that the {\it degree of sign consistency} between the noise and the convergence point is a critical indicator of valley symmetry. Theoretical insights from the aspects of ReLU activation and softmax function could explain the interesting phenomenon. Our discovery propels novel understanding and applications in the scenario of Model Fusion: (1) the efficacy of interpolating separate models significantly correlates with their sign consistency ratio, and (2) imposing sign alignment during federated learning emerges as an innovative approach for model parameter alignment.
• Abstract（参考訳）: ロスランドスケープの探索は、ディープニューラルネットワーク(DNN)の本質的な原則に関する洞察を提供する。 最近の研究は、平らな谷と鋭い谷の向こうの谷の非対称性を示唆しているが、その原因や意味を徹底的に調べることはなかった。 本研究は,(1)収束点に影響を与えるデータセット,ネットワークアーキテクチャ,初期化,ハイパーパラメータ,(2)1次元可視化のためのノイズの大きさと方向など,DNN谷の対称性に影響を与える要因を定量的に検討する。 我々の主要な観測は、ノイズと収束点の間の符号整合度が谷対称性の臨界指標であることを示している。 ReLUの活性化とソフトマックス関数の側面からの理論的な洞察は、興味深い現象を説明できるかもしれない。 我々は,モデル融合のシナリオにおける新しい理解と応用を提唱する:(1) 分離モデルの補間の有効性は,その符号整合率と著しく相関し,(2) フェデレート学習における符号整合がモデルパラメータ整合の革新的なアプローチとして出現する。

関連論文リスト

• Landscaping Linear Mode Connectivity [76.39694196535996]
  線形モード接続(LMC)は理論と実用の両方の観点から関心を集めている。 ロスランドスケープがLCCに対して地形的にどのように振る舞う必要があるかのモデルを提供することで、その理解に向けて一歩前進する。
  論文  参考訳（メタデータ） (2024-06-24T03:53:30Z)
• Revealing Decurve Flows for Generalized Graph Propagation [108.80758541147418]
  本研究は,有向グラフと重み付きグラフを用いて,m文を一般化した伝播を定義することによって,従来のメッセージパッシング(中心からグラフ学習)の限界に対処する。 この分野ではじめて、データセットにおける学習された伝播パターンの予備的な探索を含む。
  論文  参考訳（メタデータ） (2024-02-13T14:13:17Z)
• Parameter Symmetry and Noise Equilibrium of Stochastic Gradient Descent [8.347295051171525]
  勾配ノイズは、退化方向に沿ってパラメータ$theta$の体系的な相互作用を、一意に依存しない固定点$theta*$へと生成することを示す。 これらの点をノイズ平衡(it noise equilibria)と呼ぶのは、これらの点において、異なる方向からのノイズ寄与がバランスと整合性を持つためである。 勾配雑音のバランスとアライメントは、ニューラルネットワーク内でのプログレッシブ・シャープニング/フラット化や表現形成といった重要な現象を説明するための新しいメカニズムとして機能することを示す。
  論文  参考訳（メタデータ） (2024-02-11T13:00:04Z)
• Exploiting Point-Wise Attention in 6D Object Pose Estimation Based on Bidirectional Prediction [22.894810893732416]
  本稿では,ポイントワイズ対応機構を備えた双方向対応予測ネットワークを提案する。 私たちの重要な洞察は、各モデルポイントとシーンポイントの相関が、ポイントペアマッチの学習に不可欠な情報を提供するということです。 LineMOD, YCB-Video, Occ-LineMODの公開データセットに対する実験結果から, 提案手法が他の最先端手法よりも優れた性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-08-16T17:13:45Z)
• Phenomenology of Double Descent in Finite-Width Neural Networks [29.119232922018732]
  二重降下(double descend)は、モデルが属する体制に依存して行動を記述する。 我々は影響関数を用いて、人口減少とその下限の適切な表現を導出する。 本分析に基づき,損失関数が二重降下に与える影響について検討した。
  論文  参考訳（メタデータ） (2022-03-14T17:39:49Z)
• Deep Networks on Toroids: Removing Symmetries Reveals the Structure of Flat Regions in the Landscape Geometry [3.712728573432119]
  我々は、すべての対称性を除去し、トロイダルトポロジーをもたらす標準化されたパラメータ化を開発する。 最小化器の平坦性とそれらの接続する測地線経路の有意義な概念を導出する。 また、勾配勾配の変種によって発見された最小化器は、ゼロエラー経路と1つの曲がり角で接続可能であることも見いだした。
  論文  参考訳（メタデータ） (2022-02-07T09:57:54Z)
• An artificial neural network approach to bifurcating phenomena in computational fluid dynamics [0.0]
  非線形パラメタライズドPDEの非滑らか解集合を扱うPOD-NN手法について論じる。 臨界点進化の非侵襲的回復のための縮小多様体ベースの分岐図を提案する。
  論文  参考訳（メタデータ） (2021-09-22T14:42:36Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• Fusing the Old with the New: Learning Relative Camera Pose with Geometry-Guided Uncertainty [91.0564497403256]
  本稿では,ネットワークトレーニング中の2つの予測系間の確率的融合を含む新しい枠組みを提案する。 本ネットワークは,異なる対応間の強い相互作用を強制することにより学習を駆動する自己追跡グラフニューラルネットワークを特徴とする。 学習に適したモーションパーマリゼーションを提案し、難易度の高いDeMoNおよびScanNetデータセットで最新のパフォーマンスを達成できることを示します。
  論文  参考訳（メタデータ） (2021-04-16T17:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。