論文の概要: Unveiling the Hessian's Connection to the Decision Boundary

• arxiv url: http://arxiv.org/abs/2306.07104v1
• Date: Mon, 12 Jun 2023 13:27:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 14:29:45.014306
• Title: Unveiling the Hessian's Connection to the Decision Boundary
• Title（参考訳）: 決定境界へのヘッセンのつながりを明かす
• Authors: Mahalakshmi Sabanayagam, Freya Behrens, Urte Adomaityte, Anna Dawid
• Abstract要約: ヘッセンスペクトルの外れ値の数は、決定境界の複雑さに比例することを示す。 また、一般化尺度と組み合わせて、単純なワイドマージン境界を持つミニマを正確に同定する新しいマージン推定手法を開発した。
• 参考スコア（独自算出の注目度）: 1.911678487931003
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the properties of well-generalizing minima is at the heart of deep learning research. On the one hand, the generalization of neural networks has been connected to the decision boundary complexity, which is hard to study in the high-dimensional input space. Conversely, the flatness of a minimum has become a controversial proxy for generalization. In this work, we provide the missing link between the two approaches and show that the Hessian top eigenvectors characterize the decision boundary learned by the neural network. Notably, the number of outliers in the Hessian spectrum is proportional to the complexity of the decision boundary. Based on this finding, we provide a new and straightforward approach to studying the complexity of a high-dimensional decision boundary; show that this connection naturally inspires a new generalization measure; and finally, we develop a novel margin estimation technique which, in combination with the generalization measure, precisely identifies minima with simple wide-margin boundaries. Overall, this analysis establishes the connection between the Hessian and the decision boundary and provides a new method to identify minima with simple wide-margin decision boundaries.
• Abstract（参考訳）: 一般化されたミニマの性質を理解することは、ディープラーニング研究の核心にある。 一方で、ニューラルネットワークの一般化は、高次元入力空間での研究が難しい決定境界複雑性と結びついている。 逆に、最小値の平坦性は一般化の議論の的となっている。 本研究は,2つのアプローチの欠落を補足し,ヘッセンのトップ固有ベクトルがニューラルネットワークによって学習された決定境界を特徴付けることを示す。 特に、ヘッセンスペクトルの外れ値の数は、決定境界の複雑さに比例する。 この知見に基づいて,高次元決定境界の複雑さを研究するための新しい簡単なアプローチを提案し,この接続が自然に新しい一般化測度を誘導することを示すとともに,一般化測度と組み合わせて極小を単純な広辺境界で正確に識別する新しいマージン推定手法を開発した。 全体として、この分析はヘッセンと決定境界の間の関係を確立し、単純で広いマージン決定境界を持つミニマを識別する新しい方法を提供する。

関連論文リスト

• Assouad, Fano, and Le Cam with Interaction: A Unifying Lower Bound Framework and Characterization for Bandit Learnability [71.82666334363174]
  我々は,統計的推定と対話的意思決定において,情報理論の下限を統一する枠組みを開発する。 Emphinteractive Fano methodinteractive と呼ばれる新しい下界アプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-07T15:14:58Z)
• Anatomy of Higher-Order Non-Hermitian Skin and Boundary Modes [3.0574700762497744]
  生物直交分極の高次元一般化によるバルクモードの分離ギャップを考慮したアメーバ理論と境界モードの表面ギャップを考慮した一般化されたブリルアンゾーンアプローチが,これらの系を包括的に理解することを示す。
  論文  参考訳（メタデータ） (2024-05-06T18:00:01Z)
• Exact Count of Boundary Pieces of ReLU Classifiers: Towards the Proper Complexity Measure for Classification [0.483420384410068]
  我々は決定境界の複雑さを直接測定することを提唱する。 まずReLUニューラルネットワークを解析し、その境界の複雑さをアフィンの個数によって便利に特徴付ける。 本研究では, 境界部分の正確な数と, 副生成物として, 総アフィン部分の正確な数とを明示的にカウントできる新しい手法を開発した。
  論文  参考訳（メタデータ） (2023-06-15T01:21:12Z)
• Multi-Phase Relaxation Labeling for Square Jigsaw Puzzle Solving [73.58829980121767]
  本稿では,大域最適化に基づく二乗ジグソーパズルの解法を提案する。 この手法は完全に自動化されており、事前情報を前提とせず、未知または未知のピースオリエンテーションでパズルを扱うことができる。
  論文  参考訳（メタデータ） (2023-03-26T18:53:51Z)
• Tight Guarantees for Interactive Decision Making with the Decision-Estimation Coefficient [51.37720227675476]
  我々は、決定推定係数の新たな変種を導入し、それを用いて、3つの面における事前の作業を改善する新しい下界を導出する。 我々は同じ量でスケールした後悔について上界を与え、フォスター等における上界と下界の間のギャップの1つを除いて全てを閉じる。 この結果は、後悔のフレームワークとPACフレームワークの両方に適用され、我々が期待するいくつかの新しい分析とアルゴリズム設計技術を利用して、より広範な利用が期待できる。
  論文  参考訳（メタデータ） (2023-01-19T18:24:08Z)
• Algorithm for Constrained Markov Decision Process with Linear Convergence [55.41644538483948]
  エージェントは、そのコストに対する複数の制約により、期待される累積割引報酬を最大化することを目的としている。 エントロピー正規化ポリシーとベイダの二重化という2つの要素を統合した新しい双対アプローチが提案されている。 提案手法は(線形速度で)大域的最適値に収束することが示されている。
  論文  参考訳（メタデータ） (2022-06-03T16:26:38Z)
• How to Explain Neural Networks: A perspective of data space division [2.4499092754102874]
  ディープラーニングで表されるアルゴリズムの解釈可能性はまだオープンな問題です。 本稿では,説明の2つの属性に基づく既存の説明可能な手法の欠点について論じる。 本稿では,データ空間分割の観点から,完全局所解釈可能なモデル非依存説明法(CLIMEP)の原理を提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:43:37Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)
• Local Propagation in Constraint-based Neural Network [77.37829055999238]
  ニューラルネットワークアーキテクチャの制約に基づく表現について検討する。 本稿では,いわゆるアーキテクチャ制約を満たすのに適した簡単な最適化手法について検討する。
  論文  参考訳（メタデータ） (2020-02-18T16:47:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。