論文の概要: Visualizing high-dimensional loss landscapes with Hessian directions
- arxiv url: http://arxiv.org/abs/2208.13219v1
- Date: Sun, 28 Aug 2022 13:18:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-30 12:56:42.443895
- Title: Visualizing high-dimensional loss landscapes with Hessian directions
- Title（参考訳）: ヘシアン方向による高次元損失景観の可視化
- Authors: Lucas B\"ottcher and Gregory Wheeler
- Abstract要約: 低次元の損失表現における曲率特性が、元の損失空間における曲率特性にどのように依存するかを考察する。
元の空間のサドル点は、ランダムな射影を用いる場合、低次元表現のように正しく識別されることは滅多にない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Analyzing geometric properties of high-dimensional loss functions, such as
local curvature and the existence of other optima around a certain point in
loss space, can help provide a better understanding of the interplay between
neural network structure, implementation attributes, and learning performance.
In this work, we combine concepts from high-dimensional probability and
differential geometry to study how curvature properties in lower-dimensional
loss representations depend on those in the original loss space. We show that
saddle points in the original space are rarely correctly identified as such in
lower-dimensional representations if random projections are used. In such
projections, the expected curvature in a lower-dimensional representation is
proportional to the mean curvature in the original loss space. Hence, the mean
curvature in the original loss space determines if saddle points appear, on
average, as either minima, maxima, or almost flat regions. We use the
connection between expected curvature and mean curvature (i.e., the normalized
Hessian trace) to estimate the trace of Hessians without calculating the
Hessian or Hessian-vector products as in Hutchinson's method. Because random
projections are not able to correctly identify saddle information, we propose
to study projections along Hessian directions that are associated with the
largest and smallest principal curvatures. We connect our findings to the
ongoing debate on loss landscape flatness and generalizability. Finally, we
illustrate our method in numerical experiments on different image classifiers
with up to about $7\times 10^6$ parameters.
- Abstract（参考訳）: 局所曲率などの高次元損失関数の幾何学的性質の解析と、損失空間のある点における他の最適点の存在は、ニューラルネットワーク構造、実装特性、学習性能との相互作用をよりよく理解するのに役立ちます。
本研究では,高次元確率と微分幾何学の概念を組み合わせて,低次元損失表現の曲率特性が元の損失空間のそれに依存するかを研究する。
ランダムな射影を用いた場合、元の空間の鞍点が低次元表現において正しく識別されることは滅多にない。
そのような射影において、低次元表現における期待曲率は、元の損失空間の平均曲率に比例する。
したがって、元の損失空間の平均曲率は、サドル点が平均してミニマ、最大、またはほぼ平坦な領域として現れるかどうかを決定する。
平均曲率(正規化ヘッセントレース)と期待曲率(平均曲率)の関係を用いて、ハッチンソン法のようにヘッセン積やヘッセンベクトル積を計算せずにヘッセン人の痕跡を推定する。
ランダム射影は鞍の情報を正しく識別できないため,最大かつ最小の主曲率に関連付けられたヘッセン方向に沿った射影を研究することを提案する。
本研究は,損失景観の平坦性と一般化可能性に関する議論とを結びつける。
最後に,約7\times 10^6$パラメータの異なる画像分類器を用いた数値実験において,本手法について述べる。
関連論文リスト
- ND-SDF: Learning Normal Deflection Fields for High-Fidelity Indoor Reconstruction [50.07671826433922]
微妙な幾何を同時に復元し、異なる特徴を持つ領域をまたいだ滑らかさを保つことは自明ではない。
そこで我々は,ND-SDFを提案する。ND-SDFは,通常のシーンとそれ以前のシーンの角偏差を表す正規偏向場を学習する。
本手法は, 壁面や床面などのスムーズなテクスチャ構造を得るだけでなく, 複雑な構造の幾何学的詳細も保存する。
論文 参考訳（メタデータ） (2024-08-22T17:59:01Z) - Disentangled Representation Learning with the Gromov-Monge Gap [65.73194652234848]
乱れのないデータから歪んだ表現を学習することは、機械学習における根本的な課題である。
本稿では,2次最適輸送に基づく非交叉表現学習手法を提案する。
提案手法の有効性を4つの標準ベンチマークで示す。
論文 参考訳（メタデータ） (2024-07-10T16:51:32Z) - Wasserstein Projection Pursuit of Non-Gaussian Signals [8.789656856095947]
我々は、高次元データクラウドにおける興味深い特徴の$k$次元非ガウス部分空間における興味深い方向を見つけるという問題を考察する。
生成モデルの下では、この未知の部分空間を近似する精度について厳密な統計的保証を証明している。
我々の結果は,データ次元がサンプルサイズに匹敵する体制で機能する。
論文 参考訳（メタデータ） (2023-02-24T15:36:51Z) - Curved Geometric Networks for Visual Anomaly Recognition [39.91252195360767]
データ分布の根底にある性質を理解するために潜伏埋め込みを学ぶことは、曲率ゼロのユークリッド空間でしばしば定式化される。
本研究では,データ中の異常やアウト・オブ・ディストリビューション・オブジェクトを解析するための曲線空間の利点について検討する。
論文 参考訳（メタデータ） (2022-08-02T01:15:39Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2022-02-28T13:01:04Z) - Deep Networks on Toroids: Removing Symmetries Reveals the Structure of
Flat Regions in the Landscape Geometry [3.712728573432119]
我々は、すべての対称性を除去し、トロイダルトポロジーをもたらす標準化されたパラメータ化を開発する。
最小化器の平坦性とそれらの接続する測地線経路の有意義な概念を導出する。
また、勾配勾配の変種によって発見された最小化器は、ゼロエラー経路と1つの曲がり角で接続可能であることも見いだした。
論文 参考訳（メタデータ） (2022-02-07T09:57:54Z) - Differential Geometry in Neural Implicits [0.6198237241838558]
トライアングルメッシュの離散微分幾何とニューラル暗黙曲面の連続微分幾何を橋渡しするニューラル暗黙の枠組みを導入する。
ニューラルネットワークの微分可能特性と三角形メッシュの離散幾何学を利用して、ニューラルネットワークをニューラルネットワークの暗黙関数のゼロレベル集合として近似する。
論文 参考訳（メタデータ） (2022-01-23T13:40:45Z) - Deep Point Cloud Normal Estimation via Triplet Learning [12.271669779096076]
点雲の新しい正規推定法を提案する。
a) 局所パッチの表現を学習する特徴符号化と(b) 学習した表現を入力として取り、通常のベクトルを回帰する正規推定である。
本手法は,シャープな特徴を保存し,CAD形状の正常な推定結果を改善する。
論文 参考訳（メタデータ） (2021-10-20T11:16:00Z) - Deep Modeling of Growth Trajectories for Longitudinal Prediction of
Missing Infant Cortical Surfaces [58.780482825156035]
空間グラフ畳み込みニューラルネットワーク(GCNN)を用いた皮質表面の経時的予測法を提案する。
提案手法は,皮質成長軌跡をモデル化し,複数点の内曲面と外曲面を共同で予測する。
本手法が時間的皮質成長パターンの非線形性を捉えることができることを示す。
論文 参考訳（メタデータ） (2020-09-06T18:46:04Z) - GarNet++: Improving Fast and Accurate Static3D Cloth Draping by
Curvature Loss [89.96698250086064]
仮想3次元体上にテンプレート布を視覚的に可視的に描画する2ストリームディープネットワークモデルを提案する。
我々のネットワークは、計算時間を桁違いに減らしながら、物理ベースシミュレーション(PBS)法を模倣することを学ぶ。
身体形状とポーズの異なる4種類の衣服の枠組みを検証した。
論文 参考訳（メタデータ） (2020-07-20T13:40:15Z) - Semiparametric Nonlinear Bipartite Graph Representation Learning with
Provable Guarantees [106.91654068632882]
半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。
提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。
我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
論文 参考訳（メタデータ） (2020-03-02T16:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。