論文の概要: Evaluating Loss Landscapes from a Topology Perspective

• arxiv url: http://arxiv.org/abs/2411.09807v1
• Date: Thu, 14 Nov 2024 20:46:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:39:10.151488
• Title: Evaluating Loss Landscapes from a Topology Perspective
• Title（参考訳）: トポロジーから見た景観の損失評価
• Authors: Tiankai Xie, Caleb Geniesse, Jiaqing Chen, Yaoqing Yang, Dmitriy Morozov, Michael W. Mahoney, Ross Maciejewski, Gunther H. Weber,
• Abstract要約: ロスランドスケープの基盤となる形状(あるいはトポロジ)を特徴付け、トポロジを定量化し、ニューラルネットワークに関する新たな洞察を明らかにする。 その結果を機械学習(ML)の文献に関連付けるため,簡単なパフォーマンス指標を計算した。 損失景観の形状を定量化することで、モデル性能と学習ダイナミクスに対する新たな洞察が得られることを示す。
• 参考スコア（独自算出の注目度）: 43.25939653609482
• License:
• Abstract: Characterizing the loss of a neural network with respect to model parameters, i.e., the loss landscape, can provide valuable insights into properties of that model. Various methods for visualizing loss landscapes have been proposed, but less emphasis has been placed on quantifying and extracting actionable and reproducible insights from these complex representations. Inspired by powerful tools from topological data analysis (TDA) for summarizing the structure of high-dimensional data, here we characterize the underlying shape (or topology) of loss landscapes, quantifying the topology to reveal new insights about neural networks. To relate our findings to the machine learning (ML) literature, we compute simple performance metrics (e.g., accuracy, error), and we characterize the local structure of loss landscapes using Hessian-based metrics (e.g., largest eigenvalue, trace, eigenvalue spectral density). Following this approach, we study established models from image pattern recognition (e.g., ResNets) and scientific ML (e.g., physics-informed neural networks), and we show how quantifying the shape of loss landscapes can provide new insights into model performance and learning dynamics.
• Abstract（参考訳）: モデルパラメータ、すなわち損失ランドスケープに関するニューラルネットワークの損失を特徴付けることは、そのモデルの性質に関する貴重な洞察を与えることができる。 損失景観を可視化する様々な手法が提案されているが、これらの複雑な表現から実行可能な、再現可能な洞察を定量化・抽出することにはあまり重点を置いていない。 高次元データ構造を要約するためのトポロジデータ解析(TDA)の強力なツールにインスパイアされたここでは、ロスランドスケープの基盤となる形状(あるいはトポロジ)を特徴づけ、トポロジを定量化し、ニューラルネットワークに関する新たな洞察を明らかにする。 その結果を機械学習(ML)の文献に関連付けるため、単純な性能指標(例えば、精度、誤差)を計算し、ヘッセンの指標(例えば、最大の固有値、トレース、固有値スペクトル密度)を用いて損失景観の局所構造を特徴付ける。 このアプローチに従って,画像パターン認識(ResNetsなど)と科学ML(物理インフォームドニューラルネットワークなど)の確立したモデルについて検討し,損失景観の形状の定量化が,モデル性能と学習力学の新たな洞察を与えることを示す。

関連論文リスト

• SoK: On Finding Common Ground in Loss Landscapes Using Deep Model Merging Techniques [4.013324399289249]
  本稿では,モデルマージ手法の新たな分類法を提案する。 これらの分野における文献からの反復的な経験的観察を,ロスランドスケープ幾何学の4つの主要な側面のキャラクタリゼーションに用いた。
  論文  参考訳（メタデータ） (2024-10-16T18:14:05Z)
• Sparse Modelling for Feature Learning in High Dimensional Data [0.0]
  本稿では,高次元データセットにおける次元削減と特徴抽出に対する革新的なアプローチを提案する。 提案フレームワークはスパースモデリング技術を包括的パイプラインに統合し,効率的かつ解釈可能な特徴選択を実現する。 我々は、特に木材表面欠陥検出の文脈において、機械学習におけるスパースモデリングの理解と応用を進めることを目的としている。
  論文  参考訳（メタデータ） (2024-09-28T14:17:59Z)
• Unraveling the Hessian: A Key to Smooth Convergence in Loss Function Landscapes [0.0]
  我々は、完全に連結されたニューラルネットワークにおける損失景観の収束を理論的に解析し、新しいオブジェクトをサンプルに追加する際の損失関数値の差について上限を導出する。 画像分類作業における損失関数面の収束を実証し,これらの結果を様々なデータセットで検証した。
  論文  参考訳（メタデータ） (2024-09-18T14:04:15Z)
• Automatic Discovery of Visual Circuits [66.99553804855931]
  本稿では,視覚モデルにおける視覚的概念の認識の基盤となる計算グラフのサブグラフを抽出するスケーラブルな手法について検討する。 提案手法は, モデル出力に因果的に影響を及ぼす回路を抽出し, これらの回路を編集することで, 敵攻撃から大きな事前学習モデルを守ることができることがわかった。
  論文  参考訳（メタデータ） (2024-04-22T17:00:57Z)
• FuNNscope: Visual microscope for interactively exploring the loss landscape of fully connected neural networks [77.34726150561087]
  ニューラルネットワークの高次元景観特性を探索する方法を示す。 我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。 インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
  論文  参考訳（メタデータ） (2022-04-09T16:41:53Z)
• Taxonomizing local versus global structure in neural network loss landscapes [60.206524503782006]
  ロスランドスケープが世界規模で良好に接続されている場合, 最適なテスト精度が得られることを示す。 また、モデルが小さい場合や、品質の低いデータに訓練された場合、世界規模で接続の不十分なランドスケープが生じる可能性があることも示しています。
  論文  参考訳（メタデータ） (2021-07-23T13:37:14Z)
• Extracting Global Dynamics of Loss Landscape in Deep Learning Models [0.0]
  本稿では,DOODL3 (Dynamical Organization of Deep Learning Loss Landscapes) のためのツールキットを提案する。 DOODL3は、ニューラルネットワークのトレーニングを動的システムとして定式化し、学習プロセスを分析し、損失ランドスケープにおける軌跡の解釈可能なグローバルビューを示す。
  論文  参考訳（メタデータ） (2021-06-14T18:07:05Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。