論文の概要: LossLens: Diagnostics for Machine Learning through Loss Landscape Visual Analytics
- arxiv url: http://arxiv.org/abs/2412.13321v1
- Date: Tue, 17 Dec 2024 20:40:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-19 13:23:46.782547
- Title: LossLens: Diagnostics for Machine Learning through Loss Landscape Visual Analytics
- Title（参考訳）: LossLens: ランドスケープなビジュアルアナリティクスによる機械学習の診断
- Authors: Tiankai Xie, Jiaqing Chen, Yaoqing Yang, Caleb Geniesse, Ge Shi, Ajinkya Chaudhari, John Kevin Cava, Michael W. Mahoney, Talita Perciano, Gunther H. Weber, Ross Maciejewski,
- Abstract要約: LossLensは視覚分析フレームワークで、複数のスケールでロスランドスケープを探索する。
LossLensの2つのケーススタディは、残差接続がResNet-20にどのように影響するかを視覚化し、物理的パラメータが単純な対流問題を解決する物理情報ニューラルネットワーク(PINN)にどのように影響するかを可視化する。
- 参考スコア（独自算出の注目度）: 40.39489322471626
- License:
- Abstract: Modern machine learning often relies on optimizing a neural network's parameters using a loss function to learn complex features. Beyond training, examining the loss function with respect to a network's parameters (i.e., as a loss landscape) can reveal insights into the architecture and learning process. While the local structure of the loss landscape surrounding an individual solution can be characterized using a variety of approaches, the global structure of a loss landscape, which includes potentially many local minima corresponding to different solutions, remains far more difficult to conceptualize and visualize. To address this difficulty, we introduce LossLens, a visual analytics framework that explores loss landscapes at multiple scales. LossLens integrates metrics from global and local scales into a comprehensive visual representation, enhancing model diagnostics. We demonstrate LossLens through two case studies: visualizing how residual connections influence a ResNet-20, and visualizing how physical parameters influence a physics-informed neural network (PINN) solving a simple convection problem.
- Abstract（参考訳）: 現代の機械学習は、複雑な特徴を学習するために損失関数を使用してニューラルネットワークのパラメータを最適化することに依存することが多い。
トレーニング以外にも、ネットワークのパラメータ(すなわち損失ランドスケープ)に関する損失関数を調べることで、アーキテクチャと学習プロセスに関する洞察を明らかにすることができる。
個々の解を取り巻くロスランドスケープの局所構造は様々なアプローチで特徴づけられるが、異なる解に対応する多くのローカルミニマを含むロスランドスケープのグローバル構造は、概念化と視覚化がはるかに困難である。
この課題に対処するために、複数のスケールで損失景観を探索するビジュアル分析フレームワークであるLossLensを紹介した。
LossLensは、グローバルスケールとローカルスケールのメトリクスを総合的な視覚表現に統合し、モデル診断を強化する。
LossLensの2つのケーススタディは、残差接続がResNet-20にどのように影響するかを視覚化し、物理的パラメータが単純な対流問題を解決する物理情報ニューラルネットワーク(PINN)にどのように影響するかを可視化する。
関連論文リスト
- Evaluating Loss Landscapes from a Topology Perspective [43.25939653609482]
ロスランドスケープの基盤となる形状(あるいはトポロジ)を特徴付け、トポロジを定量化し、ニューラルネットワークに関する新たな洞察を明らかにする。
その結果を機械学習(ML)の文献に関連付けるため,簡単なパフォーマンス指標を計算した。
損失景観の形状を定量化することで、モデル性能と学習ダイナミクスに対する新たな洞察が得られることを示す。
論文 参考訳（メタデータ） (2024-11-14T20:46:26Z) - Learning Object-Centric Representation via Reverse Hierarchy Guidance [73.05170419085796]
OCL(Object-Centric Learning)は、ニューラルネットワークが視覚的なシーンで個々のオブジェクトを識別できるようにする。
RHGNetは、トレーニングと推論プロセスにおいて、さまざまな方法で機能するトップダウンパスを導入している。
我々のモデルは、よく使われる複数のデータセット上でSOTA性能を達成する。
論文 参考訳（メタデータ） (2024-05-17T07:48:27Z) - Are All Losses Created Equal: A Neural Collapse Perspective [36.0354919583995]
クロスエントロピー(CE)は、分類タスクのためにディープニューラルネットワークを訓練する最も一般的な損失である。
本研究では,一般的に使用されているラベルスムーシング (LS) や焦点損失 (FL) を含む広い範囲の損失関数がニューラル・コラプスを示すことを,グローバル・ソリューションとランドスケープ・アナリティクスを通じて示す。
論文 参考訳（メタデータ） (2022-10-04T00:36:45Z) - Critical Investigation of Failure Modes in Physics-informed Neural
Networks [0.9137554315375919]
合成定式化による物理インフォームドニューラルネットワークは、最適化が難しい非学習損失面を生成することを示す。
また,2つの楕円問題に対する2つのアプローチを,より複雑な目標解を用いて評価する。
論文 参考訳（メタデータ） (2022-06-20T18:43:35Z) - FuNNscope: Visual microscope for interactively exploring the loss
landscape of fully connected neural networks [77.34726150561087]
ニューラルネットワークの高次元景観特性を探索する方法を示す。
我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。
インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
論文 参考訳（メタデータ） (2022-04-09T16:41:53Z) - Taxonomizing local versus global structure in neural network loss
landscapes [60.206524503782006]
ロスランドスケープが世界規模で良好に接続されている場合, 最適なテスト精度が得られることを示す。
また、モデルが小さい場合や、品質の低いデータに訓練された場合、世界規模で接続の不十分なランドスケープが生じる可能性があることも示しています。
論文 参考訳（メタデータ） (2021-07-23T13:37:14Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳（メタデータ） (2020-12-31T18:53:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。