論文の概要: Landscaper: Understanding Loss Landscapes Through Multi-Dimensional Topological Analysis

• arxiv url: http://arxiv.org/abs/2602.07135v1
• Date: Fri, 06 Feb 2026 19:17:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.463459
• Title: Landscaper: Understanding Loss Landscapes Through Multi-Dimensional Topological Analysis
• Title（参考訳）: ランドスケープ:多次元トポロジカル解析による失われたランドスケープの理解
• Authors: Jiaqing Chen, Nicholas Hadler, Tiankai Xie, Rostyslav Hnatyshyn, Caleb Geniesse, Yaoqing Yang, Michael W. Mahoney, Talita Perciano, John F. Hartwig, Ross Maciejewski, Gunther H. Weber,
• Abstract要約: 任意の次元ロスランドスケープ解析のためのオープンソースのPythonパッケージであるLandscaperを提案する。 主要なコンポーネントは、景観の滑らかさを定量化するSaddle-Minimum Average Distance (SMAD)である。
• 参考スコア（独自算出の注目度）: 41.82102833787517
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Loss landscapes are a powerful tool for understanding neural network optimization and generalization, yet traditional low-dimensional analyses often miss complex topological features. We present Landscaper, an open-source Python package for arbitrary-dimensional loss landscape analysis. Landscaper combines Hessian-based subspace construction with topological data analysis to reveal geometric structures such as basin hierarchy and connectivity. A key component is the Saddle-Minimum Average Distance (SMAD) for quantifying landscape smoothness. We demonstrate Landscaper's effectiveness across various architectures and tasks, including those involving pre-trained language models, showing that SMAD captures training transitions, such as landscape simplification, that conventional metrics miss. We also illustrate Landscaper's performance in challenging chemical property prediction tasks, where SMAD can serve as a metric for out-of-distribution generalization, offering valuable insights for model diagnostics and architecture design in data-scarce scientific machine learning scenarios.
• Abstract（参考訳）: ロスランドスケープはニューラルネットワークの最適化と一般化を理解する強力なツールだが、従来の低次元分析では複雑なトポロジ的特徴を欠いていることが多い。 任意の次元ロスランドスケープ解析のためのオープンソースのPythonパッケージであるLandscaperを提案する。 ランドスケープは、ヘッセンのサブスペース構造とトポロジカルデータ解析を組み合わせることで、盆地階層や接続性などの幾何学構造を明らかにする。 重要なコンポーネントは、景観の滑らかさを定量化するSaddle-Minimum Average Distance (SMAD)である。 本研究では,事前学習型言語モデルを含む各種アーキテクチャやタスクにおけるランドスケープの有効性を実証し,SMADが従来の指標を欠くランドスケープの単純化などのトレーニングトランジションを捉えていることを示す。 また、SMADは、データスカース科学機械学習シナリオにおけるモデル診断とアーキテクチャ設計のための貴重な洞察を提供する、配布外一般化の指標として機能する、化学特性予測タスクにおけるランドスケープのパフォーマンスについても説明する。

関連論文リスト

• AMBER: Adaptive Mesh Generation by Iterative Mesh Resolution Prediction [48.72179728638418]
  本稿では,メッシュ適応のための教師あり学習手法であるAMBER(Adaptive Meshing By Expert Reconstruction)を提案する。 AMBERは、サイズフィールドを反復的に予測し、この予測を使用して、アウト・オブ・ザ・ボックスメッシュジェネレータを使用して、新しい中間メッシュを生成する。 AMBERを2次元および3次元の幾何学、古典物理学問題を含むデータセット、機械部品、人間の専門家メッシュを用いた実世界の産業デザインで評価する。
  論文  参考訳（メタデータ） (2025-05-29T17:10:44Z)
• Evaluating Loss Landscapes from a Topology Perspective [43.25939653609482]
  ロスランドスケープの基盤となる形状(あるいはトポロジ)を特徴付け、トポロジを定量化し、ニューラルネットワークに関する新たな洞察を明らかにする。 その結果を機械学習(ML)の文献に関連付けるため,簡単なパフォーマンス指標を計算した。 損失景観の形状を定量化することで、モデル性能と学習ダイナミクスに対する新たな洞察が得られることを示す。
  論文  参考訳（メタデータ） (2024-11-14T20:46:26Z)
• LMSeg: An end-to-end geometric message-passing network on barycentric dual graphs for large-scale landscape mesh segmentation [5.698076346359676]
  オーストラリアのビクトリア州にあるユネスコ世界遺産に登録されているBudj Bim文化景観から得られた大規模なアノテートメッシュデータセットであるBudjBim Wallデータセットを紹介した。 大規模メッシュのセマンティックセグメンテーションのためのディープグラフメッセージパッシングネットワークであるLMSegを提案する。 3つの大規模ベンチマーク(SUM、H3D、BBW)の実験では、LMSegはSUMで75.1% mIoU、H3Dで78.4% O.A.、BBWで62.4% mIoUを達成した。
  論文  参考訳（メタデータ） (2024-07-05T07:55:06Z)
• ImplicitTerrain: a Continuous Surface Model for Terrain Data Analysis [14.013976303831313]
  ImplicitTerrainは、高解像度の地形を連続的に微分的にモデル化するための暗黙の神経表現(INR)アプローチである。 本実験では, 表面適合精度, 有効トポロジカル特徴抽出, 各種トポロジカル特徴抽出について検討した。
  論文  参考訳（メタデータ） (2024-05-31T23:05:34Z)
• 360 Layout Estimation via Orthogonal Planes Disentanglement and Multi-view Geometric Consistency Perception [56.84921040837699]
  既存のパノラマ配置推定ソリューションは、垂直圧縮されたシーケンスから部屋の境界を復元し、不正確な結果をもたらす傾向にある。 そこで本稿では,直交平面不整合ネットワーク(DOPNet)を提案し,あいまいな意味論を識別する。 また,水平深度と比表現に適した教師なし適応手法を提案する。 本手法は,単分子配置推定と多視点レイアウト推定の両タスクにおいて,他のSoTAモデルよりも優れる。
  論文  参考訳（メタデータ） (2023-12-26T12:16:03Z)
• Vision Transformers: From Semantic Segmentation to Dense Prediction [139.15562023284187]
  視覚的予測のための視覚変換器(ViT)のグローバルな文脈学習の可能性について検討する。 我々のモチベーションは、グローバルコンテキストを全受容界層で学習することで、ViTがより強力な長距離依存性情報を取得することである。 階層型ローカル・グローバル・トランスフォーマー (HLG) のファミリを定式化し, 窓内部の局所的な注意と, ピラミッド建築における窓全体のグローバルアテンションを特徴とする。
  論文  参考訳（メタデータ） (2022-07-19T15:49:35Z)
• FuNNscope: Visual microscope for interactively exploring the loss landscape of fully connected neural networks [77.34726150561087]
  ニューラルネットワークの高次元景観特性を探索する方法を示す。 我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。 インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
  論文  参考訳（メタデータ） (2022-04-09T16:41:53Z)
• Taxonomizing local versus global structure in neural network loss landscapes [60.206524503782006]
  ロスランドスケープが世界規模で良好に接続されている場合, 最適なテスト精度が得られることを示す。 また、モデルが小さい場合や、品質の低いデータに訓練された場合、世界規模で接続の不十分なランドスケープが生じる可能性があることも示しています。
  論文  参考訳（メタデータ） (2021-07-23T13:37:14Z)
• Visualizing High-Dimensional Trajectories on the Loss-Landscape of ANNs [15.689418447376587]
  ニューラルネットワークを訓練するには、高度に非次元的な損失関数の最適化が必要である。 可視化ツールは、ANNの損失ランドスケープの鍵となる幾何学的特徴を明らかにする上で重要な役割を果たしてきた。 局所構造と大域構造の両方でSOTAを表すモダニティ低減手法を提案する。
  論文  参考訳（メタデータ） (2021-01-31T16:30:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。