論文の概要: MD tree: a model-diagnostic tree grown on loss landscape

• arxiv url: http://arxiv.org/abs/2406.16988v1
• Date: Mon, 24 Jun 2024 04:31:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 19:00:25.371641
• Title: MD tree: a model-diagnostic tree grown on loss landscape
• Title（参考訳）: MD木:失われた風景に生えるモデル診断木
• Authors: Yefan Zhou, Jianlong Chen, Qinxue Cao, Konstantin Schürholt, Yaoqing Yang,
• Abstract要約: トレーニング済みのニューラルネットワーク(NN)を前提として、障害モードのセットから障害の原因を予測することが目標だ。 従来の診断アプローチでは、トレーニングと検証エラーを使用して、モデルが過度に適合しているか、過度に適合しているかを判断する。 NN性能に関する豊富な情報が最適化損失ランドスケープにエンコードされていることを示す。
• 参考スコア（独自算出の注目度）: 6.633201258809686
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper considers "model diagnosis", which we formulate as a classification problem. Given a pre-trained neural network (NN), the goal is to predict the source of failure from a set of failure modes (such as a wrong hyperparameter, inadequate model size, and insufficient data) without knowing the training configuration of the pre-trained NN. The conventional diagnosis approach uses training and validation errors to determine whether the model is underfitting or overfitting. However, we show that rich information about NN performance is encoded in the optimization loss landscape, which provides more actionable insights than validation-based measurements. Therefore, we propose a diagnosis method called MD tree based on loss landscape metrics and experimentally demonstrate its advantage over classical validation-based approaches. We verify the effectiveness of MD tree in multiple practical scenarios: (1) use several models trained on one dataset to diagnose a model trained on another dataset, essentially a few-shot dataset transfer problem; (2) use small models (or models trained with small data) to diagnose big models (or models trained with big data), essentially a scale transfer problem. In a dataset transfer task, MD tree achieves an accuracy of 87.7%, outperforming validation-based approaches by 14.88%. Our code is available at https://github.com/YefanZhou/ModelDiagnosis.
• Abstract（参考訳）: 本稿では,分類問題として定式化する「モデル診断」について考察する。 トレーニング済みニューラルネットワーク(NN)が与えられた場合、トレーニング済みNNのトレーニング構成を知ることなく、障害モード(間違ったハイパーパラメータ、不十分なモデルサイズ、不十分なデータなど)のセットから障害の原因を予測することが目標だ。 従来の診断アプローチでは、トレーニングと検証エラーを使用して、モデルが過度に適合しているか、過度に適合しているかを判断する。 しかし、NN性能に関する豊富な情報が最適化損失ランドスケープにエンコードされていることを示し、検証に基づく測定よりも実用的な洞察を提供する。 そこで我々は,ロスランドスケープの指標に基づくMDツリーと呼ばれる診断手法を提案し,古典的検証に基づくアプローチに対するその利点を実験的に実証した。 1つのデータセットでトレーニングされた複数のモデルを使用して、他のデータセットでトレーニングされたモデル(基本的には数ショットのデータセット転送問題)を診断する; 2つの小さなモデル(または小さなデータでトレーニングされたモデル)を使用して、大きなモデル(あるいはビッグデータでトレーニングされたモデル)を診断する。 データセット転送タスクでは、MDツリーは87.7%の精度を達成し、検証ベースのアプローチを14.88%上回る。 私たちのコードはhttps://github.com/YefanZhou/ModelDiagnosis.comで公開されています。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Estimating Uncertainty with Implicit Quantile Network [0.0]
  不確かさの定量化は多くの性能クリティカルなアプリケーションにおいて重要な部分である。 本稿では,アンサンブル学習やベイズニューラルネットワークなど,既存のアプローチに対する簡単な代替手段を提供する。
  論文  参考訳（メタデータ） (2024-08-26T13:33:14Z)
• The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease detection [51.697248252191265]
  この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。 我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。 このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
  論文  参考訳（メタデータ） (2023-09-13T10:40:41Z)
• An Effective Data-Driven Approach for Localizing Deep Learning Faults [20.33411443073181]
  問題パターンの学習にモデル機能を活用する新しいデータ駆動手法を提案する。 本手法は,手作業によるマッピングを必要とせず,バグ症状を根本原因に自動的に関連付ける。 以上の結果から,本手法は様々なバグタイプを効果的に検出・診断できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-18T03:28:39Z)
• Robust self-healing prediction model for high dimensional data [0.685316573653194]
  本研究は、ロバスト自己治癒(RSH)ハイブリッド予測モデルを提案する。 それは、データを捨てるのではなく、エラーや不整合を取り除くことによって、データ全体を活用することによって機能する。 提案手法は,既存のハイパフォーマンスモデルと比較し,解析を行った。
  論文  参考訳（メタデータ） (2022-10-04T17:55:50Z)
• Information FOMO: The unhealthy fear of missing out on information. A method for removing misleading data for healthier models [0.0]
  ミスリーディングや不要なデータは、マシンラーニング(ML)モデルの健全性や正確性に大きく影響します。 本稿では,データセット内の重要な情報を特定するシーケンシャルな選択法を提案する。 これらの不安定性は、基礎となるマップの複雑さの結果であり、極端な事象や重い尾と結びついている。
  論文  参考訳（メタデータ） (2022-08-27T19:43:53Z)
• PCA-RF: An Efficient Parkinson's Disease Prediction Model based on Random Forest Classification [3.6704226968275258]
  本稿では,パーキンソン病に対する無作為な森林分類を行う病気予測手法を提案する。 このモデルの精度を主成分分析 (PCA) に適用したニューラルネットワーク (ANN) モデルと比較し, 可視差を捉えた。 モデルの精度は最大90%まで向上した。
  論文  参考訳（メタデータ） (2022-03-21T18:59:08Z)
• Distributionally Robust Semi-Supervised Learning Over Graphs [68.29280230284712]
  グラフ構造化データに対する半教師付き学習(SSL)は、多くのネットワークサイエンスアプリケーションに現れる。 グラフ上の学習を効率的に管理するために,近年,グラフニューラルネットワーク(GNN)の変種が開発されている。 実際に成功したにも拘わらず、既存の手法のほとんどは、不確実な結節属性を持つグラフを扱うことができない。 ノイズ測定によって得られたデータに関連する分布の不確実性によっても問題が発生する。 分散ロバストな学習フレームワークを開発し,摂動に対する定量的ロバスト性を示すモデルを訓練する。
  論文  参考訳（メタデータ） (2021-10-20T14:23:54Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。