論文の概要: Measuring Deep Learning Performance - An Empirical Study of Performance Distributions Across Architectures and Tasks

• arxiv url: http://arxiv.org/abs/2610.38037v1
• Date: Tue, 27 Oct 2026 22:47:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.343328
• Title: Measuring Deep Learning Performance - An Empirical Study of Performance Distributions Across Architectures and Tasks
• Title（参考訳）: ディープラーニングのパフォーマンスの測定 - アーキテクチャとタスク間のパフォーマンス分布に関する実証的研究
• Abstract要約: 非決定論的情報源に対するディープラーニング性能の堅牢性について検討する。 性能分布はしばしば非ガウス的であり、特に時系列予測においてである。 時系列モデルは、画像分類モデルよりも3倍の低性能のアウトレイアを生成する。
• 参考スコア（独自算出の注目度）: 4.40879390581982
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Context: Non-determinism in deep learning algorithm design and implementation leads to performance variation, meaning model performance is not a single value, but rather a distribution. These model performance distributions are underexplored despite their impact on robustness. Objective: We investigate the robustness of deep learning performance to sources of non-determinism, specifically focusing on how performance distributions differ across various architectures and tasks. Method: We conducted 186 experiments on image classification and time series forecasting architectures. Each experiment was run 100 times with different random seeds to generate performance distributions, resulting in 18,600 runs. Robustness was quantified using metrics for spread, symmetry, and tail risk. Results: Performance distributions are frequently non-Gaussian, particularly in time series forecasting. Model size does not systematically affect robustness -- larger image classification models show fewer outliers but not lower spread, while smaller time series models show lower spread but more extreme underperformers. Training duration does not scale linearly; early stopping effectively balances performance and robustness. Mean performance does not predict robustness - time series forecasting shows moderate correlation while image classification shows none. Time series models produce nearly three times more underperforming outliers than image classification models, indicating substantially higher tail risk. Conclusions: Tail risk poses serious concerns for Trustworthy AI in high-stakes applications. Models performing well on average may exhibit long tails and extreme outliers revealed only through distributional analysis. Mean performance alone should not guide model selection; assessment of spread, symmetry, and tail risk is essential for reliable model assessment where consistent performance is critical.
• Abstract（参考訳）: コンテキスト: ディープラーニングアルゴリズムの設計と実装における非決定性は、パフォーマンスの変動をもたらします。 これらのモデル性能分布は、ロバスト性への影響にもかかわらず、過度に探索されている。 目的: 非決定主義の源泉に対するディープラーニング性能の堅牢性について検討し,特に性能分布が様々なアーキテクチャやタスクでどのように異なるかに着目した。 方法:画像分類と時系列予測アーキテクチャに関する186の実験を行った。 それぞれの実験は、異なるランダムシードで100回実行され、性能分布が生成され、18,600回の実行が行われた。 ロバストネスは拡散、対称性、尾のリスクの指標を用いて定量化された。 結果:特に時系列予測において,パフォーマンス分布は非ガウス的であることが多い。 モデルサイズは、体系的にロバスト性に影響を与えるものではなく、より大きな画像分類モデルは、より低いアウトリー数を示すが、より小さい時系列モデルは、より低いスプレッドを示すが、より極端なアンダーパフォーマンスを示す。 トレーニング期間は線形ではなく、早期停止は性能と堅牢性を効果的にバランスさせる。 平均的な性能はロバストさを予測しない - 時系列予測は適度な相関を示し、画像分類はそうではない。 時系列モデルは画像分類モデルよりも約3倍の低性能なアウトリーチを生成し、尾のリスクが著しく高いことを示している。 結論: タイルリスクは、高度なアプリケーションにおいて、信頼できるAIに深刻な懸念をもたらします。 平均的に良好に動作するモデルは、分布解析によってのみ明らかにされる長い尾と極端な外れ値を示す。 一貫性のある性能が不可欠である信頼性のあるモデル評価には、スプレッド、対称性、テールリスクの評価が不可欠である。

関連論文リスト

• Accuracy Law for the Future of Deep Time Series Forecasting [65.46625911002202]
  時系列予測は、部分的に観測可能で不確実な性質のため、本質的にゼロでない誤差の低い境界に直面する。 本稿では、ディープ時系列予測の性能上限をどうやって推定するかという根本的な問題に焦点をあてる。 新たに訓練された2,800以上の深層予測器の厳密な統計的テストに基づいて、深部モデルの最小予測誤差とウィンドウワイズ級数パターンの複雑さとの間に有意な指数関数的関係を見出した。
  論文  参考訳（メタデータ） (2025-10-03T05:18:47Z)
• Quantifying Uncertainty and Variability in Machine Learning: Confidence Intervals for Quantiles in Performance Metric Distributions [0.17265013728931003]
  マシンラーニングモデルは、信頼性と堅牢性が重要であるアプリケーションで広く使用されている。 モデル評価は、しばしば、モデルパフォーマンスの固有の変数をキャプチャできないパフォーマンスメトリクスの単一ポイント推定に依存します。 この貢献は、そのような分布を分析するために量子と信頼区間を使うことを探求し、モデルの性能とその不確実性についてより完全な理解を提供する。
  論文  参考訳（メタデータ） (2025-01-28T13:21:34Z)
• Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation for Time Series [45.76310830281876]
  量子回帰に基づくタスクネットワークのアンサンブルを用いて不確実性を推定する新しい手法であるQuantile Sub-Ensemblesを提案する。 提案手法は,高い損失率に頑健な高精度な計算法を生成するだけでなく,非生成モデルの高速な学習により,計算効率も向上する。
  論文  参考訳（メタデータ） (2023-12-03T05:52:30Z)
• Orthogonal Uncertainty Representation of Data Manifold for Robust Long-Tailed Learning [52.021899899683675]
  長い尾の分布を持つシナリオでは、尾のサンプルが不足しているため、モデルが尾のクラスを識別する能力は制限される。 モデルロバストネスの長期的現象を改善するために,特徴埋め込みの直交不確実性表現(OUR)とエンドツーエンドのトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2023-10-16T05:50:34Z)
• Towards a performance characteristic curve for model evaluation: an application in information diffusion prediction [2.8686437689115354]
  拡散データのランダム性を定量化するために,情報エントロピーに基づくメトリクスを提案する。 次に,モデルのランダム性と予測精度の間のスケーリングパターンを同定する。 曲線の妥当性は、同じ家系の3つの予測モデルによって検証される。
  論文  参考訳（メタデータ） (2023-09-18T07:32:57Z)
• Effective Robustness against Natural Distribution Shifts for Models with Different Training Data [113.21868839569]
  効果的ロバスト性」は、分配内(ID)性能から予測できる以上の余分な分配外ロバスト性を測定する。 異なるデータに基づいてトレーニングされたモデルの有効ロバスト性を評価・比較するための新しい評価指標を提案する。
  論文  参考訳（メタデータ） (2023-02-02T19:28:41Z)
• Tracking the risk of a deployed model and detecting harmful distribution shifts [105.27463615756733]
  実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。 我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
  論文  参考訳（メタデータ） (2021-10-12T17:21:41Z)
• Model-based micro-data reinforcement learning: what are the crucial model properties and which model to choose? [0.2836066255205732]
  我々は,マイクロデータモデルに基づく強化学習(MBRL)に寄与する。 マルチモーダルな後続予測を必要とする環境では、混合密度ネットは他のモデルよりも大きなマージンで優れていることがわかった。 また、決定論的モデルは同等であり、実際、確率論的モデルよりも一貫して(非目立ったことではないが)優れていることも見出した。
  論文  参考訳（メタデータ） (2021-07-24T11:38:25Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Uncertainty-aware Generalized Adaptive CycleGAN [44.34422859532988]
  unpaired image-to-image translationは、教師なしの方法で画像ドメイン間のマッピングを学ぶことを指す。 既存の手法はしばしば、外れ値への堅牢性や予測不確実性を明示的にモデル化せずに決定論的マッピングを学習する。 Uncertainty-aware Generalized Adaptive Cycle Consistency (UGAC) という新しい確率論的手法を提案する。
  論文  参考訳（メタデータ） (2021-02-23T15:22:35Z)
• Modeling Score Distributions and Continuous Covariates: A Bayesian Approach [8.772459063453285]
  連続共変量に対するマッチングと非マッチスコア分布の生成モデルを構築した。 混合モデルを用いて任意の分布と局所基底関数をキャプチャする。 提案手法の精度と有効性を示す3つの実験を行った。
  論文  参考訳（メタデータ） (2020-09-21T02:41:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。