論文の概要: Data Complexity-aware Deep Model Performance Forecasting

• arxiv url: http://arxiv.org/abs/2601.01383v1
• Date: Sun, 04 Jan 2026 05:31:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 16:25:22.266482
• Title: Data Complexity-aware Deep Model Performance Forecasting
• Title（参考訳）: データ複雑度を考慮したDeep Model Performance Forecasting
• Authors: Yen-Chia Chen, Hsing-Kuo Pao, Hanjuan Huang,
• Abstract要約: トレーニング前にモデル性能を推定できる軽量な2段階フレームワークを提案する。 このセットアップにより、フレームワークはデータセットとモデルタイプをまたいで一般化できる。 予測に使用される基礎的な特徴のいくつかは、モデル選択のための実用的なガイダンスを提供することができる。
• 参考スコア（独自算出の注目度）: 0.5735035463793009
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep learning models are widely used across computer vision and other domains. When working on the model induction, selecting the right architecture for a given dataset often relies on repetitive trial-and-error procedures. This procedure is time-consuming, resource-intensive, and difficult to automate. While previous work has explored performance prediction using partial training or complex simulations, these methods often require significant computational overhead or lack generalizability. In this work, we propose an alternative approach: a lightweight, two-stage framework that can estimate model performance before training given the understanding of the dataset and the focused deep model structures. The first stage predicts a baseline based on the analysis of some measurable properties of the dataset, while the second stage adjusts the estimation with additional information on the model's architectural and hyperparameter details. The setup allows the framework to generalize across datasets and model types. Moreover, we find that some of the underlying features used for prediction - such as dataset variance - can offer practical guidance for model selection, and can serve as early indicators of data quality. As a result, the framework can be used not only to forecast model performance, but also to guide architecture choices, inform necessary preprocessing procedures, and detect potentially problematic datasets before training begins.
• Abstract（参考訳）: ディープラーニングモデルはコンピュータビジョンやその他の領域で広く利用されている。 モデル誘導に取り組んでいる場合、与えられたデータセットに対して適切なアーキテクチャを選択することは、しばしば反復的な試行錯誤手順に依存する。 この手順は時間がかかり、リソースが集中し、自動化が難しい。 以前の研究では、部分的なトレーニングや複雑なシミュレーションを使った性能予測が検討されているが、これらの手法は計算上のオーバーヘッドや一般化可能性の欠如を必要とすることが多い。 本研究では、データセットと集中した深層モデル構造を理解した上で、トレーニング前にモデルパフォーマンスを見積もることができる軽量な2段階フレームワークを提案する。 第1段階はデータセットのいくつかの測定可能な特性の分析に基づいてベースラインを予測し、第2段階はモデルのアーキテクチャおよびハイパーパラメータの詳細に関する追加情報で推定を調整する。 このセットアップにより、フレームワークはデータセットとモデルタイプをまたいで一般化できる。 さらに、データセットの分散など、予測に使用されるいくつかの基礎的な特徴は、モデル選択の実践的なガイダンスを提供し、データ品質の早期指標として機能することを発見した。 結果として、このフレームワークはモデルパフォーマンスの予測だけでなく、アーキテクチャの選択のガイド、必要な事前処理手順の通知、トレーニングを開始する前に潜在的に問題のあるデータセットの検出にも利用できる。

関連論文リスト

• A Data-Centric Perspective on Evaluating Machine Learning Models for Tabular Data [9.57464542357693]
  実世界のモデリングパイプラインは、しばしばデータセット固有の前処理と特徴工学を必要とするため、モデル中心の評価は偏りがあることを実証する。 Kaggleコンペティションから10の関連するデータセットを選択し、データセット毎に専門家レベルの前処理パイプラインを実装します。 データセット固有の機能エンジニアリングの後、モデルランキングは大幅に変化し、性能差が減少し、モデル選択の重要性が低下する。
  論文  参考訳（メタデータ） (2024-07-02T09:54:39Z)
• Data Shapley in One Training Run [88.59484417202454]
  Data Shapleyは、機械学習コンテキストにおけるデータのコントリビューションに寄与するための、原則化されたフレームワークを提供する。 既存のアプローチでは、計算集約的な異なるデータサブセット上の再学習モデルが必要である。 本稿では、対象とするデータモデルに対するスケーラブルなデータ属性を提供することにより、これらの制限に対処するIn-Run Data Shapleyを紹介する。
  論文  参考訳（メタデータ） (2024-06-16T17:09:24Z)
• Generative Pretrained Hierarchical Transformer for Time Series Forecasting [3.739587363053192]
  予測のための新しい生成事前学習型階層型トランスフォーマーアーキテクチャ,textbfGPHTを提案する。 主流の自己教師付き事前学習モデルと教師付きモデルを用いて,8つのデータセット上で十分な実験を行う。 その結果、GPHTは、従来の長期予測タスクにおいて、様々な微調整およびゼロ/フェーショット学習設定のベースラインモデルを上回ることを示した。
  論文  参考訳（メタデータ） (2024-02-26T11:54:54Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain [54.67888148566323]
  クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。 強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。 これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
  論文  参考訳（メタデータ） (2023-10-08T08:09:51Z)
• A Case for Dataset Specific Profiling [0.9023847175654603]
  データ駆動科学は、科学的な発見が、リッチで規律固有のデータセットに対する計算AIモデルの実行に依存する、新興パラダイムである。 現代的な機械学習フレームワークを使用することで、誰でも科学的応用を可能にするデータに隠された概念を明らかにする計算モデルを開発し、実行することができる。 重要で広く使われているデータセットでは、データセットに対して実行できるすべての計算モデルのパフォーマンスを計算することは、クラウドリソースの点でコストを禁ずる。
  論文  参考訳（メタデータ） (2022-08-01T18:38:05Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。