論文の概要: Generalization Ability of Feature-based Performance Prediction Models: A Statistical Analysis across Benchmarks

• arxiv url: http://arxiv.org/abs/2405.12259v1
• Date: Mon, 20 May 2024 12:39:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 15:17:08.591338
• Title: Generalization Ability of Feature-based Performance Prediction Models: A Statistical Analysis across Benchmarks
• Title（参考訳）: 特徴量に基づく性能予測モデルの一般化能力:ベンチマークによる統計的解析
• Authors: Ana Nikolikj, Ana Kostovska, Gjorgjina Cenikj, Carola Doerr, Tome Eftimov,
• Abstract要約: 本研究では,問題収集の統計的類似性と,探索ランドスケープ解析の特徴に基づく性能予測モデルの精度を比較した。 この2つの尺度には正の相関関係があることが観察された。 具体的には、トレーニングスイートとテストスイート間の高次元特徴値分布に統計的意義が欠如している場合、モデルをうまく一般化する傾向にある。
• 参考スコア（独自算出の注目度）: 5.170967632369504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study examines the generalization ability of algorithm performance prediction models across various benchmark suites. Comparing the statistical similarity between the problem collections with the accuracy of performance prediction models that are based on exploratory landscape analysis features, we observe that there is a positive correlation between these two measures. Specifically, when the high-dimensional feature value distributions between training and testing suites lack statistical significance, the model tends to generalize well, in the sense that the testing errors are in the same range as the training errors. Two experiments validate these findings: one involving the standard benchmark suites, the BBOB and CEC collections, and another using five collections of affine combinations of BBOB problem instances.
• Abstract（参考訳）: 本研究では,アルゴリズム性能予測モデルの各種ベンチマークスイートにおける一般化能力について検討した。 探索ランドスケープ解析の特徴に基づく性能予測モデルの精度と問題収集の統計的類似性を比較すると、これらの2つの指標の間には正の相関関係があることが分かる。 具体的には、トレーニングスイートとテストスイート間の高次元的特徴値分布が統計的に重要でない場合、テストエラーがトレーニングエラーと同じ範囲にあるという意味で、モデルをうまく一般化する傾向にある。 2つの実験により、標準ベンチマークスイート、BBOBおよびCECコレクション、およびBBOB問題インスタンスのアフィン組み合わせの5つのコレクションを使用して、これらの結果が検証された。

関連論文リスト

• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Assessing the Generalizability of a Performance Predictive Model [0.6070952062639761]
  本稿では,アルゴリズム性能の予測モデルの一般化可能性を評価するワークフローを提案する。 その結果,ランドスケープの特徴空間における一般化可能性パターンが性能空間に反映されることが示唆された。
  論文  参考訳（メタデータ） (2023-05-31T12:50:44Z)
• Cross-functional Analysis of Generalisation in Behavioural Learning [4.0810783261728565]
  本稿では,異なるレベルの次元をまたいだ一般化を考慮した行動学習の分析手法であるBluGAを紹介する。 集計スコアは、目に見えない機能(または過剰適合)への一般化を測定する
  論文  参考訳（メタデータ） (2023-05-22T11:54:19Z)
• A Statistical Model for Predicting Generalization in Few-Shot Classification [6.158812834002346]
  一般化誤差を予測するために,特徴分布のガウスモデルを導入する。 提案手法は, 相互検証戦略の離脱など, 代替案よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-13T10:21:15Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Studying Generalization Through Data Averaging [0.0]
  本研究では,異なるデータセットのサンプルに対する差の平均から得られる一般化ギャップと,列車および試験性能について検討する。 我々はSGDノイズの関数として一般化ギャップとモデルトレインとテスト性能の相違についていくつかの側面を予測した。
  論文  参考訳（メタデータ） (2022-06-28T00:03:40Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Optimal regularizations for data generation with probabilistic graphical models [0.0]
  経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。 生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
  論文  参考訳（メタデータ） (2021-12-02T14:45:16Z)
• LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
  コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。 クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。 毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
  論文  参考訳（メタデータ） (2020-10-06T16:42:51Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。