Fugu-MT 論文翻訳(概要): Sharpness-Aware Minimization for Evolutionary Feature Construction in Regression

論文の概要: Sharpness-Aware Minimization for Evolutionary Feature Construction in Regression

arxiv url: http://arxiv.org/abs/2405.06869v1
Date: Sat, 11 May 2024 02:03:11 GMT
ステータス: 処理完了
システム内更新日: 2024-05-14 19:44:41.620205
Title: Sharpness-Aware Minimization for Evolutionary Feature Construction in Regression
Title（参考訳）: 回帰の進化的特徴構築のためのシャープネスを考慮した最小化
Authors: Hengzhe Zhang, Qi Chen, Bing Xue, Wolfgang Banzhaf, Mengjie Zhang,
Abstract要約: 本稿では,関数空間におけるシャープネスを意識した最小化法を用いて,ロバストな性能を示す象徴的特徴を発見することを提案する。 58個の実世界の回帰データセットによる実験結果から,本手法は標準的な進化的特徴構造よりも優れていることが示された。
参考スコア（独自算出の注目度）: 11.760077969729055
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In recent years, genetic programming (GP)-based evolutionary feature construction has achieved significant success. However, a primary challenge with evolutionary feature construction is its tendency to overfit the training data, resulting in poor generalization on unseen data. In this research, we draw inspiration from PAC-Bayesian theory and propose using sharpness-aware minimization in function space to discover symbolic features that exhibit robust performance within a smooth loss landscape in the semantic space. By optimizing sharpness in conjunction with cross-validation loss, as well as designing a sharpness reduction layer, the proposed method effectively mitigates the overfitting problem of GP, especially when dealing with a limited number of instances or in the presence of label noise. Experimental results on 58 real-world regression datasets show that our approach outperforms standard GP as well as six state-of-the-art complexity measurement methods for GP in controlling overfitting. Furthermore, the ensemble version of GP with sharpness-aware minimization demonstrates superior performance compared to nine fine-tuned machine learning and symbolic regression algorithms, including XGBoost and LightGBM.
Abstract（参考訳）: 近年,遺伝子プログラミング(GP)に基づく進化的特徴構築は大きな成功を収めている。しかし、進化的特徴構築における主な課題は、トレーニングデータに過度に適合する傾向にあり、その結果、目に見えないデータに対する一般化が不十分であることである。本研究では,PAC-Bayesian理論からインスピレーションを得て,関数空間におけるシャープネスを考慮した最小化法を提案する。提案手法は,クロスバリデーション損失とともにシャープネスを最適化し,シャープネス低減層を設計することにより,GPの過度化問題を効果的に軽減する。 58個の実世界の回帰データセットによる実験結果から,提案手法はGPのオーバーフィッティング制御における6つの最先端の複雑性測定法よりも優れていることがわかった。さらに、シャープネスを意識したGPのアンサンブルバージョンは、XGBoostやLightGBMを含む9つの微調整機械学習やシンボリック回帰アルゴリズムと比較して、優れた性能を示している。

関連論文リスト

Fast Graph Sharpness-Aware Minimization for Enhancing and Accelerating Few-Shot Node Classification [53.727688136434345]
グラフニューラルネットワーク(GNN)はノード分類において優れた性能を示している。高速グラフシャープネス認識最小化(FGSAM)を提案する。提案アルゴリズムは,FSNCタスクにおいて,計算コストの低い標準SAMよりも優れる。
論文参考訳（メタデータ） (2024-10-22T09:33:29Z)
Haste Makes Waste: A Simple Approach for Scaling Graph Neural Networks [37.41604955004456]
グラフニューラルネットワーク(GNN)はグラフ表現学習において顕著な成功を収めている。 GNNを大規模グラフのアプリケーションに拡張するための様々なサンプリング手法が提案されている。
論文参考訳（メタデータ） (2024-10-07T18:29:02Z)
Regression under demographic parity constraints via unlabeled post-processing [5.762345156477737]
本稿では,人口統計値に合致する予測を生成する汎用ポストプロセッシングアルゴリズムを提案する。我々は凸関数の勾配ノルムを正確に制御する必要がある。提案アルゴリズムは有限サンプル解析と後処理バウンダリによって裏付けられ, 実験結果から理論的知見が得られた。
論文参考訳（メタデータ） (2024-07-22T08:11:58Z)
Reduced Jeffries-Matusita distance: A Novel Loss Function to Improve Generalization Performance of Deep Classification Models [0.0]
本稿では,深層分類モデルの学習における損失関数として,Reduced Jeffries-Matusitaという距離を導入する。その結果、新しい距離測定はトレーニングプロセスを著しく安定化させ、一般化能力を高め、精度とF1スコアの指標におけるモデルの性能を向上させることを示した。
論文参考訳（メタデータ） (2024-03-13T10:51:38Z)
Random Linear Projections Loss for Hyperplane-Based Optimization in Neural Networks [22.348887008547653]
この研究はRandom Linear Projections (RLP)損失を導入し、これはデータ内の幾何学的関係を利用してトレーニング効率を向上させる新しいアプローチである。ベンチマークデータセットと合成例を用いて実施した経験的評価では、従来の損失関数でトレーニングされたニューラルネットワークは、従来の損失関数でトレーニングされたニューラルネットワークよりも優れていたことが示されている。
論文参考訳（メタデータ） (2023-11-21T05:22:39Z)
Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文参考訳（メタデータ） (2023-03-06T14:49:59Z)
Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文参考訳（メタデータ） (2022-07-18T14:23:31Z)
Sharpness-Aware Training for Free [163.1248341911413]
シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
論文参考訳（メタデータ） (2022-05-27T16:32:43Z)
Incremental Ensemble Gaussian Processes [53.3291389385672]
本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
論文参考訳（メタデータ） (2021-10-13T15:11:25Z)
A Flatter Loss for Bias Mitigation in Cross-dataset Facial Age Estimation [37.107335288543624]
年齢推定ベンチマークのためのクロスデータセットプロトコルを提唱する。本稿では,ニューラルネットワークのトレーニングに有効な新しい損失関数を提案する。
論文参考訳（メタデータ） (2020-10-20T15:22:29Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。