論文の概要: Enhancing Generalization in Evolutionary Feature Construction for Symbolic Regression through Vicinal Jensen Gap Minimization
- arxiv url: http://arxiv.org/abs/2602.01510v1
- Date: Mon, 02 Feb 2026 00:46:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-03 19:28:33.824639
- Title: Enhancing Generalization in Evolutionary Feature Construction for Symbolic Regression through Vicinal Jensen Gap Minimization
- Title(参考訳): ビシナルジェンセンギャップ最小化によるシンボル回帰の進化的特徴構築における一般化の促進
- Authors: Hengzhe Zhang, Qi Chen, Bing Xue, Wolfgang Banzhaf, Mengjie Zhang,
- Abstract要約: ノイズの摂動やミックスアップに基づくデータ拡張によって推定されるビシナルリスクは,経験的リスクと正規化期間の合計によって制限されていることを実証する。
オーバーフィッティングを制御するために,経験的リスクとヴィジナルジェンセンギャップを共同で最適化する進化的特徴構築フレームワークを提案する。
- 参考スコア(独自算出の注目度): 12.661617807948558
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Genetic programming-based feature construction has achieved significant success in recent years as an automated machine learning technique to enhance learning performance. However, overfitting remains a challenge that limits its broader applicability. To improve generalization, we prove that vicinal risk, estimated through noise perturbation or mixup-based data augmentation, is bounded by the sum of empirical risk and a regularization term-either finite difference or the vicinal Jensen gap. Leveraging this decomposition, we propose an evolutionary feature construction framework that jointly optimizes empirical risk and the vicinal Jensen gap to control overfitting. Since datasets may vary in noise levels, we develop a noise estimation strategy to dynamically adjust regularization strength. Furthermore, to mitigate manifold intrusion-where data augmentation may generate unrealistic samples that fall outside the data manifold-we propose a manifold intrusion detection mechanism. Experimental results on 58 datasets demonstrate the effectiveness of Jensen gap minimization compared to other complexity measures. Comparisons with 15 machine learning algorithms further indicate that genetic programming with the proposed overfitting control strategy achieves superior performance.
- Abstract(参考訳): 遺伝的プログラミングに基づく特徴構築は,近年,学習性能を向上させる自動機械学習技術として大きな成功を収めている。
しかし、オーバーフィッティングは適用範囲を限定する課題である。
一般化を改善するために,ノイズの摂動や混合に基づくデータ拡張によって推定されるビシナルリスクは,経験的リスクの和と,有限差分あるいはビシナルジェンセンギャップの正則化項の和で束縛されていることを証明した。
この分解を生かして、経験的リスクとシチナルジェンセンギャップを協調的に最適化し、オーバーフィッティングを制御する進化的特徴構築フレームワークを提案する。
データセットはノイズレベルが異なる可能性があるため,正規化強度を動的に調整するノイズ推定戦略を開発する。
さらに,データ拡大時の多様体侵入を緩和するために,データ多様体の外に落下する非現実的なサンプルを生成する可能性があり,多様体侵入検出機構を提案する。
58のデータセットに対する実験結果から,他の複雑性指標と比較して,Jensenギャップ最小化の有効性が示された。
さらに、15の機械学習アルゴリズムとの比較により、提案したオーバーフィッティング制御戦略による遺伝的プログラミングが優れた性能を達成することを示す。
関連論文リスト
- Towards Robust Universal Perturbation Attacks: A Float-Coded, Penalty-Driven Evolutionary Approach [10.211523683826004]
UAP(Universal Adversarial noise perturbations)は、ディープニューラルネットワークを弱体化させる能力によって、大きな注目を集めている。
このような摂動を生成するための単一目的駆動型フレームワークを導入する。
筆者らのフレームワークは, 従来手法に比べて, サイズが小さく, 誤分類効率が高く, 高速な摂動を常に生成している。
論文 参考訳(メタデータ) (2026-01-18T23:31:12Z) - Improving Deepfake Detection with Reinforcement Learning-Based Adaptive Data Augmentation [60.04281435591454]
CRDA(Curriculum Reinforcement-Learning Data Augmentation)は、マルチドメインの偽造機能を段階的にマスターするための検出器を導く新しいフレームワークである。
私たちのアプローチの中心は、強化学習と因果推論を統合することです。
提案手法は検出器の一般化性を大幅に向上し,複数のクロスドメインデータセット間でSOTA法より優れている。
論文 参考訳(メタデータ) (2025-11-10T12:45:52Z) - iTool: Reinforced Fine-Tuning with Dynamic Deficiency Calibration for Advanced Tool Use [56.31110409360567]
大規模な言語モデルを外部ツールで拡張することは、その機能を強化するための有望なアプローチである。
その結果, 合成データの増加に伴い, トレーニングは著しく低下することがわかった。
我々は,この制限を緩和するために,反復的に強化された微調整戦略を提案する。
論文 参考訳(メタデータ) (2025-01-15T04:52:34Z) - Large-Scale Targeted Cause Discovery via Learning from Simulated Data [66.51307552703685]
本稿では,観測結果から対象変数の因果変数を推定する機械学習手法を提案する。
我々は、シミュレートされたデータに基づいて教師あり学習を用いてニューラルネットワークを訓練し、因果関係を推定する。
大規模遺伝子制御ネットワークにおける因果関係の同定に優れた性能を示す実験結果が得られた。
論文 参考訳(メタデータ) (2024-08-29T02:21:11Z) - The Risk of Federated Learning to Skew Fine-Tuning Features and
Underperform Out-of-Distribution Robustness [50.52507648690234]
フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。
3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。
提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
論文 参考訳(メタデータ) (2024-01-25T09:18:51Z) - An Integrative Paradigm for Enhanced Stroke Prediction: Synergizing
XGBoost and xDeepFM Algorithms [1.064427783926208]
本稿では,XGBoostとxDeepFMアルゴリズムのパワーを組み合わせたアンサンブルモデルを提案する。
本研究の目的は,既存のストローク予測モデルの改良であり,精度とロバスト性の向上である。
論文 参考訳(メタデータ) (2023-10-25T07:55:02Z) - Distributionally Robust Model-based Reinforcement Learning with Large
State Spaces [55.14361269378122]
強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。
広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。
本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
論文 参考訳(メタデータ) (2023-09-05T13:42:11Z) - Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル
GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。
本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
論文 参考訳(メタデータ) (2023-04-22T15:32:59Z) - Genetic Imitation Learning by Reward Extrapolation [6.340280403330784]
我々は,遺伝的アルゴリズムと模倣学習を統合したGenILという手法を提案する。
遺伝的アルゴリズムの関与は、様々なリターンで軌道を再現することで、データ効率を向上させる。
我々はAtariドメインとMujocoドメインの両方でGenILをテストし、その結果、以前の手法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2023-01-03T14:12:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。