論文の概要: Alleviating Overfitting in Transformation-Interaction-Rational Symbolic Regression with Multi-Objective Optimization
- arxiv url: http://arxiv.org/abs/2501.01905v1
- Date: Fri, 03 Jan 2025 17:21:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-06 15:11:15.871585
- Title: Alleviating Overfitting in Transformation-Interaction-Rational Symbolic Regression with Multi-Objective Optimization
- Title（参考訳）: 多目的最適化を用いた変換-相互作用-関係的シンボリック回帰におけるオーバーフィッティングの軽減
- Authors: Fabricio Olivetti de Franca,
- Abstract要約: 変換-相互作用-関係表現を用いた遺伝的プログラミングの性能は、前者よりも大幅に向上した。
我々は、多目的最適化、特にNSGA-IIアルゴリズムをサポートするために変換-相互作用-Rationalを拡張し、それを同じベンチマークに適用する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: The Transformation-Interaction-Rational is a representation for symbolic regression that limits the search space of functions to the ratio of two nonlinear functions each one defined as the linear regression of transformed variables. This representation has the main objective to bias the search towards simpler expressions while keeping the approximation power of standard approaches. The performance of using Genetic Programming with this representation was substantially better than with its predecessor (Interaction-Transformation) and ranked close to the state-of-the-art on a contemporary Symbolic Regression benchmark. On a closer look at these results, we observed that the performance could be further improved with an additional selective pressure for smaller expressions when the dataset contains just a few data points. The introduction of a penalization term applied to the fitness measure improved the results on these smaller datasets. One problem with this approach is that it introduces two additional hyperparameters: i) a criteria to when the penalization should be activated and, ii) the amount of penalization to the fitness function. In this paper, we extend Transformation-Interaction-Rational to support multi-objective optimization, specifically the NSGA-II algorithm, and apply that to the same benchmark. A detailed analysis of the results show that the use of multi-objective optimization benefits the overall performance on a subset of the benchmarks while keeping the results similar to the single-objective approach on the remainder of the datasets. Specifically to the small datasets, we observe a small (and statistically insignificant) improvement of the results suggesting that further strategies must be explored.
- Abstract（参考訳）: 変換-相互作用-Rational(英: Transformation-Interaction-Rational)は、関数の探索空間を変換変数の線形回帰として定義した2つの非線形関数の比に制限する記号回帰の表現である。
この表現は、標準的なアプローチの近似力を保ちながら、より単純な表現への探索をバイアスする主な目的を持っている。
この表現を用いた遺伝的プログラミングの性能は、前者(Interaction-Transformation)よりも大幅に向上し、同時代のシンボリック回帰ベンチマークで最先端にランク付けされた。
これらの結果をより詳しく見てみると、データセットに数個のデータポイントしか含まれていない場合、より小さな表現に選択的な圧力を加えることで、パフォーマンスがさらに向上する可能性があることが分かる。
適合度測定に適用されたペナル化項の導入により、これらの小さなデータセットの結果が改善された。
このアプローチの1つの問題は、2つの追加のハイパーパラメータを導入することである。
一 罰則の発効時期及び効力の基準
二 フィットネス機能に対する罰則の量
本稿では,多目的最適化,特にNSGA-IIアルゴリズムをサポートするためにTransform-Interaction-Rationalを拡張し,同じベンチマークに適用する。
結果の詳細な分析により、マルチオブジェクト最適化を使用することで、ベンチマークのサブセットでの全体的なパフォーマンスが向上し、残りのデータセットでのシングルオブジェクトアプローチと同じような結果が得られることが示された。
具体的には、小さなデータセットに対して、結果の小さな(そして統計的に重要でない)改善を観察し、さらなる戦略を探求する必要があることを示唆する。
関連論文リスト
- Interpolation pour l'augmentation de donnees : Application à la gestion des adventices de la canne a sucre a la Reunion [10.945947159224302]
本研究では,ジオレファレンスデータの拡張手法について検討する。
ラ・ルエニオンにおけるサトウキビのプロットにおけるコメリナ・ベンガルシス L. の存在を予測することを目的としている。
論文 参考訳（メタデータ） (2025-01-10T11:02:13Z) - Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。
本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。
両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
論文 参考訳（メタデータ） (2024-06-12T08:30:16Z) - Distributed High-Dimensional Quantile Regression: Estimation Efficiency and Support Recovery [0.0]
我々は高次元線形量子レグレッションのための分散推定とサポート回復に焦点をあてる。
元の量子レグレッションを最小二乗最適化に変換する。
効率的なアルゴリズムを開発し、高い計算と通信効率を享受する。
論文 参考訳（メタデータ） (2024-05-13T08:32:22Z) - Nonlinear Feature Aggregation: Two Algorithms driven by Theory [45.3190496371625]
現実世界の機械学習アプリケーションは、膨大な機能によって特徴付けられ、計算やメモリの問題を引き起こす。
一般集約関数を用いて特徴量の非線形変換を集約する次元還元アルゴリズム(NonLinCFA)を提案する。
また、アルゴリズムを合成および実世界のデータセット上でテストし、回帰および分類タスクを実行し、競合性能を示す。
論文 参考訳（メタデータ） (2023-06-19T19:57:33Z) - Understanding Augmentation-based Self-Supervised Representation Learning
via RKHS Approximation and Regression [53.15502562048627]
最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。
この研究は、増強に基づく事前訓練の統計的分析に発展する。
論文 参考訳（メタデータ） (2023-06-01T15:18:55Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-06T14:49:59Z) - Improving Out-of-Distribution Generalization of Neural Rerankers with
Contextualized Late Interaction [52.63663547523033]
マルチベクトルの最も単純な形式である後期相互作用は、[]ベクトルのみを使用して類似度スコアを計算する神経リランカにも役立ちます。
異なるモデルサイズと多様な性質の第一段階のレトリバーに一貫性があることが示される。
論文 参考訳（メタデータ） (2023-02-13T18:42:17Z) - Complexity Measures for Multi-objective Symbolic Regression [2.4087148947930634]
多目的的シンボリック回帰は、学習したモデルの精度が最大化される一方で、その複雑さが自動的に適応されるという利点がある。
NSGA-IIを用いて多目的最適化を行う場合, シンボリック回帰においてどの複雑性尺度が最適に使用されるかを検討する。
論文 参考訳（メタデータ） (2021-09-01T08:22:41Z) - Instance-Level Relative Saliency Ranking with Graph Reasoning [126.09138829920627]
そこで本研究では,有意な事例を分割し,相対的有意な有意なランク順序を推定するための統一モデルを提案する。
また、サラレンシーランキングブランチを効果的にトレーニングするために、新しい損失関数も提案されている。
実験の結果,提案手法は従来の手法よりも有効であることがわかった。
論文 参考訳（メタデータ） (2021-07-08T13:10:42Z) - InverseForm: A Loss Function for Structured Boundary-Aware Segmentation [80.39674800972182]
逆変換ネットワークを用いたセマンティックセグメンテーションのための新しい境界認識損失項を提案する。
このプラグイン損失項は境界変換の捕捉におけるクロスエントロピー損失を補完する。
室内および屋外のセグメンテーションベンチマークにおける損失関数の定量的および定性的効果を解析した。
論文 参考訳（メタデータ） (2021-04-06T18:52:45Z) - Piecewise linear regression and classification [0.20305676256390928]
本稿では,線形予測器を用いた多変量回帰と分類問題の解法を提案する。
本論文で記述されたアルゴリズムのpython実装は、http://cse.lab.imtlucca.it/bemporad/parcで利用可能である。
論文 参考訳（メタデータ） (2021-03-10T17:07:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。