論文の概要: Improved identification accuracy in equation learning via comprehensive
$\boldsymbol{R^2}$-elimination and Bayesian model selection
- arxiv url: http://arxiv.org/abs/2311.13265v2
- Date: Mon, 27 Nov 2023 09:40:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 09:59:54.655929
- Title: Improved identification accuracy in equation learning via comprehensive
$\boldsymbol{R^2}$-elimination and Bayesian model selection
- Title（参考訳）: 包括的 $\boldsymbol{R^2}$-elimination による方程式学習における同定精度の向上とベイズモデル選択
- Authors: Daniel Nickelsen and Bubacarr Bah
- Abstract要約: 本稿では、方程式学習における包括性と効率のバランスをとるアプローチを提案する。
段階的回帰から着想を得た我々の手法は、決定係数$R2$とベイズ模型の証拠$p(boldsymbol y|mathcal M)$を新しい方法で組み合わせる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the field of equation learning, exhaustively considering all possible
equations derived from a basis function dictionary is infeasible. Sparse
regression and greedy algorithms have emerged as popular approaches to tackle
this challenge. However, the presence of multicollinearity poses difficulties
for sparse regression techniques, and greedy steps may inadvertently exclude
terms of the true equation, leading to reduced identification accuracy. In this
article, we present an approach that strikes a balance between
comprehensiveness and efficiency in equation learning. Inspired by stepwise
regression, our approach combines the coefficient of determination, $R^2$, and
the Bayesian model evidence, $p(\boldsymbol y|\mathcal M)$, in a novel way. Our
procedure is characterized by a comprehensive search with just a minor
reduction of the model space at each iteration step. With two flavors of our
approach and the adoption of $p(\boldsymbol y|\mathcal M)$ for bi-directional
stepwise regression, we present a total of three new avenues for equation
learning. Through three extensive numerical experiments involving random
polynomials and dynamical systems, we compare our approach against four
state-of-the-art methods and two standard approaches. The results demonstrate
that our comprehensive search approach surpasses all other methods in terms of
identification accuracy. In particular, the second flavor of our approach
establishes an efficient overfitting penalty solely based on $R^2$, which
achieves highest rates of exact equation recovery.
- Abstract（参考訳）: 方程式学習の分野では、基底関数辞書から得られる全ての可能な方程式を徹底的に考慮することは不可能である。
この課題に対処する一般的なアプローチとして,スパース回帰とグリージーアルゴリズムが登場している。
しかし、多重線型性の存在はスパース回帰手法の困難を招き、強欲なステップは真の方程式の項を必然的に排除し、識別精度を低下させる。
本稿では,方程式学習における包括性と効率のバランスをとるアプローチを提案する。
段階的回帰から着想を得た我々の手法は、決定係数$R^2$とベイズ模型の証拠$p(\boldsymbol y|\mathcal M)$を新しい方法で組み合わせる。
本手法は,反復ステップ毎にモデル空間をわずかに縮小した包括的探索によって特徴付けられる。
我々のアプローチの2つのフレーバーと双方向のステップワイズ回帰に$p(\boldsymbol y|\mathcal m)$を採用することで、方程式学習のための3つの新しい方法を提案する。
ランダム多項式と力学系を含む3つの広範な数値実験を通して, 4つの最先端手法と2つの標準手法との比較を行った。
その結果, 包括的探索手法は, 識別精度の点で他の手法よりも優れていることがわかった。
特に,本手法の2つ目のフレーバーは,R^2$のみを基準とした効率の良いオーバーフィッティングペナルティを確立する。
関連論文リスト
- Reinforcement Learning from Human Feedback without Reward Inference: Model-Free Algorithm and Instance-Dependent Analysis [16.288866201806382]
モデルフリーなRLHFベストポリシー識別アルゴリズムである$mathsfBSAD$を、明示的な報酬モデル推論なしで開発する。
アルゴリズムは、人選好情報から直接、その最適方針を後方方向に識別する。
論文 参考訳（メタデータ） (2024-06-11T17:01:41Z) - Deep Generative Symbolic Regression [83.04219479605801]
記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。
既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。
本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
論文 参考訳（メタデータ） (2023-12-30T17:05:31Z) - Oracle Complexity Reduction for Model-free LQR: A Stochastic
Variance-Reduced Policy Gradient Approach [4.422315636150272]
離散時間線形擬似レギュレータ(LQR)問題に対する$epsilon$-approximateソリューションの学習問題について検討する。
本手法は,二ループ分散推定アルゴリズムにおいて,一点推定と二点推定を併用する。
論文 参考訳（メタデータ） (2023-09-19T15:03:18Z) - Improving Sample Efficiency of Model-Free Algorithms for Zero-Sum Markov Games [66.2085181793014]
モデルフリーのステージベースQ-ラーニングアルゴリズムはモデルベースアルゴリズムと同じ$H$依存の最適性を享受できることを示す。
本アルゴリズムは,楽観的値関数と悲観的値関数のペアとして参照値関数を更新するキーとなる新しい設計を特徴とする。
論文 参考訳（メタデータ） (2023-08-17T08:34:58Z) - Learning High-Dimensional Nonparametric Differential Equations via
Multivariate Occupation Kernel Functions [0.31317409221921133]
通常の微分方程式の非パラメトリック系を学ぶには、$d$変数の$d$関数を学ぶ必要がある。
明示的な定式化は、スパーシティや対称性といったシステム特性に関する追加の知識が得られない限り、$d$で2次的にスケールする。
本稿では,ベクトル値の再現Kernel Hilbert Spacesによる暗黙の定式化を用いた線形学習手法を提案する。
論文 参考訳（メタデータ） (2023-06-16T21:49:36Z) - Retire: Robust Expectile Regression in High Dimensions [3.9391041278203978]
ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。
我々は,頑健な期待回帰(退職)を提案し,研究する。
提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
論文 参考訳（メタデータ） (2022-12-11T18:03:12Z) - Vector-Valued Least-Squares Regression under Output Regularity
Assumptions [73.99064151691597]
最小二乗回帰問題を無限次元出力で解くために,還元ランク法を提案し,解析する。
提案手法の学習バウンダリを導出し、フルランク手法と比較して統計的性能の設定を改善する研究を行う。
論文 参考訳（メタデータ） (2022-11-16T15:07:00Z) - Breaking the Sample Complexity Barrier to Regret-Optimal Model-Free
Reinforcement Learning [52.76230802067506]
漸進的強化学習における後悔を最小限に抑えるために,新しいモデルフリーアルゴリズムを提案する。
提案アルゴリズムは、2つのQ-ラーニングシーケンスの助けを借りて、初期設定された参照更新ルールを用いる。
初期の分散還元法の設計原理は、他のRL設定とは独立した関心を持つかもしれない。
論文 参考訳（メタデータ） (2021-10-09T21:13:48Z) - Neural Symbolic Regression that Scales [58.45115548924735]
本稿では,大規模事前学習を利用した最初の記号回帰手法を提案する。
我々は,非有界な方程式の集合を手続き的に生成し,同時にインプット・アウトプット・ペアの集合からシンボル方程式を予測するためにトランスフォーマーを事前訓練する。
論文 参考訳（メタデータ） (2021-06-11T14:35:22Z) - Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。
そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。
勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文 参考訳（メタデータ） (2020-06-04T21:51:21Z) - An implicit function learning approach for parametric modal regression [36.568208312835196]
我々は暗黙の関数定理を用いて目的を定め、入力や目標に対する合同関数を学習する。
提案手法は,多値関数を学習し,条件付きモードを生成できる,いくつかの合成問題を実証的に実証する。
論文 参考訳（メタデータ） (2020-02-14T00:37:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。