論文の概要: Flexible Bayesian Nonlinear Model Configuration
- arxiv url: http://arxiv.org/abs/2003.02929v2
- Date: Tue, 23 Nov 2021 11:15:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 07:02:06.429380
- Title: Flexible Bayesian Nonlinear Model Configuration
- Title（参考訳）: フレキシブルベイズ非線形モデル構成
- Authors: Aliaksandr Hubin, Geir Storvik, Florian Frommlet
- Abstract要約: 線形あるいは単純なパラメトリックモデルはしばしば入力変数と応答の間の複雑な関係を記述するのに十分ではない。
高いフレキシブルな非線形パラメトリック回帰モデルの構築と選択に柔軟なアプローチを導入する。
遺伝的に修飾されたモードジャンプチェーンモンテカルロアルゴリズムを用いてベイズ推論を行う。
- 参考スコア（独自算出の注目度）: 10.865434331546126
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Regression models are used in a wide range of applications providing a
powerful scientific tool for researchers from different fields. Linear, or
simple parametric, models are often not sufficient to describe complex
relationships between input variables and a response. Such relationships can be
better described through flexible approaches such as neural networks, but this
results in less interpretable models and potential overfitting. Alternatively,
specific parametric nonlinear functions can be used, but the specification of
such functions is in general complicated. In this paper, we introduce a
flexible approach for the construction and selection of highly flexible
nonlinear parametric regression models. Nonlinear features are generated
hierarchically, similarly to deep learning, but have additional flexibility on
the possible types of features to be considered. This flexibility, combined
with variable selection, allows us to find a small set of important features
and thereby more interpretable models. Within the space of possible functions,
a Bayesian approach, introducing priors for functions based on their
complexity, is considered. A genetically modified mode jumping Markov chain
Monte Carlo algorithm is adopted to perform Bayesian inference and estimate
posterior probabilities for model averaging. In various applications, we
illustrate how our approach is used to obtain meaningful nonlinear models.
Additionally, we compare its predictive performance with several machine
learning algorithms.
- Abstract（参考訳）: 回帰モデルは様々な分野の研究者に強力な科学的ツールを提供する幅広いアプリケーションで使われている。
線形あるいは単純なパラメトリックモデルはしばしば入力変数と応答の間の複雑な関係を記述するのに十分ではない。
このような関係性は、ニューラルネットワークのような柔軟なアプローチによってよりよく説明できるが、解釈可能なモデルや潜在的な過度なオーバーフィッティングをもたらす。
あるいは、特定のパラメトリック非線形関数を用いることもできるが、そのような関数の仕様は一般に複雑である。
本稿では,高フレキシブルな非線形パラメトリック回帰モデルの構築と選択のための柔軟なアプローチを提案する。
非線形機能はディープラーニングと同様に階層的に生成されるが、考慮すべき機能のタイプには柔軟性がある。
この柔軟性と変数の選択を組み合わせることで、より重要な機能の小さなセットを見つけ、より解釈可能なモデルを作ることができます。
可能な函数の空間内では、その複雑性に基づいて関数の事前を導入するベイズ的アプローチが考慮される。
遺伝的に修正されたモードジャンプマルコフ連鎖モンテカルロアルゴリズムを用いてベイズ推定を行い、モデル平均化の後方確率を推定する。
様々な応用において,本手法を用いて意味のある非線形モデルを得る方法について述べる。
さらに,その予測性能を複数の機械学習アルゴリズムと比較した。
関連論文リスト
- Shape Arithmetic Expressions: Advancing Scientific Discovery Beyond Closed-Form Equations [56.78271181959529]
GAM(Generalized Additive Models)は、変数とターゲットの間の非線形関係をキャプチャできるが、複雑な特徴相互作用をキャプチャすることはできない。
本稿では,GAMのフレキシブルな形状関数と,数学的表現に見られる複雑な特徴相互作用を融合させる形状表現算術(SHARE)を提案する。
また、標準制約を超えた表現の透明性を保証するSHAREを構築するための一連のルールを設計する。
論文 参考訳（メタデータ） (2024-04-15T13:44:01Z) - RUMBoost: Gradient Boosted Random Utility Models [0.0]
RUMBoostモデルは、ランダムユーティリティモデル(RUM)の解釈可能性と行動的堅牢性と、ディープラーニング手法の一般化と予測能力を組み合わせる。
本稿では,RUMBoostモデルとMLおよびRandom Utilityベンチマークモデルとの比較を行い,ロンドンの選好モード選択データについて検討した。
論文 参考訳（メタデータ） (2024-01-22T13:54:26Z) - The Contextual Lasso: Sparse Linear Models via Deep Neural Networks [5.607237982617641]
本研究では,空間的特徴の関数として空間的パターンと係数が変化するような説明的特徴に疎線形モデルに適合する新しい統計的推定器を開発する。
実データと合成データに関する広範な実験は、学習されたモデルは、非常に透明であり、通常のラッソよりもスペーサーであることを示している。
論文 参考訳（メタデータ） (2023-02-02T05:00:29Z) - Constructing Effective Machine Learning Models for the Sciences: A
Multidisciplinary Perspective [77.53142165205281]
線形回帰モデルに変数間の変換や相互作用を手動で追加することで、非線形解が必ずしも改善されないことを示す。
データ駆動モデルを構築する前にこれを認識する方法や、そのような分析が本質的に解釈可能な回帰モデルへの移行にどのように役立つかについて議論する。
論文 参考訳（メタデータ） (2022-11-21T17:48:44Z) - Variational Hierarchical Mixtures for Probabilistic Learning of Inverse
Dynamics [20.953728061894044]
適切に校正された確率回帰モデルは、データセットが急速に成長し、タスクがより複雑になるにつれて、ロボットアプリケーションにおいて重要な学習要素である。
計算効率のよい表現と計算複雑性の正規化を両世界の利点と組み合わせた確率論的階層的モデリングパラダイムを考察する。
これらの表現を学習するための2つの効率的な変分推論手法を導出し、階層的無限局所回帰モデルの利点を強調する。
論文 参考訳（メタデータ） (2022-11-02T13:54:07Z) - Decoupling multivariate functions using a nonparametric filtered tensor
decomposition [0.29360071145551075]
疎結合技術は、非線形性の代替表現を提供することを目的としている。
いわゆる疎結合形式はしばしば、高度に構造化され、解釈可能性を好む一方で、関係のより効率的なパラメータ化である。
本研究では, 1次微分情報のフィルタテンソル分解に基づく2つの新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-23T09:34:17Z) - Scalable Bayesian Network Structure Learning with Splines [2.741266294612776]
ベイズネットワーク(英: Bayesian Network, BN)は、有向非巡回グラフ(DAG)からなる確率的グラフィカルモデルである。
本稿では,BNのグローバルDAG構造を学習し,変数間の線形および非線形な局所関係をモデル化する新しい手法を提案する。
論文 参考訳（メタデータ） (2021-10-27T17:54:53Z) - Model-agnostic multi-objective approach for the evolutionary discovery
of mathematical models [55.41644538483948]
現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。
合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
論文 参考訳（メタデータ） (2021-07-07T11:17:09Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Bilinear Classes: A Structural Framework for Provable Generalization in
RL [119.42509700822484]
Bilinear Classesは強化学習の一般化を可能にする新しい構造フレームワークである。
このフレームワークは、サンプルの複雑さが達成可能な、ほとんどすべての既存のモデルを取り込んでいる。
我々の主な成果は、双線形クラスのためのサンプル複雑性を持つRLアルゴリズムである。
論文 参考訳（メタデータ） (2021-03-19T16:34:20Z) - Hessian Eigenspectra of More Realistic Nonlinear Models [73.31363313577941]
私たちは、非線形モデルの広いファミリーのためのヘッセン固有スペクトルの言語的特徴付けを行います。
我々の分析は、より複雑な機械学習モデルで観察される多くの顕著な特徴の起源を特定するために一歩前進する。
論文 参考訳（メタデータ） (2021-03-02T06:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。