論文の概要: Regression modelling with I-priors

• arxiv url: http://arxiv.org/abs/2007.15766v3
• Date: Mon, 14 Sep 2020 11:54:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-05 14:51:12.080295
• Title: Regression modelling with I-priors
• Title（参考訳）: I-priorsによる回帰モデリング
• Authors: Wicher Bergsma and Haziq Jamil
• Abstract要約: 我々は、様々な回帰モデルを推定するための統一フレームワークとして、I-priorの方法論を紹介します。 I-プライアーは、回帰関数の線形汎関数上でより多くの情報が利用できるほど、先行分散が大きくなり、先行平均が後部分布に与える影響が小さくなるという直感的に魅力的である。
• 参考スコア（独自算出の注目度）: 0.571097144710995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce the I-prior methodology as a unifying framework for estimating a variety of regression models, including varying coefficient, multilevel, longitudinal models, and models with functional covariates and responses. It can also be used for multi-class classification, with low or high dimensional covariates. The I-prior is generally defined as a maximum entropy prior. For a regression function, the I-prior is Gaussian with covariance kernel proportional to the Fisher information on the regression function, which is estimated by its posterior distribution under the I-prior. The I-prior has the intuitively appealing property that the more information is available on a linear functional of the regression function, the larger the prior variance, and the smaller the influence of the prior mean on the posterior distribution. Advantages compared to competing methods, such as Gaussian process regression or Tikhonov regularization, are ease of estimation and model comparison. In particular, we develop an EM algorithm with a simple E and M step for estimating hyperparameters, facilitating estimation for complex models. We also propose a novel parsimonious model formulation, requiring a single scale parameter for each (possibly multidimensional) covariate and no further parameters for interaction effects. This simplifies estimation because fewer hyperparameters need to be estimated, and also simplifies model comparison of models with the same covariates but different interaction effects; in this case, the model with the highest estimated likelihood can be selected. Using a number of widely analyzed real data sets we show that predictive performance of our methodology is competitive. An R-package implementing the methodology is available (Jamil, 2019).
• Abstract（参考訳）: I-prior法は,様々な係数,多レベル,縦長,関数共変量と応答を持つモデルなど,さまざまな回帰モデルを推定するための統一フレームワークとして導入する。 また、低次元または高次元の共変量を持つ多クラス分類にも用いられる。 I-プライアーは一般に最大エントロピーとして定義される。 回帰関数に対して、i-prior は、i-prior 下の後方分布から推定される回帰関数のフィッシャー情報に比例する共分散核を持つガウス型である。 I-プライアーは、回帰関数の線形汎関数上でより多くの情報が利用できるほど、先行分散が大きくなり、先行平均が後部分布に与える影響が小さくなるという直感的に魅力的である。 ガウス過程回帰やチコノフ正則化のような競合する手法と比較しての利点は、推定とモデル比較の容易さである。 特に,超パラメータを推定するための単純なEとMステップを持つEMアルゴリズムを開発し,複素モデルの推定を容易にする。 また、各(多次元)共変量に対して1つのスケールパラメータが必要であり、相互作用効果のさらなるパラメータは不要である。 これは、より少ないハイパーパラメータを推定する必要があるため、見積もりを単純化し、同じ共変量を持つモデルのモデル比較を単純化するが、相互作用効果が異なるため、この場合、推定された推定値が最も高いモデルを選択することができる。 広く分析された実データを用いて、我々の方法論の予測性能は競争的であることを示した。 この方法論を実装するRパッケージが提供されている(Jamil, 2019)。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Solving Inverse Problems with Model Mismatch using Untrained Neural Networks within Model-based Architectures [14.551812310439004]
  モデルベースアーキテクチャでは,各インスタンスの計測領域におけるデータの一貫性を一致させるために,トレーニングされていないフォワードモデル残差ブロックを導入する。 提案手法は,パラメータ感受性が低く,追加データを必要としない統一解を提供し,前方モデルの同時適用と1パスの再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-07T19:02:13Z)
• Multi-Response Heteroscedastic Gaussian Process Models and Their Inference [1.52292571922932]
  本稿ではヘテロセダスティック共分散関数のモデリングのための新しいフレームワークを提案する。 後部モデルに近似し, 後部予測モデルを容易にするために, 変分推論を用いる。 提案するフレームワークは,幅広いアプリケーションに対して,堅牢で汎用的なツールを提供する。
  論文  参考訳（メタデータ） (2023-08-29T15:06:47Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Time varying regression with hidden linear dynamics [74.9914602730208]
  線形力学系に従って未知のパラメータが進化することを前提とした時間変化線形回帰モデルを再検討する。 反対に、基礎となる力学が安定である場合、このモデルのパラメータは2つの通常の最小二乗推定と組み合わせることで、データから推定できることが示される。
  論文  参考訳（メタデータ） (2021-12-29T23:37:06Z)
• A Variational Inference Approach to Inverse Problems with Gamma Hyperpriors [60.489902135153415]
  本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。 提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
  論文  参考訳（メタデータ） (2021-11-26T06:33:29Z)
• MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
  シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。 あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。 モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:59:16Z)
• Towards a Better Understanding of Linear Models for Recommendation [28.422943262159933]
  2つの基本回帰および行列分解法に対する閉形式解の導出と解析を行う。 閉形式解に対するパラメータ(ハイパーパラメータ)の探索に新しい学習アルゴリズムを導入する。 実験の結果、基本モデルとその閉形式解は、確かに最先端モデルと非常に競合することを示した。
  論文  参考訳（メタデータ） (2021-05-27T04:17:04Z)
• Gaussian Process Models with Low-Rank Correlation Matrices for Both Continuous and Categorical Inputs [0.0]
  混合連続および分類ガウス過程モデルにおけるクロス相関行列の低ランク近似を用いた手法を提案する。 低ランク相関(LRC)は、近似の適切なランクを選択することで、問題のパラメータの数に柔軟に適応する能力を提供する。
  論文  参考訳（メタデータ） (2020-10-06T09:38:35Z)
• Estimation of Switched Markov Polynomial NARX models [75.91002178647165]
  非線形自己回帰(NARX)成分を特徴とするハイブリッド力学系のモデル群を同定する。 提案手法は, 特定の回帰器を持つ3つの非線形サブモデルからなるSMNARX問題に対して実証される。
  論文  参考訳（メタデータ） (2020-09-29T15:00:47Z)
• Bayesian System ID: Optimal management of parameter, model, and measurement uncertainty [0.0]
  システム識別(ID)の確率的定式化の頑健さを,スパース,ノイズ,間接データに対して評価した。 従来手法の目的関数面と比較して,ログ後部は幾何学的特性が向上したことを示す。
  論文  参考訳（メタデータ） (2020-03-04T22:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。