論文の概要: Relevance Vector Machine with Weakly Informative Hyperprior and Extended Predictive Information Criterion

• arxiv url: http://arxiv.org/abs/2005.03419v1
• Date: Thu, 7 May 2020 12:37:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 22:39:27.915518
• Title: Relevance Vector Machine with Weakly Informative Hyperprior and Extended Predictive Information Criterion
• Title（参考訳）: 弱情報ハイパープライアーと拡張予測情報基準を備えた関連ベクトルマシン
• Authors: Kazuaki. Murayama and Shuichi. Kawano
• Abstract要約: ゼロに近い形状パラメータとゼロに近づかないスケールパラメータを持つ逆ガンマハイパープラーを提案する。 この超高次効果は、非均一データへの回帰を通じて研究される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the variational relevance vector machine, the gamma distribution is representative as a hyperprior over the noise precision of automatic relevance determination prior. Instead of the gamma hyperprior, we propose to use the inverse gamma hyperprior with a shape parameter close to zero and a scale parameter not necessary close to zero. This hyperprior is associated with the concept of a weakly informative prior. The effect of this hyperprior is investigated through regression to non-homogeneous data. Because it is difficult to capture the structure of such data with a single kernel function, we apply the multiple kernel method, in which multiple kernel functions with different widths are arranged for input data. We confirm that the degrees of freedom in a model is controlled by adjusting the scale parameter and keeping the shape parameter close to zero. A candidate for selecting the scale parameter is the predictive information criterion. However the estimated model using this criterion seems to cause over-fitting. This is because the multiple kernel method makes the model a situation where the dimension of the model is larger than the data size. To select an appropriate scale parameter even in such a situation, we also propose an extended prediction information criterion. It is confirmed that a multiple kernel relevance vector regression model with good predictive accuracy can be obtained by selecting the scale parameter minimizing extended prediction information criterion.
• Abstract（参考訳）: 変分関連ベクトルマシンにおいて、ガンマ分布は、前述した自動関連判定のノイズ精度よりも高優先度として表される。 ガンマハイパープリオールの代わりに、ゼロに近い形状パラメータとゼロに近いスケールパラメータを持つ逆ガンマハイパープリオールを用いることを提案する。 このハイパープライアーは弱い情報量優先の概念と関係している。 この超高次効果は、非均一データへの回帰を通じて研究される。 このようなデータの構造を単一のカーネル関数で捉えることは困難であるため、入力データに対して異なる幅の複数のカーネル関数を配置する多重カーネル法を適用する。 モデル内の自由度は、スケールパラメータを調整し、形状パラメータをゼロにすることで制御されることを確認した。 スケールパラメータを選択する候補は、予測情報基準である。 しかし、この基準を用いた推定モデルは過度な適合を引き起こすと思われる。 これは、多重カーネル法によってモデルのサイズがデータサイズよりも大きい状況になるためである。 このような状況でも適切なスケールパラメータを選択するために,拡張予測情報基準を提案する。 拡張予測情報基準を最小化するスケールパラメータを選択することにより、予測精度の良い多重カーネル関連ベクトル回帰モデルが得られることを確認した。

関連論文リスト

• Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
  我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。 この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
  論文  参考訳（メタデータ） (2024-11-01T21:11:48Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• Overparameterized Multiple Linear Regression as Hyper-Curve Fitting [0.0]
  線形モデルは, モデル仮定に反する非線形依存が存在する場合でも, 正確な予測を生成することが証明された。 ハイパーカーブのアプローチは、予測変数のノイズに関する問題を正規化するのに特に適しており、モデルからノイズや「不適切な」予測子を取り除くのに使うことができる。
  論文  参考訳（メタデータ） (2024-04-11T15:43:11Z)
• Should We Learn Most Likely Functions or Parameters? [51.133793272222874]
  モデルとデータによって示唆される最も可能性の高い関数を直接推定する利点と欠点について検討する。 関数空間MAP推定は, より平坦な最小化, 一般化, オーバーフィッティングの改善につながる可能性がある。
  論文  参考訳（メタデータ） (2023-11-27T16:39:55Z)
• Implicit Manifold Gaussian Process Regression [49.0787777751317]
  ガウス過程の回帰は、よく校正された不確実性推定を提供するために広く用いられている。 これは、データが実際に存在する暗黙の低次元多様体のため、高次元データに苦しむ。 本稿では,データ(ラベル付きおよびラベルなし)から直接暗黙構造を完全に微分可能な方法で推定できる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T09:52:48Z)
• Error Bounds for Kernel-Based Linear System Identification with Unknown Hyperparameters [0.38073142980733]
  カーネルベースの手法は、安定なカーネル設計を用いた線形システム同定に成功している。 ガウス過程から、同定されたモデルに対する確率的誤差境界が自動的に提供される。
  論文  参考訳（メタデータ） (2023-03-17T08:52:16Z)
• Scale invariant process regression [0.0]
  本稿では,カーネル,長さスケール,分散,事前平均の指定を必要としない新しい回帰手法を提案する。 実験の結果,正規性とスケール・アンド・トランスフォーメーションの不変性のみを仮定することで,作業機械学習手法の導出が可能であることが示唆された。
  論文  参考訳（メタデータ） (2022-08-22T17:32:33Z)
• Bandwidth Selection for Gaussian Kernel Ridge Regression via Jacobian Control [1.5229257192293204]
  本稿では,ジャコビアン制御に基づく閉形式,フェザーライト,帯域幅選択を提案する。 実データと合成データを比較した結果,モデル性能は最大6桁の精度で比較できることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T10:36:05Z)
• Gaussian Process Uniform Error Bounds with Unknown Hyperparameters for Safety-Critical Applications [71.23286211775084]
  未知のハイパーパラメータを持つ設定において、ロバストなガウス過程の均一なエラー境界を導入する。 提案手法はハイパーパラメータの空間における信頼領域を計算し,モデル誤差に対する確率的上限を求める。 実験により、バニラ法やベイズ法よりもバニラ法の方がはるかに優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-06T17:10:01Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。