論文の概要: Learning optimal Bayesian prior probabilities from data

• arxiv url: http://arxiv.org/abs/2101.00672v1
• Date: Sun, 3 Jan 2021 17:38:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 01:57:39.548454
• Title: Learning optimal Bayesian prior probabilities from data
• Title（参考訳）: データから最適なベイズ事前確率を学習する
• Authors: Ozan Kaan Kayaalp
• Abstract要約: 目的関数を最大化することにより,データから最適な事前学習を行う機械学習に基づく代替手法を提案する。 ウィキペディアのカテゴリ別に5種類の実験を行った。 その結果,研究モデルは,統計学的意義の大きいベースラインモデルよりも常に優れていた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Noninformative uniform priors are staples of Bayesian inference, especially in Bayesian machine learning. This study challenges the assumption that they are optimal and their use in Bayesian inference yields optimal outcomes. Instead of using arbitrary noninformative uniform priors, we propose a machine learning based alternative method, learning optimal priors from data by maximizing a target function of interest. Applying na\"ive Bayes text classification methodology and a search algorithm developed for this study, our system learned priors from data using the positive predictive value metric as the target function. The task was to find Wikipedia articles that had not (but should have) been categorized under certain Wikipedia categories. We conducted five sets of experiments using separate Wikipedia categories. While the baseline models used the popular Bayes-Laplace priors, the study models learned the optimal priors for each set of experiments separately before using them. The results showed that the study models consistently outperformed the baseline models with a wide margin of statistical significance (p < 0.001). The measured performance improvement of the study model over the baseline was as high as 443% with the mean value of 193% over five Wikipedia categories.
• Abstract（参考訳）: 非形式的一様述語は、特にベイズ機械学習におけるベイズ推論の基礎である。 この研究は、それらが最適であるという仮定に挑戦し、ベイズ推定におけるそれらの使用は最適な結果をもたらす。 任意の非形式的一様先行関数の代わりに,対象関数の最大化によりデータから最適な先行値を学習する機械学習に基づく代替手法を提案する。 そこで本研究では,na\"ive bayesテキスト分類手法と探索アルゴリズムを適用し,正の予測値メトリクスを対象関数としてデータから事前学習を行った。 タスクは、ウィキペディアの特定のカテゴリーに分類されていない(しかし、あるべきだった)記事を見つけることだった。 ウィキペディアのカテゴリ別に5種類の実験を行った。 ベースラインモデルは一般的なベイズ・ラプラス前置法を用いたが、研究モデルは各実験の最適前置法を個別に学習した。 その結果, 研究モデルは, 統計的意義の大きいベースラインモデル (p < 0.001) を一貫して上回っていた。 研究モデルのベースラインに対する性能改善は, 平均値が5つのwikipediaカテゴリに対して193%であった443%と, 443%と高い値を示した。

関連論文リスト

• Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
  我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。 圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:56:16Z)
• Boosting Fair Classifier Generalization through Adaptive Priority Reweighing [59.801444556074394]
  より優れた一般化性を持つ性能向上フェアアルゴリズムが必要である。 本稿では,トレーニングデータとテストデータ間の分散シフトがモデル一般化性に与える影響を解消する適応的リライジング手法を提案する。
  論文  参考訳（メタデータ） (2023-09-15T13:04:55Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• Deep Reference Priors: What is the best way to pretrain a model? [27.705359364301458]
  本稿では,参照先行理論を用いて疑問を定式化する。 参照先は、タスクとモデルの間の相互情報を最大化する客観的で非形式的ベイズ事前である。 本稿では,中規模深層ネットワークと画像ベースデータを対象とした参照先行の実証実験について述べる。
  論文  参考訳（メタデータ） (2022-02-01T02:32:39Z)
• Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
  正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。 われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
  論文  参考訳（メタデータ） (2021-06-07T06:21:20Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Monotonicity in practice of adaptive testing [0.0]
  本稿では,最近提案された単調性勾配アルゴリズムを用いて学習した適応テストのためのベイジアンネットワークモデルについて検討する。 手法の質は、チェコ国立数学試験の大規模なデータセットで実証的に評価される。
  論文  参考訳（メタデータ） (2020-09-15T10:55:41Z)
• Learning to Select Base Classes for Few-shot Classification [96.92372639495551]
  我々は、数ショットモデルの一般化性能を示す指標として、類似度比を用いる。 次に、類似度比に対する部分モジュラー最適化問題として基底クラス選択問題を定式化する。
  論文  参考訳（メタデータ） (2020-04-01T09:55:18Z)
• Modelling Human Active Search in Optimizing Black-box Functions [0.1631115063641726]
  本研究では,最大値を求める人間の行動とベイズ最適化における確率モデルとの関係に着目した。 双方の代理モデルを用いた60人の被験者による制御実験により、ベイズ最適化が人間の活動学習の個々のパターンを表現する一般的なモデルを提供することを確認した。
  論文  参考訳（メタデータ） (2020-03-09T17:34:24Z)
• Monotonic Cardinality Estimation of Similarity Selection: A Deep Learning Approach [22.958342743597044]
  類似度選択の基数推定にディープラーニングを活用する可能性について検討する。 本稿では,任意のデータ型や距離関数に適用可能な,新規で汎用的な手法を提案する。
  論文  参考訳（メタデータ） (2020-02-15T20:22:51Z)
• Bayesian Meta-Prior Learning Using Empirical Bayes [3.666114237131823]
  本稿では,情報的事前の欠如とパラメータ学習率の制御能力に対処する階層的経験ベイズ手法を提案する。 本手法は,データ自体から経験的メタプライヤを学習し,その学習率を1次および2次の特徴の分離に利用する。 スパースデータの最適化は、しばしば課題となるため、私たちの発見は有望です。
  論文  参考訳（メタデータ） (2020-02-04T05:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。