Fugu-MT 論文翻訳(概要): Bayesian Meta-Prior Learning Using Empirical Bayes

論文の概要: Bayesian Meta-Prior Learning Using Empirical Bayes

arxiv url: http://arxiv.org/abs/2002.01129v3
Date: Mon, 12 Jul 2021 21:18:32 GMT
ステータス: 処理完了
システム内更新日: 2023-01-04 02:32:20.438137
Title: Bayesian Meta-Prior Learning Using Empirical Bayes
Title（参考訳）: 経験的ベイズを用いたベイズメタパラメータ学習
Authors: Sareh Nabi, Houssam Nassif, Joseph Hong, Hamed Mamani, Guido Imbens
Abstract要約: 本稿では,情報的事前の欠如とパラメータ学習率の制御能力に対処する階層的経験ベイズ手法を提案する。本手法は,データ自体から経験的メタプライヤを学習し,その学習率を1次および2次の特徴の分離に利用する。スパースデータの最適化は、しばしば課題となるため、私たちの発見は有望です。
参考スコア（独自算出の注目度）: 3.666114237131823
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Adding domain knowledge to a learning system is known to improve results. In multi-parameter Bayesian frameworks, such knowledge is incorporated as a prior. On the other hand, various model parameters can have different learning rates in real-world problems, especially with skewed data. Two often-faced challenges in Operation Management and Management Science applications are the absence of informative priors, and the inability to control parameter learning rates. In this study, we propose a hierarchical Empirical Bayes approach that addresses both challenges, and that can generalize to any Bayesian framework. Our method learns empirical meta-priors from the data itself and uses them to decouple the learning rates of first-order and second-order features (or any other given feature grouping) in a Generalized Linear Model. As the first-order features are likely to have a more pronounced effect on the outcome, focusing on learning first-order weights first is likely to improve performance and convergence time. Our Empirical Bayes method clamps features in each group together and uses the deployed model's observed data to empirically compute a hierarchical prior in hindsight. We report theoretical results for the unbiasedness, strong consistency, and optimal frequentist cumulative regret properties of our meta-prior variance estimator. We apply our method to a standard supervised learning optimization problem, as well as an online combinatorial optimization problem in a contextual bandit setting implemented in an Amazon production system. Both during simulations and live experiments, our method shows marked improvements, especially in cases of small traffic. Our findings are promising, as optimizing over sparse data is often a challenge.
Abstract（参考訳）: 学習システムへのドメイン知識の追加は、結果を改善するために知られています。マルチパラメータベイズフレームワークでは、そのような知識は事前として組み込まれている。一方、様々なモデルパラメータは、実世界の問題、特に歪んだデータにおいて異なる学習率を持つ。運用管理と管理科学の応用においてしばしば直面する課題は、情報的優先順位の欠如とパラメータ学習率の制御不能である。本研究では,両課題に対処し,任意のベイズフレームワークに一般化可能な階層的経験ベイズ手法を提案する。本手法は,データ自体から経験的メタプライヤを学習し,一般線形モデルにおける一階特徴と二階特徴の学習率(あるいは他の特徴群)を分離する。一階の機能は結果により顕著な影響を与える可能性が高いため、一階の重みを最初に学ぶことは、パフォーマンスと収束時間を改善する可能性が高い。経験的ベイズ法では,各グループの特徴をまとめてクランプし,デプロイしたモデルの観測データを用いて階層的な計算を行う。我々は,メタプライオリ分散推定器の偏り,強い一貫性,および最適頻繁な累積的後悔特性に関する理論的結果について報告する。本手法を標準的な教師付き学習最適化問題に適用し,amazon production system で実装したコンテキストバンディット設定におけるオンラインコンビネート最適化問題に適用する。シミュレーションとライブ実験の両方において,本手法は特に交通量が少ない場合に顕著な改善を示す。スパースデータの最適化は、しばしば課題となるため、私たちの発見は有望です。

関連論文リスト

Pre-training helps Bayesian optimization too [49.28382118032923]
機能的事前設定のための代替的なプラクティスを模索する。特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
論文参考訳（メタデータ） (2022-07-07T04:42:54Z)
HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文参考訳（メタデータ） (2022-06-15T19:10:35Z)
On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文参考訳（メタデータ） (2022-02-25T13:47:09Z)
A Lagrangian Duality Approach to Active Learning [119.36233726867992]
トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
論文参考訳（メタデータ） (2022-02-08T19:18:49Z)
Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
論文参考訳（メタデータ） (2021-11-23T18:10:48Z)
Last Layer Marginal Likelihood for Invariance Learning [12.00078928875924]
我々は、より大きな確率関数のクラスに対する推論を行うことができるような、限界確率に対する新しい下界を導入する。我々は、最後の層にガウス的プロセスを持つアーキテクチャを使用することで、このアプローチをニューラルネットワークに導入することに取り組んでいます。
論文参考訳（メタデータ） (2021-06-14T15:40:51Z)
Deep Optimized Priors for 3D Shape Modeling and Reconstruction [38.79018852887249]
3Dモデリングと再構築のための新しい学習フレームワークを紹介します。提案手法は,事前訓練によって制約された障壁を効果的に破壊することを示す。
論文参考訳（メタデータ） (2020-12-14T03:56:31Z)
Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
論文参考訳（メタデータ） (2020-10-01T15:59:31Z)
A Primal-Dual Subgradient Approachfor Fair Meta Learning [23.65344558042896]
ショットのメタ学習は、その高速適応能力と、未知のタスクへの精度の一般化で有名である。そこで本研究では,ごく少数の例を用いて,公正な機械学習モデルのトレーニングを学習するPrimal-Dual Meta-learningフレームワーク,すなわちPDFMを提案する。
論文参考訳（メタデータ） (2020-09-26T19:47:38Z)
A Review of Meta-level Learning in the Context of Multi-component, Multi-level Evolving Prediction Systems [6.810856082577402]
データから有用なパターンを抽出する自動的あるいは半自動的な方法の調査の必要性が高まっている。与えられた問題に対する学習方法の最も適切なマッピングを見つけるには、深い専門家の知識と広範な計算資源が必要である。データセットに最適な学習アルゴリズムをアドバイスできるインテリジェントなレコメンデーションエンジンが必要だ。
論文参考訳（メタデータ） (2020-07-17T14:14:37Z)
Monotonic Cardinality Estimation of Similarity Selection: A Deep Learning Approach [22.958342743597044]
類似度選択の基数推定にディープラーニングを活用する可能性について検討する。本稿では,任意のデータ型や距離関数に適用可能な,新規で汎用的な手法を提案する。
論文参考訳（メタデータ） (2020-02-15T20:22:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。