論文の概要: Bayesian Active Learning for Discrete Latent Variable Models
- arxiv url: http://arxiv.org/abs/2202.13426v1
- Date: Sun, 27 Feb 2022 19:07:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-01 15:47:24.579921
- Title: Bayesian Active Learning for Discrete Latent Variable Models
- Title(参考訳): 離散潜在変数モデルのベイズ能動的学習
- Authors: Aditi Jha, Zoe C. Ashwood, Jonathan W. Pillow
- Abstract要約: 最適入力選択は回帰モデルの混合に対して劇的な利得が得られることを示す。
我々は、入力出力隠れマルコフモデルとして知られる、時間的に構造化された潜在変数モデルの強力なクラスを考える。
- 参考スコア(独自算出の注目度): 19.852463786440122
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Active learning seeks to reduce the number of samples required to estimate
the parameters of a model, thus forming an important class of techniques in
modern machine learning. However, past work on active learning has largely
overlooked latent variable models, which play a vital role in neuroscience,
psychology, and a variety of other engineering and scientific disciplines. Here
we address this gap in the literature and propose a novel framework for
maximum-mutual-information input selection for learning discrete latent
variable regression models. We first examine a class of models known as
"mixtures of linear regressions" (MLR). This example is striking because it is
well known that active learning confers no advantage for standard least-squares
regression. However, we show -- both in simulations and analytically using
Fisher information -- that optimal input selection can nevertheless provide
dramatic gains for mixtures of regression models; we also validate this on a
real-world application of MLRs. We then consider a powerful class of temporally
structured latent variable models known as Input-Output Hidden Markov Models
(IO-HMMs), which have recently gained prominence in neuroscience. We show that
our method substantially speeds up learning, and outperforms a variety of
approximate methods based on variational and amortized inference.
- Abstract(参考訳): アクティブラーニングは、モデルのパラメータを推定するために必要なサンプルの数を減らすことを目的としており、現代の機械学習において重要なテクニックのクラスを形成している。
しかし、能動的学習に関する過去の研究は、神経科学、心理学、その他の様々な工学および科学分野において重要な役割を果たす潜在変数モデルを見落としてきた。
本稿では,このギャップを文献で解決し,離散的潜在変数回帰モデル学習のための最大変動情報入力選択のための新しい枠組みを提案する。
まず,線形回帰混合(MLR)と呼ばれるモデルのクラスについて検討する。
この例は、アクティブラーニングが標準の最小二乗回帰の利点を損なうことはよく知られている。
しかし、シミュレーションとフィッシャー情報を用いた分析の両方において、最適な入力選択は、それでも回帰モデルの混合に対して劇的な利益をもたらすことを示し、これをmlrの実際の応用で検証する。
次に、最近神経科学で注目されているIO-HMM(Input-Output Hidden Markov Models)と呼ばれる、時間的に構造化された潜在変数モデルの強力なクラスを考える。
提案手法は学習を実質的に高速化し,変分推定や不定形推論に基づく近似手法よりも優れていることを示す。
関連論文リスト
- Learning Objective-Specific Active Learning Strategies with Attentive
Neural Processes [72.75421975804132]
学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。
能動学習問題の対称性と独立性を利用した新しい分類法を提案する。
私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
論文 参考訳(メタデータ) (2023-09-11T14:16:37Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。
状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。
特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-12-17T00:26:31Z) - On the Influence of Enforcing Model Identifiability on Learning dynamics
of Gaussian Mixture Models [14.759688428864159]
特異モデルからサブモデルを抽出する手法を提案する。
本手法はトレーニング中のモデルの識別性を強制する。
この手法がディープニューラルネットワークのようなより複雑なモデルにどのように適用できるかを示す。
論文 参考訳(メタデータ) (2022-06-17T07:50:22Z) - Learning continuous models for continuous physics [94.42705784823997]
本研究では,科学技術応用のための機械学習モデルを検証する数値解析理論に基づくテストを開発する。
本研究は,従来のMLトレーニング/テスト手法と一体化して,科学・工学分野におけるモデルの検証を行う方法である。
論文 参考訳(メタデータ) (2022-02-17T07:56:46Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - Using machine learning to correct model error in data assimilation and
forecast applications [0.0]
本稿では,既存の知識ベースモデルの誤りを訂正するために,この手法を提案する。
結果として得られるサロゲートモデルは、元の(知識ベース)モデルとMLモデルとのハイブリッドモデルである。
DAのハイブリッドサロゲートモデルを用いることで、元のモデルよりもはるかに優れた分析が得られる。
論文 参考訳(メタデータ) (2020-10-23T18:30:45Z) - Learning Stable Nonparametric Dynamical Systems with Gaussian Process
Regression [9.126353101382607]
データからガウス過程回帰に基づいて非パラメトリックリアプノフ関数を学習する。
非パラメトリック制御Lyapunov関数に基づく名目モデルの安定化は、トレーニングサンプルにおける名目モデルの挙動を変化させるものではないことを証明した。
論文 参考訳(メタデータ) (2020-06-14T11:17:17Z) - Model-Augmented Actor-Critic: Backpropagating through Paths [81.86992776864729]
現在のモデルに基づく強化学習アプローチでは、単に学習されたブラックボックスシミュレータとしてモデルを使用する。
その微分可能性を利用してモデルをより効果的に活用する方法を示す。
論文 参考訳(メタデータ) (2020-05-16T19:18:10Z) - Causality-aware counterfactual confounding adjustment for feature
representations learned by deep models [14.554818659491644]
因果モデリングは機械学習(ML)における多くの課題に対する潜在的な解決策として認識されている。
深層ニューラルネットワーク(DNN)モデルによって学習された特徴表現を分解するために、最近提案された対実的アプローチが依然として使われている方法について説明する。
論文 参考訳(メタデータ) (2020-04-20T17:37:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。