論文の概要: Bayesian Active Learning for Discrete Latent Variable Models
- arxiv url: http://arxiv.org/abs/2202.13426v1
- Date: Sun, 27 Feb 2022 19:07:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-01 15:47:24.579921
- Title: Bayesian Active Learning for Discrete Latent Variable Models
- Title（参考訳）: 離散潜在変数モデルのベイズ能動的学習
- Authors: Aditi Jha, Zoe C. Ashwood, Jonathan W. Pillow
- Abstract要約: 最適入力選択は回帰モデルの混合に対して劇的な利得が得られることを示す。
我々は、入力出力隠れマルコフモデルとして知られる、時間的に構造化された潜在変数モデルの強力なクラスを考える。
- 参考スコア（独自算出の注目度）: 19.852463786440122
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Active learning seeks to reduce the number of samples required to estimate
the parameters of a model, thus forming an important class of techniques in
modern machine learning. However, past work on active learning has largely
overlooked latent variable models, which play a vital role in neuroscience,
psychology, and a variety of other engineering and scientific disciplines. Here
we address this gap in the literature and propose a novel framework for
maximum-mutual-information input selection for learning discrete latent
variable regression models. We first examine a class of models known as
"mixtures of linear regressions" (MLR). This example is striking because it is
well known that active learning confers no advantage for standard least-squares
regression. However, we show -- both in simulations and analytically using
Fisher information -- that optimal input selection can nevertheless provide
dramatic gains for mixtures of regression models; we also validate this on a
real-world application of MLRs. We then consider a powerful class of temporally
structured latent variable models known as Input-Output Hidden Markov Models
(IO-HMMs), which have recently gained prominence in neuroscience. We show that
our method substantially speeds up learning, and outperforms a variety of
approximate methods based on variational and amortized inference.
- Abstract（参考訳）: アクティブラーニングは、モデルのパラメータを推定するために必要なサンプルの数を減らすことを目的としており、現代の機械学習において重要なテクニックのクラスを形成している。
しかし、能動的学習に関する過去の研究は、神経科学、心理学、その他の様々な工学および科学分野において重要な役割を果たす潜在変数モデルを見落としてきた。
本稿では,このギャップを文献で解決し,離散的潜在変数回帰モデル学習のための最大変動情報入力選択のための新しい枠組みを提案する。
まず,線形回帰混合(MLR)と呼ばれるモデルのクラスについて検討する。
この例は、アクティブラーニングが標準の最小二乗回帰の利点を損なうことはよく知られている。
しかし、シミュレーションとフィッシャー情報を用いた分析の両方において、最適な入力選択は、それでも回帰モデルの混合に対して劇的な利益をもたらすことを示し、これをmlrの実際の応用で検証する。
次に、最近神経科学で注目されているIO-HMM(Input-Output Hidden Markov Models)と呼ばれる、時間的に構造化された潜在変数モデルの強力なクラスを考える。
提案手法は学習を実質的に高速化し,変分推定や不定形推論に基づく近似手法よりも優れていることを示す。
関連論文リスト
- SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。
SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。
画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-19T17:32:15Z) - Towards Learning Stochastic Population Models by Gradient Descent [0.0]
パラメータと構造を同時に推定することで,最適化手法に大きな課題が生じることを示す。
モデルの正確な推定を実証するが、擬似的、解釈可能なモデルの推論を強制することは、難易度を劇的に高める。
論文 参考訳（メタデータ） (2024-04-10T14:38:58Z) - Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。
本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。
我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文 参考訳（メタデータ） (2024-02-28T08:34:23Z) - On the Influence of Enforcing Model Identifiability on Learning dynamics
of Gaussian Mixture Models [14.759688428864159]
特異モデルからサブモデルを抽出する手法を提案する。
本手法はトレーニング中のモデルの識別性を強制する。
この手法がディープニューラルネットワークのようなより複雑なモデルにどのように適用できるかを示す。
論文 参考訳（メタデータ） (2022-06-17T07:50:22Z) - Learning continuous models for continuous physics [94.42705784823997]
本研究では,科学技術応用のための機械学習モデルを検証する数値解析理論に基づくテストを開発する。
本研究は,従来のMLトレーニング/テスト手法と一体化して,科学・工学分野におけるモデルの検証を行う方法である。
論文 参考訳（メタデータ） (2022-02-17T07:56:46Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳（メタデータ） (2020-10-25T18:51:15Z) - Using machine learning to correct model error in data assimilation and
forecast applications [0.0]
本稿では,既存の知識ベースモデルの誤りを訂正するために,この手法を提案する。
結果として得られるサロゲートモデルは、元の(知識ベース)モデルとMLモデルとのハイブリッドモデルである。
DAのハイブリッドサロゲートモデルを用いることで、元のモデルよりもはるかに優れた分析が得られる。
論文 参考訳（メタデータ） (2020-10-23T18:30:45Z) - Learning Stable Nonparametric Dynamical Systems with Gaussian Process
Regression [9.126353101382607]
データからガウス過程回帰に基づいて非パラメトリックリアプノフ関数を学習する。
非パラメトリック制御Lyapunov関数に基づく名目モデルの安定化は、トレーニングサンプルにおける名目モデルの挙動を変化させるものではないことを証明した。
論文 参考訳（メタデータ） (2020-06-14T11:17:17Z) - Model-Augmented Actor-Critic: Backpropagating through Paths [81.86992776864729]
現在のモデルに基づく強化学習アプローチでは、単に学習されたブラックボックスシミュレータとしてモデルを使用する。
その微分可能性を利用してモデルをより効果的に活用する方法を示す。
論文 参考訳（メタデータ） (2020-05-16T19:18:10Z) - Causality-aware counterfactual confounding adjustment for feature
representations learned by deep models [14.554818659491644]
因果モデリングは機械学習(ML)における多くの課題に対する潜在的な解決策として認識されている。
深層ニューラルネットワーク(DNN)モデルによって学習された特徴表現を分解するために、最近提案された対実的アプローチが依然として使われている方法について説明する。
論文 参考訳（メタデータ） (2020-04-20T17:37:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。