論文の概要: Bayesian Active Learning for Discrete Latent Variable Models
- arxiv url: http://arxiv.org/abs/2202.13426v2
- Date: Fri, 2 Jun 2023 18:20:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 05:41:44.287395
- Title: Bayesian Active Learning for Discrete Latent Variable Models
- Title（参考訳）: 離散潜在変数モデルのベイズ能動的学習
- Authors: Aditi Jha, Zoe C. Ashwood, Jonathan W. Pillow
- Abstract要約: アクティブラーニングは、モデルのパラメータに適合するために必要なデータ量を削減しようとする。
潜在変数モデルは神経科学、心理学、その他の様々な工学、科学分野において重要な役割を果たす。
- 参考スコア（独自算出の注目度）: 19.852463786440122
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Active learning seeks to reduce the amount of data required to fit the
parameters of a model, thus forming an important class of techniques in modern
machine learning. However, past work on active learning has largely overlooked
latent variable models, which play a vital role in neuroscience, psychology,
and a variety of other engineering and scientific disciplines. Here we address
this gap by proposing a novel framework for maximum-mutual-information input
selection for discrete latent variable regression models. We first apply our
method to a class of models known as "mixtures of linear regressions" (MLR).
While it is well known that active learning confers no advantage for
linear-Gaussian regression models, we use Fisher information to show
analytically that active learning can nevertheless achieve large gains for
mixtures of such models, and we validate this improvement using both
simulations and real-world data. We then consider a powerful class of
temporally structured latent variable models given by a Hidden Markov Model
(HMM) with generalized linear model (GLM) observations, which has recently been
used to identify discrete states from animal decision-making data. We show that
our method substantially reduces the amount of data needed to fit GLM-HMM, and
outperforms a variety of approximate methods based on variational and amortized
inference. Infomax learning for latent variable models thus offers a powerful
for characterizing temporally structured latent states, with a wide variety of
applications in neuroscience and beyond.
- Abstract（参考訳）: アクティブラーニングは、モデルのパラメータに適合するために必要なデータ量を減らすことを目的としており、現代の機械学習において重要なテクニックのクラスを形成している。
しかし、能動的学習に関する過去の研究は、神経科学、心理学、その他の様々な工学および科学分野において重要な役割を果たす潜在変数モデルを見落としてきた。
本稿では,離散的潜在変数回帰モデルに対する最大変動情報入力選択のための新しい枠組みを提案する。
まず,本手法を線形回帰混合 (mlr) と呼ばれるモデル群に適用した。
アクティブラーニングが線形ゲージ回帰モデルに有利でないことはよく知られているが、フィッシャー情報を用いて、アクティブラーニングがこれらのモデルの混合に対して大きな利益をもたらすことを分析的に示し、シミュレーションと実世界データの両方を用いてこの改善を検証する。
次に,最近動物意思決定データから離散状態を特定するために用いられてきた一般化線形モデル (glm) を用いた隠れマルコフモデル (hmm) によって与えられる,時間的構造を持つ潜在変数モデルの強力なクラスを考える。
本手法は, GLM-HMMに適合するデータ量を大幅に削減し, 変分推論とアモータイズ推定に基づく近似手法の性能を向上することを示す。
潜時変動モデルに対するインフォマックス学習は、時間的に構造化された潜時状態の特徴付けに強力な能力を提供する。
関連論文リスト
- SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。
SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。
画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-19T17:32:15Z) - Towards Learning Stochastic Population Models by Gradient Descent [0.0]
パラメータと構造を同時に推定することで,最適化手法に大きな課題が生じることを示す。
モデルの正確な推定を実証するが、擬似的、解釈可能なモデルの推論を強制することは、難易度を劇的に高める。
論文 参考訳（メタデータ） (2024-04-10T14:38:58Z) - Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。
本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。
我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文 参考訳（メタデータ） (2024-02-28T08:34:23Z) - On the Influence of Enforcing Model Identifiability on Learning dynamics
of Gaussian Mixture Models [14.759688428864159]
特異モデルからサブモデルを抽出する手法を提案する。
本手法はトレーニング中のモデルの識別性を強制する。
この手法がディープニューラルネットワークのようなより複雑なモデルにどのように適用できるかを示す。
論文 参考訳（メタデータ） (2022-06-17T07:50:22Z) - Learning continuous models for continuous physics [94.42705784823997]
本研究では,科学技術応用のための機械学習モデルを検証する数値解析理論に基づくテストを開発する。
本研究は,従来のMLトレーニング/テスト手法と一体化して,科学・工学分野におけるモデルの検証を行う方法である。
論文 参考訳（メタデータ） (2022-02-17T07:56:46Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳（メタデータ） (2020-10-25T18:51:15Z) - Using machine learning to correct model error in data assimilation and
forecast applications [0.0]
本稿では,既存の知識ベースモデルの誤りを訂正するために,この手法を提案する。
結果として得られるサロゲートモデルは、元の(知識ベース)モデルとMLモデルとのハイブリッドモデルである。
DAのハイブリッドサロゲートモデルを用いることで、元のモデルよりもはるかに優れた分析が得られる。
論文 参考訳（メタデータ） (2020-10-23T18:30:45Z) - Learning Stable Nonparametric Dynamical Systems with Gaussian Process
Regression [9.126353101382607]
データからガウス過程回帰に基づいて非パラメトリックリアプノフ関数を学習する。
非パラメトリック制御Lyapunov関数に基づく名目モデルの安定化は、トレーニングサンプルにおける名目モデルの挙動を変化させるものではないことを証明した。
論文 参考訳（メタデータ） (2020-06-14T11:17:17Z) - Model-Augmented Actor-Critic: Backpropagating through Paths [81.86992776864729]
現在のモデルに基づく強化学習アプローチでは、単に学習されたブラックボックスシミュレータとしてモデルを使用する。
その微分可能性を利用してモデルをより効果的に活用する方法を示す。
論文 参考訳（メタデータ） (2020-05-16T19:18:10Z) - Causality-aware counterfactual confounding adjustment for feature
representations learned by deep models [14.554818659491644]
因果モデリングは機械学習(ML)における多くの課題に対する潜在的な解決策として認識されている。
深層ニューラルネットワーク(DNN)モデルによって学習された特徴表現を分解するために、最近提案された対実的アプローチが依然として使われている方法について説明する。
論文 参考訳（メタデータ） (2020-04-20T17:37:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。