論文の概要: A Differentiable Partially Observable Generalized Linear Model with Forward-Backward Message Passing

• arxiv url: http://arxiv.org/abs/2402.01263v2
• Date: Wed, 7 Feb 2024 18:44:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-08 18:58:51.211438
• Title: A Differentiable Partially Observable Generalized Linear Model with Forward-Backward Message Passing
• Title（参考訳）: フォワードバックワードメッセージパッシングを用いた微分可能部分観測可能な一般化線形モデル
• Authors: Chengrui Li, Weihan Li, Yule Wang, and Anqi Wu
• Abstract要約: 既存の作業で用いられるスコア関数勾配推定器よりも優れたパスワイズ勾配推定器を実現できる新しい微分可能なPOGLMを提案する。 我々の新しい手法はより解釈可能なパラメータをもたらし、神経科学におけるその重要性を裏付ける。
• 参考スコア（独自算出の注目度）: 2.600709013150986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The partially observable generalized linear model (POGLM) is a powerful tool for understanding neural connectivity under the assumption of existing hidden neurons. With spike trains only recorded from visible neurons, existing works use variational inference to learn POGLM meanwhile presenting the difficulty of learning this latent variable model. There are two main issues: (1) the sampled Poisson hidden spike count hinders the use of the pathwise gradient estimator in VI; and (2) the existing design of the variational model is neither expressive nor time-efficient, which further affects the performance. For (1), we propose a new differentiable POGLM, which enables the pathwise gradient estimator, better than the score function gradient estimator used in existing works. For (2), we propose the forward-backward message-passing sampling scheme for the variational model. Comprehensive experiments show that our differentiable POGLMs with our forward-backward message passing produce a better performance on one synthetic and two real-world datasets. Furthermore, our new method yields more interpretable parameters, underscoring its significance in neuroscience.
• Abstract（参考訳）: 部分的に観測可能な一般化線形モデル(POGLM)は、既存の隠れニューロンを仮定して神経接続を理解する強力なツールである。 スパイクトレインは可視ニューロンからのみ記録されるため、既存の研究では変分推論を用いてPOGLMを学習する一方、この潜伏変数モデルを学ぶのが困難である。 主な問題として,(1) サンプルポアソン隠れスパイクカウントは, VI における経路勾配推定器の使用を妨げること,(2) 既存の変分モデルの設計は表現性や時間効率に悪影響を及ぼさないこと,などがあげられる。 本稿では,(1)既存の作業におけるスコア関数勾配推定器よりもパスワイズ勾配推定器を良好に使用できる,新しい微分可能な poglm を提案する。 2) 変分モデルに対するフォワード・バック・メッセージ・パッシング・サンプリング手法を提案する。 包括的実験により、私たちの前向きメッセージパッシングによる差別化可能なPOGLMは、1つの合成データセットと2つの実世界のデータセット上でより優れたパフォーマンスをもたらすことが示された。 さらに,本手法はより解釈可能なパラメータとなり,神経科学におけるその意義を強調する。

関連論文リスト

• A Multi-step Loss Function for Robust Learning of the Dynamics in Model-based Reinforcement Learning [10.940666275830052]
  モデルに基づく強化学習では、ほとんどのアルゴリズムはデータに基づいて学習したダイナミクスの一段階モデルからの軌道のシミュレーションに依存している。 我々は、多段階の目標を用いてワンステップモデルを訓練することでこの問題に対処する。 この新たな損失は、データが騒々しいときに特に有効であることが分かっています。
  論文  参考訳（メタデータ） (2024-02-05T16:13:00Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
  MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。 公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
  論文  参考訳（メタデータ） (2022-05-31T04:57:06Z)
• Bayesian Active Learning for Discrete Latent Variable Models [19.852463786440122]
  アクティブラーニングは、モデルのパラメータに適合するために必要なデータ量を削減しようとする。 潜在変数モデルは神経科学、心理学、その他の様々な工学、科学分野において重要な役割を果たす。
  論文  参考訳（メタデータ） (2022-02-27T19:07:12Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Gaussian Function On Response Surface Estimation [12.35564140065216]
  メタモデリング手法によるブラックボックス機械学習モデルの解釈(機能とサンプル)のための新しいフレームワークを提案する。 メタモデルは、興味のある領域のデータサンプルでコンピュータ実験を実行することによって、訓練された複雑なモデルによって生成されたデータから推定することができる。
  論文  参考訳（メタデータ） (2021-01-04T04:47:00Z)
• Recoding latent sentence representations -- Dynamic gradient-based activation modification in RNNs [0.0]
  RNNでは、サブオプティマティックな方法で情報をエンコーディングすることは、シーケンスの後の要素に基づいて表現の質に影響を与える可能性がある。 勾配に基づく補正機構を用いて,標準RNNへの拡張を提案する。 言語モデリングの文脈で異なる実験を行い、そのようなメカニズムを使うことによる影響を詳細に調べる。
  論文  参考訳（メタデータ） (2021-01-03T17:54:17Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Learning Variational Data Assimilation Models and Solvers [34.22350850350653]
  データ同化のためのエンドツーエンドニューラルネットワークアーキテクチャを導入する。 提案するエンドツーエンド学習アーキテクチャの重要な特徴は、教師なし戦略と教師なし戦略の両方を用いてNNモデルをトレーニングできることである。
  論文  参考訳（メタデータ） (2020-07-25T14:28:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。