論文の概要: When predict can also explain: few-shot prediction to select better neural latents
- arxiv url: http://arxiv.org/abs/2405.14425v2
- Date: Mon, 10 Jun 2024 11:30:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 23:45:08.673313
- Title: When predict can also explain: few-shot prediction to select better neural latents
- Title（参考訳）: 予測も説明できる: より優れたニューラル潜水剤を選択するための数発の予測
- Authors: Kabir Dabholkar, Omri Barak,
- Abstract要約: 基礎的真理をより正確に反映した潜伏変数を求めるために考案された新しい予測指標を提案する。
基底的真理が欠如している場合には、外部ダイナミクスを定量化するためのプロキシ測度を提案する。
- 参考スコア（独自算出の注目度）: 3.6218162133579703
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Latent variable models serve as powerful tools to infer underlying dynamics from observed neural activity. However, due to the absence of ground truth data, prediction benchmarks are often employed as proxies. In this study, we reveal the limitations of the widely-used 'co-smoothing' prediction framework and propose an improved few-shot prediction approach that encourages more accurate latent dynamics. Utilizing a student-teacher setup with Hidden Markov Models, we demonstrate that the high co-smoothing model space can encompass models with arbitrary extraneous dynamics within their latent representations. To address this, we introduce a secondary metric -- a few-shot version of co-smoothing. This involves performing regression from the latent variables to held-out channels in the data using fewer trials. Our results indicate that among models with near-optimal co-smoothing, those with extraneous dynamics underperform in the few-shot co-smoothing compared to 'minimal' models devoid of such dynamics. We also provide analytical insights into the origin of this phenomenon. We further validate our findings on real neural data using two state-of-the-art methods: LFADS and STNDT. In the absence of ground truth, we suggest a proxy measure to quantify extraneous dynamics. By cross-decoding the latent variables of all model pairs with high co-smoothing, we identify models with minimal extraneous dynamics. We find a correlation between few-shot co-smoothing performance and this new measure. In summary, we present a novel prediction metric designed to yield latent variables that more accurately reflect the ground truth, offering a significant improvement for latent dynamics inference.
- Abstract（参考訳）: 潜在変数モデルは、観測された神経活動から基礎となるダイナミクスを推測する強力なツールとして機能する。
しかし、地上の真実データがないため、予測ベンチマークはしばしばプロキシとして使用される。
本研究では,広く使われている「コ・スムーシング」予測フレームワークの限界を明らかにするとともに,より正確な潜伏ダイナミクスを促進するために,改良された数ショット予測手法を提案する。
ヒドゥンマルコフモデルを用いた生徒-教師のセットアップを用いて、高次共生モデル空間は、その潜在表現の中に任意の外部ダイナミクスを持つモデルを包含できることを示した。
これを解決するために、我々は2次計量(co-smoothingの数ショットバージョン)を導入します。
これは、より少ないトライアルを使用して、遅延変数からデータ内のホールドアウトチャネルへの回帰を実行することを含む。
以上の結果から, 準最適コムースティングモデルでは, 数発のコムースティングにおいて, それらのダイナミックスを欠いた「最小」モデルと比較して, 外部ダイナミクスのモデルでは性能が低いことが示唆された。
また、この現象の起源に関する分析的な知見も提供する。
さらに,LFADSとSTNDTの2つの最先端手法を用いて,実際のニューラルネットワークに関する知見を検証した。
基底的真理がなければ、外部ダイナミクスを定量化するためのプロキシ測度を提案する。
すべてのモデルペアの潜伏変数を高共平滑化でクロスデコードすることにより、最小限の外部ダイナミクスを持つモデルを同定する。
数発の共平滑化性能とこの新しい測定値との相関関係を見いだす。
要約すると、我々は、より正確に基底的真理を反映した潜伏変数を得るように設計された新しい予測指標を提案し、潜伏力学の推論に顕著な改善をもたらす。
関連論文リスト
- Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。
低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。
このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
論文 参考訳（メタデータ） (2024-10-06T15:25:39Z) - Constructing Concept-based Models to Mitigate Spurious Correlations with Minimal Human Effort [31.992947353231564]
概念ボトルネックモデル(Concept Bottleneck Models, CBM)は、人間の理解可能な概念を通じて、モデルの振る舞いを開示し、導くための原則的な方法を提供する。
本稿では,これらのバイアスに無害でありながら事前学習モデルを活用するために設計された新しいフレームワークを提案する。
提案手法を複数のデータセット上で評価し,その解釈可能性を維持しつつ,素粒子相関によるモデル依存の低減効果を示した。
論文 参考訳（メタデータ） (2024-07-12T03:07:28Z) - Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
論文 参考訳（メタデータ） (2024-02-19T02:08:09Z) - Predictive Churn with the Set of Good Models [64.05949860750235]
近似機械学習モデルの集合に対する競合予測の効果について検討する。
ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。
当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
論文 参考訳（メタデータ） (2024-02-12T16:15:25Z) - Disentangled Neural Relational Inference for Interpretable Motion
Prediction [38.40799770648501]
グラフベース表現と時系列モデルを統合した変分自動エンコーダフレームワークを開発した。
本モデルでは,対話を特徴付ける解釈可能なエッジ特徴を付加した動的相互作用グラフを推論する。
シミュレーションと実世界の両方のデータセットに関する広範な実験を通じて、我々のアプローチを検証する。
論文 参考訳（メタデータ） (2024-01-07T22:49:24Z) - Mixed Effects Neural ODE: A Variational Approximation for Analyzing the
Dynamics of Panel Data [50.23363975709122]
パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。
我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。
次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
論文 参考訳（メタデータ） (2022-02-18T22:41:51Z) - Distributional Depth-Based Estimation of Object Articulation Models [21.046351215949525]
本研究では,奥行き画像から直接,調音モデルパラメータの分布を効率よく学習する手法を提案する。
私たちのコアコントリビューションには、剛体変換に対する分布の新しい表現が含まれています。
本稿では,カテゴリに依存しない調音モデル推定を行う新しい深層学習手法DUST-netを提案する。
論文 参考訳（メタデータ） (2021-08-12T17:44:51Z) - Latent Space Model for Higher-order Networks and Generalized Tensor
Decomposition [18.07071669486882]
我々は、複雑な高次ネットワーク相互作用を研究するために、一般的な潜在空間モデルとして定式化された統一フレームワークを導入する。
一般化された多線形カーネルをリンク関数として、潜伏位置と観測データとの関係を定式化する。
本手法が合成データに与える影響を実証する。
論文 参考訳（メタデータ） (2021-06-30T13:11:17Z) - MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
データに依存しない蒸留フレームワークであるMixKDを提案する。
妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。
限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
論文 参考訳（メタデータ） (2020-11-01T18:47:51Z) - Double Robust Representation Learning for Counterfactual Prediction [68.78210173955001]
そこで本稿では, 対実予測のための2次ロバスト表現を学習するための, スケーラブルな新しい手法を提案する。
我々は、個々の治療効果と平均的な治療効果の両方に対して、堅牢で効率的な対実的予測を行う。
このアルゴリズムは,実世界の最先端技術と合成データとの競合性能を示す。
論文 参考訳（メタデータ） (2020-10-15T16:39:26Z) - Combining data assimilation and machine learning to emulate a dynamical
model from sparse and noisy observations: a case study with the Lorenz 96
model [0.0]
この方法は、アンサンブルカルマンフィルタとニューラルネットワークを反復的にデータ同化ステップで適用することで構成される。
データ同化は、代理モデルとスパースデータとを最適に組み合わせるために用いられる。
出力分析は空間的に完全であり、サロゲートモデルを更新するためのニューラルネットワークによるトレーニングセットとして使用される。
カオス的な40変数Lorenz 96モデルを用いて数値実験を行い、提案手法の収束と統計的スキルの両立を証明した。
論文 参考訳（メタデータ） (2020-01-06T12:26:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。