論文の概要: When predict can also explain: few-shot prediction to select better neural latents

• arxiv url: http://arxiv.org/abs/2405.14425v3
• Date: Thu, 06 Feb 2025 14:26:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:30:35.805140
• Title: When predict can also explain: few-shot prediction to select better neural latents
• Title（参考訳）: 予測も説明できる: より優れたニューラル潜水剤を選択するための数発の予測
• Authors: Kabir Dabholkar, Omri Barak,
• Abstract要約: 共平滑化(co-smoothing)は、潜伏変数を推定し、ホールドアウトチャネルに沿って観測を予測するために用いられる。 本研究では,協調平滑化予測フレームワークの限界を明らかにし,その対策を提案する。 基礎的真理をより正確に反映した潜伏変数を生成するために設計された新しい予測指標を提案する。
• 参考スコア（独自算出の注目度）: 3.6218162133579703
• License:
• Abstract: Latent variable models serve as powerful tools to infer underlying dynamics from observed neural activity. Ideally, the inferred dynamics should align with true ones. However, due to the absence of ground truth data, prediction benchmarks are often employed as proxies. One widely-used method, *co-smoothing*, involves jointly estimating latent variables and predicting observations along held-out channels to assess model performance. In this study, we reveal the limitations of the co-smoothing prediction framework and propose a remedy. In a student-teacher setup with Hidden Markov Models, we demonstrate that the high co-smoothing model space encompasses models with arbitrary extraneous dynamics in their latent representations. To address this, we introduce a secondary metric -- *few-shot co-smoothing*, performing regression from the latent variables to held-out channels in the data using fewer trials. Our results indicate that among models with near-optimal co-smoothing, those with extraneous dynamics underperform in the few-shot co-smoothing compared to 'minimal' models that are devoid of such dynamics. We provide analytical insights into the origin of this phenomenon and further validate our findings on real neural data using two state-of-the-art methods: LFADS and STNDT. In the absence of ground truth, we suggest a novel measure to validate our approach. By cross-decoding the latent variables of all model pairs with high co-smoothing, we identify models with minimal extraneous dynamics. We find a correlation between few-shot co-smoothing performance and this new measure. In summary, we present a novel prediction metric designed to yield latent variables that more accurately reflect the ground truth, offering a significant improvement for latent dynamics inference.
• Abstract（参考訳）: 潜在変数モデルは、観測された神経活動から基礎となるダイナミクスを推測する強力なツールとして機能する。 理想的には、推論された力学は真の力学と一致すべきである。 しかし、地上の真実データがないため、予測ベンチマークはしばしばプロキシとして使用される。 広く使われている方法の1つ*co-smoothing*は、潜在変数を共同で推定し、保持チャネルに沿って観測を予測し、モデルの性能を評価する。 本研究では,協調平滑化予測フレームワークの限界を明らかにし,その対策を提案する。 Hidden Markov Models を用いた学生・教師のセットアップにおいて、高次共平滑化モデル空間は、その潜在表現に任意の外在ダイナミクスを持つモデルを含むことを示した。 これを解決するために、より少ない試行量を用いて、潜伏変数から保持チャネルへの回帰を行う二次メトリックー *few-shot co-smoothing*を導入する。 以上の結果から, 準最適コムースティングモデルでは, 数発のコムースティングにおいて, それらのダイナミックスを欠いた「最小」モデルと比較して, 外部ダイナミクスのモデルでは性能が低いことが示唆された。 我々は、この現象の起源に関する分析的な知見を提供し、LFADSとSTNDTの2つの最先端手法を用いて、実際の神経データの発見をさらに検証する。 根底的な真実がなければ、我々は我々のアプローチを検証するための新しい手段を提案する。 すべてのモデルペアの潜伏変数を高共平滑化でクロスデコードすることにより、最小限の外部ダイナミクスを持つモデルを同定する。 数発の共平滑化性能とこの新しい測定値との相関関係を見いだす。 要約すると、我々は、より正確に基底的真理を反映した潜伏変数を得るように設計された新しい予測指標を提案し、潜伏力学の推論に顕著な改善をもたらす。

関連論文リスト

• Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
  本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• Constructing Concept-based Models to Mitigate Spurious Correlations with Minimal Human Effort [31.992947353231564]
  概念ボトルネックモデル(Concept Bottleneck Models, CBM)は、人間の理解可能な概念を通じて、モデルの振る舞いを開示し、導くための原則的な方法を提供する。 本稿では,これらのバイアスに無害でありながら事前学習モデルを活用するために設計された新しいフレームワークを提案する。 提案手法を複数のデータセット上で評価し,その解釈可能性を維持しつつ,素粒子相関によるモデル依存の低減効果を示した。
  論文  参考訳（メタデータ） (2024-07-12T03:07:28Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Predictive Churn with the Set of Good Models [64.05949860750235]
  近似機械学習モデルの集合に対する競合予測の効果について検討する。 ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。 当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
  論文  参考訳（メタデータ） (2024-02-12T16:15:25Z)
• Disentangled Neural Relational Inference for Interpretable Motion Prediction [38.40799770648501]
  グラフベース表現と時系列モデルを統合した変分自動エンコーダフレームワークを開発した。 本モデルでは,対話を特徴付ける解釈可能なエッジ特徴を付加した動的相互作用グラフを推論する。 シミュレーションと実世界の両方のデータセットに関する広範な実験を通じて、我々のアプローチを検証する。
  論文  参考訳（メタデータ） (2024-01-07T22:49:24Z)
• Mixed Effects Neural ODE: A Variational Approximation for Analyzing the Dynamics of Panel Data [50.23363975709122]
  パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。 我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。 次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-02-18T22:41:51Z)
• Distributional Depth-Based Estimation of Object Articulation Models [21.046351215949525]
  本研究では,奥行き画像から直接,調音モデルパラメータの分布を効率よく学習する手法を提案する。 私たちのコアコントリビューションには、剛体変換に対する分布の新しい表現が含まれています。 本稿では,カテゴリに依存しない調音モデル推定を行う新しい深層学習手法DUST-netを提案する。
  論文  参考訳（メタデータ） (2021-08-12T17:44:51Z)
• Latent Space Model for Higher-order Networks and Generalized Tensor Decomposition [18.07071669486882]
  我々は、複雑な高次ネットワーク相互作用を研究するために、一般的な潜在空間モデルとして定式化された統一フレームワークを導入する。 一般化された多線形カーネルをリンク関数として、潜伏位置と観測データとの関係を定式化する。 本手法が合成データに与える影響を実証する。
  論文  参考訳（メタデータ） (2021-06-30T13:11:17Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)
• Double Robust Representation Learning for Counterfactual Prediction [68.78210173955001]
  そこで本稿では, 対実予測のための2次ロバスト表現を学習するための, スケーラブルな新しい手法を提案する。 我々は、個々の治療効果と平均的な治療効果の両方に対して、堅牢で効率的な対実的予測を行う。 このアルゴリズムは,実世界の最先端技術と合成データとの競合性能を示す。
  論文  参考訳（メタデータ） (2020-10-15T16:39:26Z)
• Combining data assimilation and machine learning to emulate a dynamical model from sparse and noisy observations: a case study with the Lorenz 96 model [0.0]
  この方法は、アンサンブルカルマンフィルタとニューラルネットワークを反復的にデータ同化ステップで適用することで構成される。 データ同化は、代理モデルとスパースデータとを最適に組み合わせるために用いられる。 出力分析は空間的に完全であり、サロゲートモデルを更新するためのニューラルネットワークによるトレーニングセットとして使用される。 カオス的な40変数Lorenz 96モデルを用いて数値実験を行い、提案手法の収束と統計的スキルの両立を証明した。
  論文  参考訳（メタデータ） (2020-01-06T12:26:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。