論文の概要: Decoding Dynamic Visual Experience from Calcium Imaging via Cell-Pattern-Aware SSL

• arxiv url: http://arxiv.org/abs/2510.18516v1
• Date: Tue, 21 Oct 2025 10:57:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:13.43866
• Title: Decoding Dynamic Visual Experience from Calcium Imaging via Cell-Pattern-Aware SSL
• Title（参考訳）: セルパタン対応SSLによるカルシウムイメージングによる動的視覚体験の復号
• Authors: Sangyoon Bae, Mehdi Azabou, Jiook Cha, Blake Richards,
• Abstract要約: 本稿では,ニューラルネットワークの不均一性を生かして事前学習を改善し,スケールのメリットを享受する,自己教師型プレトレーニング(POYO-SSL)の新たなアプローチを提案する。 特に、POYO-SSLでは、予測可能な(統計的に正則な)ニューロンのみを事前訓練し、単純な高次統計(歪と曲率)によって事前訓練した。 アレン・ブレイン・オブザーバトリー(Allen Brain Observatory)のデータセットでは、この戦略はオフスクラッチトレーニングよりも約12-13%の相対的なゲインを獲得し、モデルサイズで滑らかで単調なスケーリングを示す。
• 参考スコア（独自算出の注目度）: 6.099145932421348
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) holds a great deal of promise for applications in neuroscience, due to the lack of large-scale, consistently labeled neural datasets. However, most neural datasets contain heterogeneous populations that mix stable, predictable cells with highly stochastic, stimulus-contingent ones, which has made it hard to identify consistent activity patterns during SSL. As a result, self-supervised pretraining has yet to show clear signs of benefits from scale on neural data. Here, we present a novel approach to self-supervised pretraining, POYO-SSL that exploits the heterogeneity of neural data to improve pre-training and achieve benefits of scale. Specifically, in POYO-SSL we pretrain only on predictable (statistically regular) neurons-identified on the pretraining split via simple higher-order statistics (skewness and kurtosis)-then we fine-tune on the unpredictable population for downstream tasks. On the Allen Brain Observatory dataset, this strategy yields approximately 12-13% relative gains over from-scratch training and exhibits smooth, monotonic scaling with model size. In contrast, existing state-of-the-art baselines plateau or destabilize as model size increases. By making predictability an explicit metric for crafting the data diet, POYO-SSL turns heterogeneity from a liability into an asset, providing a robust, biologically grounded recipe for scalable neural decoding and a path toward foundation models of neural dynamics.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、大規模で一貫したラベル付きニューラルネットワークが欠如しているため、神経科学の応用に対する大きな約束を持っている。 しかし、ほとんどの神経データセットは、安定で予測可能な細胞と高度に確率的で刺激を伴う細胞を混合する異種集団を含んでいるため、SSL中に一貫した活動パターンを特定することは困難である。 結果として、自己教師付き事前トレーニングは、ニューラルネットワークのスケールによるメリットの明確な兆候を示していない。 本稿では、ニューラルネットワークの不均一性を利用して事前学習を改善し、スケールのメリットを享受する、自己教師付き事前学習のための新しいアプローチPOYO-SSLを提案する。 特に、POYO-SSLでは、予測可能な(統計的に正則な)ニューロンのみを事前訓練し、単純な高次統計(歪と曲率)によって事前訓練した。 アレン・ブレイン・オブザーバトリー(Allen Brain Observatory)のデータセットでは、この戦略はオフスクラッチトレーニングよりも約12-13%の相対的なゲインを獲得し、モデルサイズで滑らかで単調なスケーリングを示す。 対照的に、既存の最先端のベースラインは、モデルのサイズが大きくなるにつれて不安定になる。 予測可能性をデータダイエットを構築するための明確な指標とすることで、POYO-SSLは不均一性を負債から資産に変換し、スケーラブルなニューラルデコードのための堅牢で生物学的に基盤付けられたレシピと、ニューラルネットワークの基礎モデルへの道を提供する。

関連論文リスト

• TokenUnify: Scaling Up Autoregressive Pretraining for Neuron Segmentation [65.65530016765615]
  本稿では,3つの相補的な学習目標を通じて,大規模依存関係をキャプチャする階層型予測コーディングフレームワークを提案する。 TokenUnifyは、ランダムトークン予測、次のトークン予測、およびすべてのトークン予測を統合して、包括的な表現空間を作成する。 また,120億個の注釈付きボクセルを付加した大規模EMデータセットを導入し,空間連続性を持つ理想的な長周期視覚データを提供する。
  論文  参考訳（メタデータ） (2024-05-27T05:45:51Z)
• Self-supervised learning for skin cancer diagnosis with limited training data [0.196629787330046]
  自己教師付き学習(SSL)は、限られたトレーニングデータを持つシナリオに対するImageNetの標準教師付き事前トレーニングの代替である。 textitfurther SSL をタスク固有のデータセットで事前トレーニングし、その実装は教師あり転送学習によって動機づけられる。 タスク固有のデータに対するより最小限のSSL事前トレーニングは、限られたラベル付きデータによる医療画像分類タスクにおいて、ImageNet上の大規模なSSL事前トレーニングと同じくらい効果的である。
  論文  参考訳（メタデータ） (2024-01-01T08:11:38Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Progressive Feature Adjustment for Semi-supervised Learning from Pretrained Models [39.42802115580677]
  半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を利用して予測モデルを構築することができる。 近年の文献では、事前訓練されたモデルで最先端のSSLを適用しても、トレーニングデータの潜在能力を最大限に発揮できないことが示唆されている。 本稿では,ラベルの誤りに敏感でない特徴抽出器を更新するために,非ラベルデータから擬似ラベルを使用することを提案する。
  論文  参考訳（メタデータ） (2023-09-09T01:57:14Z)
• Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
  オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。 本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。 多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
  論文  参考訳（メタデータ） (2023-06-14T11:41:42Z)
• Neural Additive Models for Location Scale and Shape: A Framework for Interpretable Neural Regression Beyond the Mean [1.0923877073891446]
  ディープニューラルネットワーク(DNN)は、様々なタスクで非常に効果的であることが証明されている。 この成功にもかかわらず、DNNの内部構造はしばしば透明ではない。 この解釈可能性の欠如は、本質的に解釈可能なニューラルネットワークの研究の増加につながった。
  論文  参考訳（メタデータ） (2023-01-27T17:06:13Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Enhancing Mixup-based Semi-Supervised Learning with Explicit Lipschitz Regularization [5.848916882288327]
  半教師付き学習(SSL)は、大きなラベルのないデータ上での神経機能の振る舞いを活用することで、この課題を緩和する。 成功例は、ニューラルネットワークのグローバルなスムーズさを強制する、SSLでのミックスアップ戦略の採用である。 ニューラルネットワークの勾配関数のリプシッツ定数をバウンドすることで、ミキサップは神経機能の滑らかさを改善する。
  論文  参考訳（メタデータ） (2020-09-23T23:19:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。