論文の概要: Learning Time-Scale Invariant Population-Level Neural Representations

• arxiv url: http://arxiv.org/abs/2511.13022v1
• Date: Mon, 17 Nov 2025 06:20:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:24.716266
• Title: Learning Time-Scale Invariant Population-Level Neural Representations
• Title（参考訳）: 時間スケール不変な人口レベルニューラル表現の学習
• Authors: Eshani Patel, Yisong Yue, Geeling Chau,
• Abstract要約: ニューラルネットワークシリーズの汎用基盤モデルは、神経科学的な発見を加速し、脳コンピュータインタフェース(BCI)のような応用を可能にする。 これらのモデルをスケールする上で重要な要素は、人口レベルの表現学習である。 人口レベルのアプローチでは、事前訓練された時間エンコーダ上で学習し、様々な下流タスクをデコードするのに有用な表現を生成することができる。
• 参考スコア（独自算出の注目度）: 24.716617214869753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: General-purpose foundation models for neural time series can help accelerate neuroscientific discoveries and enable applications such as brain computer interfaces (BCIs). A key component in scaling these models is population-level representation learning, which leverages information across channels to capture spatial as well as temporal structure. Population-level approaches have recently shown that such representations can be both efficient to learn on top of pretrained temporal encoders and produce useful representations for decoding a variety of downstream tasks. However, these models remain sensitive to mismatches in preprocessing, particularly on time-scales, between pretraining and downstream settings. We systematically examine how time-scale mismatches affects generalization and find that existing representations lack invariance. To address this, we introduce Time-scale Augmented Pretraining (TSAP), which consistently improves robustness to different time-scales across decoding tasks and builds invariance in the representation space. These results highlight handling preprocessing diversity as a key step toward building generalizable neural foundation models.
• Abstract（参考訳）: ニューラルネットワークシリーズの汎用基盤モデルは、神経科学的な発見を加速し、脳コンピュータインタフェース(BCI)のような応用を可能にする。 これらのモデルをスケールする上で重要な要素は人口レベルの表現学習であり、チャネル間の情報を活用して空間的および時間的構造をキャプチャする。 人口レベルのアプローチでは、事前訓練された時間エンコーダ上で学習し、様々な下流タスクをデコードするのに有用な表現を生成することができる。 しかし、これらのモデルは前処理におけるミスマッチ、特に前処理と下流の設定の間の時間スケールに敏感である。 我々は,時間スケールのミスマッチが一般化にどのように影響するかを体系的に検討し,既存の表現には相違がないことを示す。 これを解決するために、時間スケール拡張事前訓練(TSAP)を導入し、デコードタスク間で異なる時間スケールに対するロバスト性を一貫して改善し、表現空間に不変性を構築する。 これらの結果は、一般化可能なニューラルネットワーク基盤モデルを構築するための重要なステップとして、事前処理の多様性の扱いを強調している。

関連論文リスト

• Multivariate Long-term Time Series Forecasting with Fourier Neural Filter [42.60778405812048]
  我々はFNFをバックボーンとして、DBDをアーキテクチャとして導入し、空間時間モデルのための優れた学習能力と最適な学習経路を提供する。 FNFは、局所時間領域とグローバル周波数領域の情報処理を単一のバックボーン内で統合し、空間的モデリングに自然に拡張することを示す。
  論文  参考訳（メタデータ） (2025-06-10T18:40:20Z)
• Generalizable, real-time neural decoding with hybrid state-space models [19.90083268518243]
  本稿では、クロスアテンションモジュールによる個別スパイクトークン化と、再帰状態空間モデル(SSM)のバックボーンを組み合わせた、新しいハイブリッドアーキテクチャPOSSMを提案する。 サル運動タスクの皮質内復号におけるPOSSMの復号性能と推論速度を評価し,臨床応用に拡張することを示す。 これらすべてのタスクにおいて、POSSMは、最先端のトランスフォーマーに匹敵する復号精度を推論コストのごく一部で達成している。
  論文  参考訳（メタデータ） (2025-06-05T17:57:08Z)
• Enhancing Foundation Models for Time Series Forecasting via Wavelet-based Tokenization [74.3339999119713]
  我々はウェーブレットベースのトークンーザを開発し、時間局所化周波数の空間でモデルが複雑な表現を直接学習できるようにする。 提案手法は,まず入力時系列をスケール・分解し,次に閾値を設定し,ウェーブレット係数を定量化し,最後に予測水平方向の係数を予測する自己回帰モデルを事前学習する。
  論文  参考訳（メタデータ） (2024-12-06T18:22:59Z)
• TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
  時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
  論文  参考訳（メタデータ） (2024-02-04T13:10:51Z)
• FocusLearn: Fully-Interpretable, High-Performance Modular Neural Networks for Time Series [0.3277163122167434]
  本稿では,構築によって解釈可能な時系列予測のための新しいモジュール型ニューラルネットワークモデルを提案する。 リカレントニューラルネットワークはデータ内の時間的依存関係を学習し、アテンションベースの特徴選択コンポーネントは最も関連性の高い特徴を選択する。 モジュール型のディープネットワークは、選択した機能から独立してトレーニングされ、ユーザーが機能がどのように結果に影響を与えるかを示し、モデルを解釈できる。
  論文  参考訳（メタデータ） (2023-11-28T14:51:06Z)
• Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
  コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。 対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。 本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
  論文  参考訳（メタデータ） (2023-03-21T15:02:50Z)
• Learning time-scales in two-layers neural networks [11.878594839685471]
  高次元の広層ニューラルネットワークの勾配流れのダイナミクスについて検討する。 新たな厳密な結果に基づいて,この環境下での学習力学のシナリオを提案する。
  論文  参考訳（メタデータ） (2023-02-28T19:52:26Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• The Effectiveness of Discretization in Forecasting: An Empirical Study on Neural Time Series Models [15.281725756608981]
  ニューラル予測アーキテクチャの予測性能に及ぼすデータ入力および出力変換の影響について検討する。 バイナリ化は実値入力の正規化に比べてほぼ常に性能が向上することがわかった。
  論文  参考訳（メタデータ） (2020-05-20T15:09:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。