論文の概要: Investigating naturalistic hand movements by behavior mining in long-term video and neural recordings

• arxiv url: http://arxiv.org/abs/2001.08349v2
• Date: Fri, 19 Jun 2020 22:52:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-07 13:31:22.636858
• Title: Investigating naturalistic hand movements by behavior mining in long-term video and neural recordings
• Title（参考訳）: 長期映像・神経記録における行動マイニングによる自然的手の動きの調査
• Authors: Satpreet H. Singh, Steven M. Peterson, Rajesh P. N. Rao, Bingni W. Brunton
• Abstract要約: 本稿では, 長期的・自然主義的脳電図(ECoG)と自然主義的行動映像データとを同時に解析するための自動的アプローチについて述べる。 対象者は7～9日間の被験者12名である。 我々のパイプラインは、行動ビデオで自然主義的な人間の上肢運動イベントを4万件以上発見し、注釈付けします。
• 参考スコア（独自算出の注目度）: 1.7205106391379024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent technological advances in brain recording and artificial intelligence are propelling a new paradigm in neuroscience beyond the traditional controlled experiment. Rather than focusing on cued, repeated trials, naturalistic neuroscience studies neural processes underlying spontaneous behaviors performed in unconstrained settings. However, analyzing such unstructured data lacking a priori experimental design remains a significant challenge, especially when the data is multi-modal and long-term. Here we describe an automated approach for analyzing simultaneously recorded long-term, naturalistic electrocorticography (ECoG) and naturalistic behavior video data. We take a behavior-first approach to analyzing the long-term recordings. Using a combination of computer vision, discrete latent-variable modeling, and string pattern-matching on the behavioral video data, we find and annotate spontaneous human upper-limb movement events. We show results from our approach applied to data collected for 12 human subjects over 7--9 days for each subject. Our pipeline discovers and annotates over 40,000 instances of naturalistic human upper-limb movement events in the behavioral videos. Analysis of the simultaneously recorded brain data reveals neural signatures of movement that corroborate prior findings from traditional controlled experiments. We also prototype a decoder for a movement initiation detection task to demonstrate the efficacy of our pipeline as a source of training data for brain-computer interfacing applications. Our work addresses the unique data analysis challenges in studying naturalistic human behaviors, and contributes methods that may generalize to other neural recording modalities beyond ECoG. We publicly release our curated dataset, providing a resource to study naturalistic neural and behavioral variability at a scale not previously available.
• Abstract（参考訳）: 脳の記録と人工知能の最近の技術進歩は、従来の制御実験を超えた神経科学の新しいパラダイムを推進している。 自然主義神経科学は、反復的な試行に焦点をあてるのではなく、制約のない環境での自然行動に基づく神経過程を研究する。 しかし,事前実験設計を欠いた非構造化データの解析は,特にマルチモーダル・長期データの場合,大きな課題である。 本稿では,長期的・自然主義的脳電図(ECoG)と自然主義的行動映像データを同時に解析するための自動アプローチについて述べる。 長期録音の分析には行動優先のアプローチを採用する。 コンピュータビジョン,離散潜在変数モデリング,および行動ビデオデータに基づく文字列パターンマッチングを組み合わせることで,自然発生のヒト上肢運動イベントを発見・注釈する。 本研究は,被験者12名を対象に7～9日間に収集したデータに対して実施したアプローチの結果を示す。 我々のパイプラインは、行動ビデオで自然主義的な人間の上肢運動イベントを4万件以上発見し、注釈付けします。 同時に記録された脳データの解析により、従来の制御された実験から得られた発見を裏付ける運動の神経信号が明らかになった。 動作開始検出タスクのためのデコーダを試作し、脳-コンピュータインターフェースアプリケーションのためのトレーニングデータのソースとしてパイプラインの有効性を実証する。 我々の研究は、自然主義的人間の行動を研究する上で、ユニークなデータ分析の課題に対処し、ECoG以外の神経記録に一般化する手法に貢献する。 キュレートされたデータセットを公開し、これまで利用できなかったスケールで、自然主義的ニューラルネットワークと行動変数を研究するためのリソースを提供します。

関連論文リスト

• Exploring Behavior-Relevant and Disentangled Neural Dynamics with Generative Diffusion Models [2.600709013150986]
  行動の神経基盤を理解することは神経科学の基本的な目標である。 私たちのアプローチは、BeNeDiff'と呼ばれるもので、まずきめ細やかな神経部分空間を識別します。 次に、最先端の生成拡散モデルを使用して、各潜伏因子の神経力学を解釈する行動ビデオを合成する。
  論文  参考訳（メタデータ） (2024-10-12T18:28:56Z)
• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• Neuroformer: Multimodal and Multitask Generative Pretraining for Brain Data [3.46029409929709]
  最先端のシステム神経科学実験は大規模なマルチモーダルデータを生み出し、これらのデータセットは分析のための新しいツールを必要とする。 視覚領域と言語領域における大きな事前学習モデルの成功に触発されて、我々は大規模な細胞分解性神経スパイクデータの解析を自己回帰生成問題に再構成した。 我々はまず、シミュレーションデータセットでNeuroformerを訓練し、本質的なシミュレートされた神経回路の動作を正確に予測し、方向を含む基盤となる神経回路の接続性を推定した。
  論文  参考訳（メタデータ） (2023-10-31T20:17:32Z)
• Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
  本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。 アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
  論文  参考訳（メタデータ） (2023-05-25T16:29:16Z)
• Robust alignment of cross-session recordings of neural population activity by behaviour via unsupervised domain adaptation [1.2617078020344619]
  本研究では,同じ動物から記録された未確認データから行動関連潜伏動態を推定できるモデルを提案する。 教師なし領域適応と、複数のセッションで訓練された逐次変分オートエンコーダを組み合わせることで、見つからないデータに対して優れた一般化が達成できることを示す。
  論文  参考訳（メタデータ） (2022-02-12T22:17:30Z)
• DriPP: Driven Point Processes to Model Stimuli Induced Patterns in M/EEG Signals [62.997667081978825]
  我々はDriPPと呼ばれる新しい統計点過程モデルを開発する。 我々は、このモデルのパラメータを推定するために、高速で原理化された予測最大化(EM)アルゴリズムを導出する。 標準MEGデータセットの結果から,我々の手法が事象関連ニューラルレスポンスを明らかにすることが示された。
  論文  参考訳（メタデータ） (2021-12-08T13:07:21Z)
• Overcoming the Domain Gap in Neural Action Representations [60.47807856873544]
  3Dポーズデータは、手動で介入することなく、マルチビュービデオシーケンスから確実に抽出できる。 本稿では,ニューラルアクション表現の符号化を,ニューラルアクションと行動拡張のセットと共に導くために使用することを提案する。 ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。
  論文  参考訳（メタデータ） (2021-12-02T12:45:46Z)
• Overcoming the Domain Gap in Contrastive Learning of Neural Action Representations [60.47807856873544]
  神経科学の基本的な目標は、神経活動と行動の関係を理解することである。 我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。 このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
  論文  参考訳（メタデータ） (2021-11-29T15:27:51Z)
• Neuronal Learning Analysis using Cycle-Consistent Adversarial Networks [4.874780144224057]
  我々は、-CycleGANと呼ばれる深層生成モデルを用いて、前学習と後学習の神経活動の間の未知のマッピングを学習する。 我々は,カルシウム蛍光信号を前処理し,訓練し,評価するためのエンドツーエンドパイプラインを開発し,その結果の深層学習モデルを解釈する手法を開発した。
  論文  参考訳（メタデータ） (2021-11-25T13:24:19Z)
• Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
  被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。 グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。 まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
  論文  参考訳（メタデータ） (2020-06-11T17:29:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。