Fugu-MT 論文翻訳(概要): Self-supervised pretraining of vision transformers for animal behavioral analysis and neural encoding

論文の概要: Self-supervised pretraining of vision transformers for animal behavioral analysis and neural encoding

arxiv url: http://arxiv.org/abs/2507.09513v1
Date: Sun, 13 Jul 2025 06:43:05 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-15 18:48:23.373966
Title: Self-supervised pretraining of vision transformers for animal behavioral analysis and neural encoding
Title（参考訳）: 動物行動解析とニューラルエンコーディングのための視覚変換器の自己制御前訓練
Authors: Yanchen Wang, Han Yu, Ari Blau, Yizi Zhang, The International Brain Laboratory, Liam Paninski, Cole Hurwitz, Matt Whiteway,
Abstract要約: BEAST(Behavioral Analysis via Self-supervised pretraining of Transformers)は、様々な神経行動分析のために実験固有の視覚変換器を事前訓練する新しいフレームワークである。本手法は,ラベル付きデータが不足しているシナリオにおいて,行動解析を高速化する,強力で汎用的なバックボーンモデルを確立する。
参考スコア（独自算出の注目度）: 12.25140375320834
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The brain can only be fully understood through the lens of the behavior it generates -- a guiding principle in modern neuroscience research that nevertheless presents significant technical challenges. Many studies capture behavior with cameras, but video analysis approaches typically rely on specialized models requiring extensive labeled data. We address this limitation with BEAST (BEhavioral Analysis via Self-supervised pretraining of Transformers), a novel and scalable framework that pretrains experiment-specific vision transformers for diverse neuro-behavior analyses. BEAST combines masked autoencoding with temporal contrastive learning to effectively leverage unlabeled video data. Through comprehensive evaluation across multiple species, we demonstrate improved performance in three critical neuro-behavioral tasks: extracting behavioral features that correlate with neural activity, and pose estimation and action segmentation in both the single- and multi-animal settings. Our method establishes a powerful and versatile backbone model that accelerates behavioral analysis in scenarios where labeled data remains scarce.
Abstract（参考訳）: 脳は、それが生み出す行動のレンズを通してのみ完全に理解できる ― 現代の神経科学研究における指針原理であり、それでも重要な技術的課題を提示する。多くの研究はカメラで振る舞いを捉えているが、ビデオ分析のアプローチは通常、広範囲なラベル付きデータを必要とする特殊なモデルに依存している。この制限にはBEAST(Behavioral Analysis via Self-supervised pretraining of Transformers)を用いて対処する。 BEASTは、マスク付きオートエンコーディングと時間的コントラスト学習を組み合わせて、ラベルなしのビデオデータを効果的に活用する。複数の種にわたる包括的評価を通じて,神経活動と相関する行動特徴を抽出し,単個体・多個体の両方で推定と行動セグメンテーションを行う3つの重要な神経行動課題における性能向上を実証した。本手法は,ラベル付きデータが不足しているシナリオにおいて,行動解析を高速化する,強力で汎用的なバックボーンモデルを確立する。

関連論文リスト

NOBLE -- Neural Operator with Biologically-informed Latent Embeddings to Capture Experimental Variability in Biological Neuron Models [68.89389652724378]
NOBLEは、解釈可能なニューロンの特徴を連続周波数変調した埋め込みから電流注入によって誘導されるソマティック電圧応答へのマッピングを学ぶ神経オペレーターフレームワークである。内在的な実験変数を考慮したニューラルダイナミクスの分布を予測する。 NOBLEは、実際の実験データに基づいて検証された最初のスケールアップされたディープラーニングフレームワークである。
論文参考訳（メタデータ） (2025-06-05T01:01:18Z)
Neural Encoding and Decoding at Scale [42.33285735011587]
NEDS(Neural and Decoding at Scale)を実現するマルチモーダルマルチタスクモデルを提案する。私たちのアプローチの中心は、神経、行動、内部モダリティ、および相互モダリティマスキングを交互に交互に行う、新しいマルチタスクマスキング戦略です。 NEDSは、複数動物データに基づいて事前訓練された後、新しい動物に微調整された際に、符号化と復号の両方の最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2025-04-11T02:06:20Z)
In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
論文参考訳（メタデータ） (2025-03-17T02:00:49Z)
QuantFormer: Learning to Quantize for Neural Activity Forecasting in Mouse Visual Cortex [26.499583552980248]
QuantFormerは、2光子カルシウムイメージングデータから神経活動を予測するために特別に設計されたトランスフォーマーベースのモデルである。 QuantFormerは、マウス視覚野の活動を予測する新しいベンチマークを設定している。様々な刺激や個人に対して、堅牢なパフォーマンスと一般化を示す。
論文参考訳（メタデータ） (2024-12-10T07:44:35Z)
SuperAnimal pretrained pose estimation models for behavioral analysis [42.206265576708255]
行動の定量化は神経科学、獣医学、動物保護活動など様々な応用において重要である。我々は、SuperAnimalと呼ばれる新しい手法で統一基盤モデルを開発するための一連の技術革新を提案する。
論文参考訳（メタデータ） (2022-03-14T18:46:57Z)
Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文参考訳（メタデータ） (2022-02-01T17:11:13Z)
Overcoming the Domain Gap in Neural Action Representations [60.47807856873544]
3Dポーズデータは、手動で介入することなく、マルチビュービデオシーケンスから確実に抽出できる。本稿では,ニューラルアクション表現の符号化を,ニューラルアクションと行動拡張のセットと共に導くために使用することを提案する。ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。
論文参考訳（メタデータ） (2021-12-02T12:45:46Z)
Overcoming the Domain Gap in Contrastive Learning of Neural Action Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文参考訳（メタデータ） (2021-11-29T15:27:51Z)
Neuronal Learning Analysis using Cycle-Consistent Adversarial Networks [4.874780144224057]
我々は、-CycleGANと呼ばれる深層生成モデルを用いて、前学習と後学習の神経活動の間の未知のマッピングを学習する。我々は,カルシウム蛍光信号を前処理し,訓練し,評価するためのエンドツーエンドパイプラインを開発し,その結果の深層学習モデルを解釈する手法を開発した。
論文参考訳（メタデータ） (2021-11-25T13:24:19Z)
Muti-view Mouse Social Behaviour Recognition with Deep Graphical Model [124.26611454540813]
マウスの社会的行動分析は神経変性疾患の治療効果を評価する貴重なツールである。マウスの社会行動の豊かな記述を創出する可能性から、ネズミの観察にマルチビュービデオ記録を使用することは、ますます注目を集めている。本稿では,ビュー固有のサブ構造とビュー共有サブ構造を協調的に学習する,新しい多視点潜在意識・動的識別モデルを提案する。
論文参考訳（メタデータ） (2020-11-04T18:09:58Z)
Investigating naturalistic hand movements by behavior mining in long-term video and neural recordings [1.7205106391379024]
本稿では, 長期的・自然主義的脳電図(ECoG)と自然主義的行動映像データとを同時に解析するための自動的アプローチについて述べる。対象者は7～9日間の被験者12名である。我々のパイプラインは、行動ビデオで自然主義的な人間の上肢運動イベントを4万件以上発見し、注釈付けします。
論文参考訳（メタデータ） (2020-01-23T02:41:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。