論文の概要: Overcoming the Domain Gap in Neural Action Representations
- arxiv url: http://arxiv.org/abs/2112.01176v1
- Date: Thu, 2 Dec 2021 12:45:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-03 15:28:59.979223
- Title: Overcoming the Domain Gap in Neural Action Representations
- Title(参考訳): ニューラルアクション表現におけるドメインギャップを克服する
- Authors: Semih G\"unel and Florian Aymanns and Sina Honari and Pavan Ramdya and
Pascal Fua
- Abstract要約: 3Dポーズデータは、手動で介入することなく、マルチビュービデオシーケンスから確実に抽出できる。
本稿では,ニューラルアクション表現の符号化を,ニューラルアクションと行動拡張のセットと共に導くために使用することを提案する。
ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。
- 参考スコア(独自算出の注目度): 60.47807856873544
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Relating animal behaviors to brain activity is a fundamental goal in
neuroscience, with practical applications in building robust brain-machine
interfaces. However, the domain gap between individuals is a major issue that
prevents the training of general models that work on unlabeled subjects.
Since 3D pose data can now be reliably extracted from multi-view video
sequences without manual intervention, we propose to use it to guide the
encoding of neural action representations together with a set of neural and
behavioral augmentations exploiting the properties of microscopy imaging. To
reduce the domain gap, during training, we swap neural and behavioral data
across animals that seem to be performing similar actions.
To demonstrate this, we test our methods on three very different multimodal
datasets; one that features flies and their neural activity, one that contains
human neural Electrocorticography (ECoG) data, and lastly the RGB video data of
human activities from different viewpoints.
- Abstract(参考訳): 動物の行動と脳活動を関連付けることは神経科学の基本的な目標であり、堅牢な脳と機械のインターフェイスの構築に実践的な応用がある。
しかし、個人間のドメイン間ギャップは、ラベルなしの主題に取り組む一般的なモデルのトレーニングを妨げる主要な問題である。
3次元ポーズデータは手作業による介入なしに多視点映像列から確実に抽出できるため,神経活動表現の符号化を,顕微鏡画像の特徴を生かした一連の神経および行動の強化と共に導くことを提案する。
ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。
これを示すために、我々は、ハエとその神経活動を特徴とする3つの非常に異なるマルチモーダルデータセット、人間の脳皮質電図(ECoG)データを含む1つ、そして最後に異なる視点からの人間の活動のRGBビデオデータについて、我々の手法を検証した。
関連論文リスト
- Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳(メタデータ) (2024-02-19T09:29:37Z) - Learning Multimodal Volumetric Features for Large-Scale Neuron Tracing [72.45257414889478]
オーバーセグメントニューロン間の接続を予測し,人間の作業量を削減することを目的としている。
最初はFlyTracingという名前のデータセットを構築しました。
本稿では,高密度なボリュームEM画像の埋め込みを生成するための,新しい接続性を考慮したコントラスト学習手法を提案する。
論文 参考訳(メタデータ) (2024-01-05T19:45:12Z) - "Task-relevant autoencoding" enhances machine learning for human
neuroscience [0.0]
人間の神経科学において、機械学習は被験者の行動に関連する低次元の神経表現を明らかにするのに役立つ。
本研究では,機能拡張(TRACE)によるタスク関連オートエンコーダを開発し,その動作関連表現を抽出する能力を検証した。
TRACEは全てのモデルをほぼ一方的に上回り、分類精度は最大12%向上し、タスク関連表現の発見において最大56%改善した。
論文 参考訳(メタデータ) (2022-08-17T18:44:39Z) - Guiding Visual Attention in Deep Convolutional Neural Networks Based on
Human Eye Movements [0.0]
ディープ畳み込みニューラルネットワーク(DCNN)は、当初は生物学的ビジョンの原理にインスパイアされていた。
近年のディープラーニングの進歩は、この類似性を減らしているようだ。
有用なモデルを得るための純粋にデータ駆動型アプローチについて検討する。
論文 参考訳(メタデータ) (2022-06-21T17:59:23Z) - Learnable latent embeddings for joint behavioral and neural analysis [3.6062449190184136]
CEBRAは、空間のマッピング、複雑なキネマティックな特徴の発見、視覚野からの自然映画の高速かつ高精度な復号化に利用できることを示す。
我々は、その精度を検証し、カルシウムと電気生理学の両方のデータセット、感覚と運動のタスク、そして種全体にわたる単純または複雑な振る舞いにその有用性を実証する。
論文 参考訳(メタデータ) (2022-04-01T19:19:33Z) - Overcoming the Domain Gap in Contrastive Learning of Neural Action
Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。
我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。
このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文 参考訳(メタデータ) (2021-11-29T15:27:51Z) - Fooling the primate brain with minimal, targeted image manipulation [67.78919304747498]
本稿では、行動に反映される神経活動と知覚の両方の変化をもたらす、最小限の標的画像摂動を生成するための一連の手法を提案する。
我々の研究は、敵対的攻撃、すなわち最小限のターゲットノイズによる画像の操作で同じ目標を共有し、ANNモデルに画像の誤分類を誘導する。
論文 参考訳(メタデータ) (2020-11-11T08:30:54Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-02-02T21:09:39Z) - Investigating naturalistic hand movements by behavior mining in
long-term video and neural recordings [1.7205106391379024]
本稿では, 長期的・自然主義的脳電図(ECoG)と自然主義的行動映像データとを同時に解析するための自動的アプローチについて述べる。
対象者は7~9日間の被験者12名である。
我々のパイプラインは、行動ビデオで自然主義的な人間の上肢運動イベントを4万件以上発見し、注釈付けします。
論文 参考訳(メタデータ) (2020-01-23T02:41:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。