論文の概要: Overcoming the Domain Gap in Neural Action Representations

• arxiv url: http://arxiv.org/abs/2112.01176v1
• Date: Thu, 2 Dec 2021 12:45:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-03 15:28:59.979223
• Title: Overcoming the Domain Gap in Neural Action Representations
• Title（参考訳）: ニューラルアクション表現におけるドメインギャップを克服する
• Authors: Semih G\"unel and Florian Aymanns and Sina Honari and Pavan Ramdya and Pascal Fua
• Abstract要約: 3Dポーズデータは、手動で介入することなく、マルチビュービデオシーケンスから確実に抽出できる。 本稿では,ニューラルアクション表現の符号化を,ニューラルアクションと行動拡張のセットと共に導くために使用することを提案する。 ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。
• 参考スコア（独自算出の注目度）: 60.47807856873544
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Relating animal behaviors to brain activity is a fundamental goal in neuroscience, with practical applications in building robust brain-machine interfaces. However, the domain gap between individuals is a major issue that prevents the training of general models that work on unlabeled subjects. Since 3D pose data can now be reliably extracted from multi-view video sequences without manual intervention, we propose to use it to guide the encoding of neural action representations together with a set of neural and behavioral augmentations exploiting the properties of microscopy imaging. To reduce the domain gap, during training, we swap neural and behavioral data across animals that seem to be performing similar actions. To demonstrate this, we test our methods on three very different multimodal datasets; one that features flies and their neural activity, one that contains human neural Electrocorticography (ECoG) data, and lastly the RGB video data of human activities from different viewpoints.
• Abstract（参考訳）: 動物の行動と脳活動を関連付けることは神経科学の基本的な目標であり、堅牢な脳と機械のインターフェイスの構築に実践的な応用がある。 しかし、個人間のドメイン間ギャップは、ラベルなしの主題に取り組む一般的なモデルのトレーニングを妨げる主要な問題である。 3次元ポーズデータは手作業による介入なしに多視点映像列から確実に抽出できるため,神経活動表現の符号化を,顕微鏡画像の特徴を生かした一連の神経および行動の強化と共に導くことを提案する。 ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。 これを示すために、我々は、ハエとその神経活動を特徴とする3つの非常に異なるマルチモーダルデータセット、人間の脳皮質電図(ECoG)データを含む1つ、そして最後に異なる視点からの人間の活動のRGBビデオデータについて、我々の手法を検証した。

関連論文リスト

• Exploring Behavior-Relevant and Disentangled Neural Dynamics with Generative Diffusion Models [2.600709013150986]
  行動の神経基盤を理解することは神経科学の基本的な目標である。 私たちのアプローチは、BeNeDiff'と呼ばれるもので、まずきめ細やかな神経部分空間を識別します。 次に、最先端の生成拡散モデルを使用して、各潜伏因子の神経力学を解釈する行動ビデオを合成する。
  論文  参考訳（メタデータ） (2024-10-12T18:28:56Z)
• Brain3D: Generating 3D Objects from fMRI [76.41771117405973]
  被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。 我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。 予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
  論文  参考訳（メタデータ） (2024-05-24T06:06:11Z)
• Learning Multimodal Volumetric Features for Large-Scale Neuron Tracing [72.45257414889478]
  オーバーセグメントニューロン間の接続を予測し,人間の作業量を削減することを目的としている。 最初はFlyTracingという名前のデータセットを構築しました。 本稿では,高密度なボリュームEM画像の埋め込みを生成するための,新しい接続性を考慮したコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-05T19:45:12Z)
• Evaluating alignment between humans and neural network representations in image-based learning tasks [5.657101730705275]
  トレーニング済みの860ドルのニューラルネットワークモデルの表現が、人間の学習軌跡にどのようにマッピングされているかテストしました。 トレーニングデータセットのサイズは人間の選択に沿った中核的な決定要因であるのに対し、マルチモーダルデータ(テキストと画像)による対照的なトレーニングは、人間の一般化を予測するために現在公開されているモデルの一般的な特徴であることがわかった。 結論として、事前訓練されたニューラルネットワークは、タスク間で伝達可能な認知の基本的な側面を捉えているように見えるため、認知モデルのための表現を抽出するのに役立つ。
  論文  参考訳（メタデータ） (2023-06-15T08:18:29Z)
• "Task-relevant autoencoding" enhances machine learning for human neuroscience [0.0]
  人間の神経科学において、機械学習は被験者の行動に関連する低次元の神経表現を明らかにするのに役立つ。 本研究では,機能拡張(TRACE)によるタスク関連オートエンコーダを開発し,その動作関連表現を抽出する能力を検証した。 TRACEは全てのモデルをほぼ一方的に上回り、分類精度は最大12%向上し、タスク関連表現の発見において最大56%改善した。
  論文  参考訳（メタデータ） (2022-08-17T18:44:39Z)
• Overcoming the Domain Gap in Contrastive Learning of Neural Action Representations [60.47807856873544]
  神経科学の基本的な目標は、神経活動と行動の関係を理解することである。 我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。 このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
  論文  参考訳（メタデータ） (2021-11-29T15:27:51Z)
• Fooling the primate brain with minimal, targeted image manipulation [67.78919304747498]
  本稿では、行動に反映される神経活動と知覚の両方の変化をもたらす、最小限の標的画像摂動を生成するための一連の手法を提案する。 我々の研究は、敵対的攻撃、すなわち最小限のターゲットノイズによる画像の操作で同じ目標を共有し、ANNモデルに画像の誤分類を誘導する。
  論文  参考訳（メタデータ） (2020-11-11T08:30:54Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)
• Investigating naturalistic hand movements by behavior mining in long-term video and neural recordings [1.7205106391379024]
  本稿では, 長期的・自然主義的脳電図(ECoG)と自然主義的行動映像データとを同時に解析するための自動的アプローチについて述べる。 対象者は7～9日間の被験者12名である。 我々のパイプラインは、行動ビデオで自然主義的な人間の上肢運動イベントを4万件以上発見し、注釈付けします。
  論文  参考訳（メタデータ） (2020-01-23T02:41:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。