論文の概要: BrainBits: How Much of the Brain are Generative Reconstruction Methods Using?

• arxiv url: http://arxiv.org/abs/2411.02783v1
• Date: Tue, 05 Nov 2024 03:48:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 14:59:20.910822
• Title: BrainBits: How Much of the Brain are Generative Reconstruction Methods Using?
• Title（参考訳）: BrainBits: ジェネレーティブレコンストラクション手法はどの程度使われているか?
• Authors: David Mayo, Christopher Wang, Asa Harbin, Abdulrahman Alabdulkareem, Albert Eaton Shaw, Boris Katz, Andrei Barbu,
• Abstract要約: 高い忠実度で再建を行うには、驚くほど少ない情報が脳から得られることが示されています。 方法の生成モデルの先行は、非常に強力であることは明らかであり、それらがデコードした神経信号をはるかに超える出力を生成する。 本稿では,メソッド固有のランダムベースライン,リコンストラクション天井,およびボトルネックサイズの関数としての性能曲線を報告する。
• 参考スコア（独自算出の注目度）: 14.116785190624578
• License:
• Abstract: When evaluating stimuli reconstruction results it is tempting to assume that higher fidelity text and image generation is due to an improved understanding of the brain or more powerful signal extraction from neural recordings. However, in practice, new reconstruction methods could improve performance for at least three other reasons: learning more about the distribution of stimuli, becoming better at reconstructing text or images in general, or exploiting weaknesses in current image and/or text evaluation metrics. Here we disentangle how much of the reconstruction is due to these other factors vs. productively using the neural recordings. We introduce BrainBits, a method that uses a bottleneck to quantify the amount of signal extracted from neural recordings that is actually necessary to reproduce a method's reconstruction fidelity. We find that it takes surprisingly little information from the brain to produce reconstructions with high fidelity. In these cases, it is clear that the priors of the methods' generative models are so powerful that the outputs they produce extrapolate far beyond the neural signal they decode. Given that reconstructing stimuli can be improved independently by either improving signal extraction from the brain or by building more powerful generative models, improving the latter may fool us into thinking we are improving the former. We propose that methods should report a method-specific random baseline, a reconstruction ceiling, and a curve of performance as a function of bottleneck size, with the ultimate goal of using more of the neural recordings.
• Abstract（参考訳）: 刺激再構成の結果を評価するとき、高忠実度テキストと画像生成は、脳の理解の向上や神経記録からのより強力な信号抽出によるものであると仮定する傾向にある。 しかし、実際には、新しい再構成手法は、刺激の分布についてもっと学ぶこと、テキストや画像全般の再構築が良くなること、現在の画像やテキスト評価指標の弱点を利用すること、の3つの理由により、少なくともパフォーマンスを改善することができる。 ここでは、これらの他の要因による再建の程度を、ニューラル記録を用いて生産的に比較する。 脳ビット(BrainBits)は、ボトルネックを利用して、神経記録から抽出された信号の量を定量化する手法である。 高い忠実度で再建を行うには、驚くほど少ない情報が脳から得られることがわかりました。 これらのケースでは、手法の生成モデルの先行が強力であることは明らかであり、それらが生成する出力は、デコードした神経信号より遥かに遠い。 再建刺激は、脳からの信号抽出を改善するか、より強力な生成モデルを構築することによって独立して改善できるので、後者を改善することは、私たちが前者を改善していると考えるのを騙す可能性がある。 提案手法は,ボトルネックサイズの関数として,メソッド固有のランダムベースライン,リコンストラクション天井,パフォーマンス曲線を報告すべきである。

関連論文リスト

• MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
  脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。 現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。 我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
  論文  参考訳（メタデータ） (2024-04-11T15:46:42Z)
• Brain-optimized inference improves reconstructions of fMRI brain activity [0.0]
  我々は、推論中の脳活動と再構成の整合性を最適化することで、最近の復号法をさらに改善する可能性を評価する。 基本復号法からシード再構成をサンプリングし,脳に最適化された符号化モデルを用いて繰り返し改良する。 脳活動分布にデコードを明示的にアライメントすることで,再現性を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2023-12-12T20:08:59Z)
• Improving visual image reconstruction from human brain activity using latent diffusion models via multiple decoded inputs [2.4366811507669124]
  深層学習と神経科学の統合は、脳活動の分析の改善につながった。 人間の脳活動による視覚体験の再構築は、特に恩恵を受けている分野である。 様々な復号化技術が視覚体験再構成の性能に与える影響について検討する。
  論文  参考訳（メタデータ） (2023-06-20T13:48:02Z)
• Brain Captioning: Decoding human brain activity into images and text [1.5486926490986461]
  本稿では,脳活動を意味のある画像やキャプションにデコードする革新的な手法を提案する。 提案手法は,最先端画像キャプションモデルを活用し,ユニークな画像再構成パイプラインを組み込んだものである。 生成したキャプションと画像の両方の定量的指標を用いて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-05-19T09:57:19Z)
• Patched Diffusion Models for Unsupervised Anomaly Detection in Brain MRI [55.78588835407174]
  本稿では,正常脳解剖のパッチベース推定法として拡散モデルの生成タスクを再構築する手法を提案する。 腫瘍と多発性硬化症について検討し,既存のベースラインと比較して25.1%の改善がみられた。
  論文  参考訳（メタデータ） (2023-03-07T09:40:22Z)
• BrainBERT: Self-supervised representation learning for intracranial recordings [18.52962864519609]
  我々は、神経科学に現代的な表現学習アプローチをもたらす頭蓋内記録のための再利用可能な変換器BrainBERTを開発した。 NLPや音声認識と同様に、この変換器は複雑な概念を高い精度で、はるかに少ないデータで分類することができる。 将来的には、表現学習を使用することで、はるかに多くの概念がニューラル録音から切り離され、言語モデルがアンロックされた言語のように脳をアンロックする可能性がある。
  論文  参考訳（メタデータ） (2023-02-28T07:40:37Z)
• Convolutional Neural Generative Coding: Scaling Predictive Coding to Natural Images [79.07468367923619]
  畳み込み型神経生成符号化(Conv-NGC)を開発した。 我々は、潜伏状態マップを段階的に洗練する柔軟な神経生物学的動機付けアルゴリズムを実装した。 本研究は,脳にインスパイアされたニューラル・システムによる再建と画像復調の課題に対する効果について検討する。
  論文  参考訳（メタデータ） (2022-11-22T06:42:41Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Hidden Markov Modeling for Maximum Likelihood Neuron Reconstruction [3.6321891270689055]
  脳のクリアリングとイメージングの最近の進歩により、哺乳類の脳全体をサブミクロン分解能で画像化することが可能になった。 これらの画像は、投射ニューロン形態学の脳全体のアトラスを組み立てる可能性を秘めているが、手動ニューロン再構築はいまだにボトルネックとなっている。 ここでは, 隠れマルコフモデルに触発された蛍光ニューロン画像の出現モデリングを行い, ニューロンの過程を自動的に追跡する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T20:24:56Z)
• Neural Sparse Representation for Image Restoration [116.72107034624344]
  スパース符号化に基づく画像復元モデルの堅牢性と効率に触発され,深部ネットワークにおけるニューロンの空間性について検討した。 本手法は,隠れたニューロンに対する空間的制約を構造的に強制する。 実験により、複数の画像復元タスクのためのディープニューラルネットワークではスパース表現が不可欠であることが示されている。
  論文  参考訳（メタデータ） (2020-06-08T05:15:17Z)
• Pyramid Attention Networks for Image Restoration [124.34970277136061]
  自己相似性(Self-similarity)とは、画像復元アルゴリズムで広く使われる画像を指す。 近年の深層畳み込みニューラルネットワークによる画像復元手法は, 自己相似性を十分に活用していない。 画像復元のための新しいピラミッドアテンションモジュールを提案し,マルチスケール特徴ピラミッドから長距離特徴対応をキャプチャする。
  論文  参考訳（メタデータ） (2020-04-28T21:12:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。