論文の概要: NeuralBench: A Unifying Framework to Benchmark NeuroAI Models

• arxiv url: http://arxiv.org/abs/2605.08495v1
• Date: Fri, 08 May 2026 21:19:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.685122
• Title: NeuralBench: A Unifying Framework to Benchmark NeuroAI Models
• Title（参考訳）: NeuralBench: NeuroAIモデルをベンチマークするための統一フレームワーク
• Authors: Hubert Banville, Stéphane d'Ascoli, Simon Dahan, Jérémy Rapin, Marlène Careil, Yohann Benchetrit, Jarod Lévy, Saarang Panchavati, Antoine Ratouchniak, Mingfang, Zhang, Elisa Cascardi, Katelyn Begany, Teon Brooks, Jean-Rémi King,
• Abstract要約: 我々は,脳活動のAIモデルをベンチマークする統合フレームワークであるNeuralBenchを紹介する。 このフレームワークには、36の脳波(EEG)タスクと14のディープラーニングアーキテクチャを含む、大規模なEEGベンチマークであるNeuralBench-EEG v1.0があります。 我々はコミュニティに、このオープンソースフレームワークを拡張し、ニューロイメージングモデルのための統一されたベンチマーク標準に向けて協力するよう呼びかけます。
• 参考スコア（独自算出の注目度）: 26.76633418447614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning and large public datasets have recently catalyzed the proliferation of AI models for processing brain recordings. However, systematically evaluating these models remains a challenge: not only do the preprocessing pipelines, training and finetuning approaches largely vary across studies, but their downstream evaluation is often limited to small sets of tasks and/or datasets. Here, we present NeuralBench: a unified framework for benchmarking AI models of brain activity. We accompany this framework with NeuralBench-EEG v1.0 -- a large EEG benchmark that includes 36 electroencephalography (EEG) tasks and 14 deep learning architectures, and is evaluated on 94 datasets accessed through a standardized interface. This first EEG-focused release already highlights two main findings. First, current foundation models only marginally outperform task-specific models. Second, a large set of tasks (e.g. cognitive decoding, clinical predictions) remain highly challenging, even for the best models. Critically, NeuralBench is designed for the integration of new tasks, datasets, models, and neuroimaging modalities, as illustrated by preliminary extensions to MEG and fMRI datasets and models. Through this white paper, we invite the community to expand this open-source framework and work together toward a unified benchmarking standard for neuroimaging models.
• Abstract（参考訳）: ディープラーニングと大規模な公開データセットは、最近、脳記録を処理するAIモデルの拡散を触媒している。 しかし、これらのモデルを体系的に評価することは課題であり、前処理パイプライン、トレーニング、微調整アプローチは研究によって大きく異なるだけでなく、下流の評価は小さなタスクやデータセットに限られることが多い。 本稿では,脳活動のAIモデルをベンチマークする統合フレームワークであるNeuralBenchを紹介する。 このフレームワークには、36の脳波(EEG)タスクと14のディープラーニングアーキテクチャを含む大規模なEEGベンチマークであるNeuralBench-EEG v1.0があり、標準化されたインターフェースを通じてアクセスされた94のデータセットで評価されている。 この最初のEEGにフォーカスしたリリースは、2つの主要な発見をすでに強調している。 第一に、現在の基礎モデルはタスク固有のモデルよりわずかに優れている。 第二に、多くのタスク(認知的デコーディング、臨床予測など)は、最高のモデルであっても非常に難しいままです。 批判的に、NeuralBenchはMEGとfMRIデータセットとモデルへの事前拡張によって説明されるように、新しいタスク、データセット、モデル、ニューロイメージングのモダリティの統合のために設計されている。 このホワイトペーパーを通じて、我々はコミュニティにこのオープンソースフレームワークを拡張し、ニューロイメージングモデルのための統一されたベンチマーク標準に向けて協力するよう呼びかける。

関連論文リスト

• EEG Foundation Models: Progresses, Benchmarking, and Open Problems [10.447009984769819]
  我々は、50の代表的なEEG基盤モデルをレビューし、その設計選択を統合された分類学的枠組みにまとめる。 9つのBCIパラダイムにまたがる13のEEGデータセットに対して、12のオープンソースファンデーションモデルと、競合するスペシャリストベースラインを評価します。
  論文  参考訳（メタデータ） (2026-01-25T15:28:50Z)
• SMPLest-X: Ultimate Scaling for Expressive Human Pose and Shape Estimation [81.36747103102459]
  表現的人間のポーズと形状推定(EHPS)は、身体、手、顔の動きを多数の応用で統合する。 現在の最先端の手法は、限定されたデータセット上で革新的なアーキテクチャ設計を訓練することに焦点を当てている。 本稿では,EHPSのスケールアップが一般基盤モデルのファミリに与える影響について検討する。
  論文  参考訳（メタデータ） (2025-01-16T18:59:46Z)
• PerturBench: Benchmarking Machine Learning Models for Cellular Perturbation Analysis [8.785345412061792]
  摂動に対する単一細胞転写応答をモデル化するための包括的枠組みを提案する。 私たちのアプローチには、モジュラーでユーザフレンドリなモデル開発と評価プラットフォームが含まれています。 モード崩壊など、広く使われているモデルの限界を強調します。
  論文  参考訳（メタデータ） (2024-08-20T07:40:20Z)
• GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
  我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。 GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。 本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
  論文  参考訳（メタデータ） (2024-06-01T08:01:05Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Neuro-GPT: Towards A Foundation Model for EEG [0.04188114563181615]
  脳波エンコーダとGPTモデルからなる基礎モデルであるNeuro-GPTを提案する。 ファンデーションモデルは、マスクされたEEGセグメントの再構築方法を学ぶ自己教師付きタスクを使用して、大規模なデータセット上で事前訓練される。 基礎モデルを適用することで、スクラッチからトレーニングしたモデルと比較して、分類性能が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2023-11-07T07:07:18Z)
• A Joint Learning Approach for Semi-supervised Neural Topic Modeling [25.104653662416023]
  本稿では,最初の効果的な上流半教師付きニューラルトピックモデルであるラベル付きニューラルトピックモデル(LI-NTM)を紹介する。 LI-NTMは文書再構成ベンチマークにおいて既存のニューラルトピックモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-04-07T04:42:17Z)
• A multi-stage machine learning model on diagnosis of esophageal manometry [50.591267188664666]
  このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。 これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
  論文  参考訳（メタデータ） (2021-06-25T20:09:23Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。