論文の概要: The Role of Review Process Failures in Affective State Estimation: An Empirical Investigation of DEAP Dataset

• arxiv url: http://arxiv.org/abs/2508.02417v1
• Date: Mon, 04 Aug 2025 13:40:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:22.357845
• Title: The Role of Review Process Failures in Affective State Estimation: An Empirical Investigation of DEAP Dataset
• Title（参考訳）: 影響のある状態推定におけるレビュープロセスの失敗の役割--DEAPデータセットの実証的研究
• Authors: Nazmun N Khan, Taylor Sweet, Chase A Harvey, Calder Knapp, Dean J. Krusienski, David E Thompson,
• Abstract要約: 感情認識のためのDEAPデータセットについて101つの研究を概観した。 レビューされた論文の87%近くが、これらのエラーを1つ以上含んでいることがわかった。 これらの結果は、標準化された評価実践における根本的なギャップを明らかにし、神経科学における機械学習応用のためのピアレビュープロセスにおける重要な欠陥を強調している。
• 参考スコア（独自算出の注目度）: 0.45080838507508303
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The reliability of affective state estimation using EEG data is in question, given the variability in reported performance and the lack of standardized evaluation protocols. To investigate this, we reviewed 101 studies, focusing on the widely used DEAP dataset for emotion recognition. Our analysis revealed widespread methodological issues that include data leakage from improper segmentation, biased feature selection, flawed hyperparameter optimization, neglect of class imbalance, and insufficient methodological reporting. Notably, we found that nearly 87% of the reviewed papers contained one or more of these errors. Moreover, through experimental analysis, we observed that such methodological flaws can inflate the classification accuracy by up to 46%. These findings reveal fundamental gaps in standardized evaluation practices and highlight critical deficiencies in the peer review process for machine learning applications in neuroscience, emphasizing the urgent need for stricter methodological standards and evaluation protocols.
• Abstract（参考訳）: 脳波データを用いた情動状態推定の信頼性は、報告された性能の変動と標準化された評価プロトコルの欠如を考えると問題である。 そこで本研究では,感情認識に広く用いられているDEAPデータセットに着目し,101つの研究を概観した。 分析の結果,不適切なセグメンテーションからのデータ漏洩,特徴選択の偏り,ハイパーパラメータ最適化の欠陥,クラス不均衡の無視,方法論報告の不備など,幅広い方法論上の課題が明らかになった。 特に、レビューされた論文の87%近くが、これらのエラーを1つ以上含んでいることがわかった。 さらに, 実験解析により, 分類精度を最大46%向上させることができることがわかった。 これらの知見は、標準化された評価実践の根本的なギャップを明らかにし、神経科学における機械学習応用のピアレビュープロセスにおける重要な欠陥を強調し、より厳格な方法論標準と評価プロトコルの必要性を強調した。

関連論文リスト

• Data Leakage and Deceptive Performance: A Critical Examination of Credit Card Fraud Detection Methodologies [2.6703221234079946]
  本研究はクレジットカード不正検出研究における方法論的厳密性について批判的に検討する。 基本的な方法論の原則に反した場合、単純なモデルでさえ、見事に印象的な結果が得られることを実証する。
  論文  参考訳（メタデータ） (2025-06-03T09:56:43Z)
• Causal Machine Learning Methods for Estimating Personalised Treatment Effects -- Insights on validity from two large trials [0.0]
  因果機械学習(ML)手法は、精密医療の進歩に大いに貢献する。 本研究では,17種類の主流因果ML法の内部および外的妥当性について検討した。
  論文  参考訳（メタデータ） (2025-01-07T09:44:05Z)
• Testing and Improving the Robustness of Amortized Bayesian Inference for Cognitive Models [0.5223954072121659]
  汚染物質観測とアウトリーチは、認知モデルのパラメータを推定する際にしばしば問題を引き起こす。 本研究では,アモルタイズされたベイズ推定を用いたパラメータ推定のロバスト性を検証・改善する。 提案手法は実装が簡単で実用的であり,外乱検出や除去が困難な分野に適用可能である。
  論文  参考訳（メタデータ） (2024-12-29T21:22:24Z)
• Pitfalls of topology-aware image segmentation [81.19923502845441]
  我々は、不適切な接続選択、見過ごされたトポロジカルアーティファクト、評価指標の不適切な使用を含むモデル評価における致命的な落とし穴を同定する。 本稿では,トポロジを意識した医用画像分割手法の公正かつ堅牢な評価基準を確立するための,行動可能なレコメンデーションセットを提案する。
  論文  参考訳（メタデータ） (2024-12-19T08:11:42Z)
• Unified Uncertainty Estimation for Cognitive Diagnosis Models [70.46998436898205]
  本稿では,幅広い認知診断モデルに対する統一的不確実性推定手法を提案する。 診断パラメータの不確かさをデータ・アスペクトとモデル・アスペクトに分解する。 本手法は有効であり,認知診断の不確実性に関する有用な知見を提供することができる。
  論文  参考訳（メタデータ） (2024-03-09T13:48:20Z)
• On Pixel-level Performance Assessment in Anomaly Detection [87.7131059062292]
  異常検出法は様々な応用において顕著な成功を収めている。 しかし、特にピクセルレベルでのパフォーマンスを評価することは複雑な課題である。 本稿では,視覚的エビデンスと統計的分析により,この課題の複雑さを解明する。
  論文  参考訳（メタデータ） (2023-10-25T08:02:27Z)
• Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
  人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• In Search of Insights, Not Magic Bullets: Towards Demystification of the Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
  本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。 選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
  論文  参考訳（メタデータ） (2023-02-06T16:55:37Z)
• A Call to Reflect on Evaluation Practices for Failure Detection in Image Classification [0.491574468325115]
  本稿では,信頼度評価関数のベンチマーク化を初めて実現した大規模実証的研究について述べる。 簡便なソフトマックス応答ベースラインを全体の最高の実行方法として明らかにすることは、現在の評価の劇的な欠点を浮き彫りにする。
  論文  参考訳（メタデータ） (2022-11-28T12:25:27Z)
• Systematic Evaluation of Predictive Fairness [60.0947291284978]
  バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。 複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。 データ条件が相対モデルの性能に強い影響を与えることがわかった。
  論文  参考訳（メタデータ） (2022-10-17T05:40:13Z)
• Interpretable Off-Policy Evaluation in Reinforcement Learning by Highlighting Influential Transitions [48.91284724066349]
  強化学習におけるオフ政治評価は、医療や教育などの領域における将来の成果を改善するために観察データを使用する機会を提供する。 信頼区間のような従来の尺度は、ノイズ、限られたデータ、不確実性のために不十分である可能性がある。 我々は,人間専門家が政策評価評価評価の妥当性を分析できるように,ハイブリッドAIシステムとして機能する手法を開発した。
  論文  参考訳（メタデータ） (2020-02-10T00:26:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。