論文の概要: Which Metric Reflects the Spelling Rate Accuracy in Event-Related Potential-Based Brain-Computer Interfaces?
- arxiv url: http://arxiv.org/abs/2607.00794v1
- Date: Wed, 01 Jul 2026 11:23:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.868345
- Title: Which Metric Reflects the Spelling Rate Accuracy in Event-Related Potential-Based Brain-Computer Interfaces?
- Title（参考訳）: 事象関連電位に基づく脳-コンピュータインタフェースにおけるスペルレートの精度を反映する指標
- Abstract要約: そこで本研究では,スペル率と13の指標との相関関係について検討し,ユーザのスペル性能を最もよく反映する指標を同定した。
これらの知見は、ERPベースのBCI実験において、研究者や実践者がこれらの指標を報告することを奨励する。
- 参考スコア（独自算出の注目度）: 0.8594140167290097
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For predictive models, the often-reported performance metrics are the loss and accuracy. In synchronous Brain- Computer Interface (BCI) systems, these metrics are informative for most BCI paradigms; however, for Event-Related Potential (ERP) applications the spelling rate, which measures the number of characters correctly selected is more important as it influences the estimation of information transfer rate (ITR) and any related metric measuring spelling performance. Moreover, ERP-based BCIs hold imbalanced data class distributions, which require reporting metrics that can handle the imbalance, such as the area under the receiver operating characteristic curve (ROC AUC). In this work, we study the correlation of the spelling rate with 13 metrics to identify which among them best reflect user spelling performance and how they are affected by trial repetition. The Results of two datasets (a private LARESI ERP dataset and the public OpenBMI ERP dataset) favor the Brier score, Matthews Correlation Coefficient (MCC), and the metrics that account for class imbalance in binary classification: ROC AUC, area under the Precision-Recall curve (PR AUC), Average Precision (AP), and partial AUC (pAUC). These findings encourage researchers and practitioners to report those metrics in ERP-based BCI experiments.
- Abstract（参考訳）: 予測モデルの場合、しばしば報告されるパフォーマンス指標は損失と精度である。
同期脳-コンピュータインタフェース(BCI)システムでは、これらの指標はほとんどのBCIパラダイムにおいて有益であるが、イベント関連電位(ERP)アプリケーションでは、情報伝達率(ITR)と関連する計測スペル性能に影響を及ぼすため、正しく選択された文字数を測定するスペルレートがより重要である。
さらに、ERPベースのBCIは、レシーバ操作特性曲線(ROC AUC)の下の領域のような、不均衡を扱うことのできるレポートメトリクスを必要とする不均衡なデータクラス分布を保持する。
本研究では,スペル率と13の指標との相関関係について検討し,どの指標がユーザのスペル性能を最もよく反映しているか,試行錯誤による影響について検討した。
2つのデータセット(プライベートLARESI ERPデータセットとパブリックOpenBMI ERPデータセット)の結果は、ブライアスコア、マシューズ相関係数(MCC)、バイナリ分類におけるクラス不均衡(ROC AUC)、精度-リコール曲線(PR AUC)以下の領域、平均精度(AP)、部分的AUC(pAUC)の指標を好んでいる。
これらの知見は、ERPベースのBCI実験において、研究者や実践者がこれらの指標を報告することを奨励する。
関連論文リスト
- Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。
テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
論文 参考訳（メタデータ） (2026-06-17T08:10:30Z) - Bayesian Classification with Probit-link Split-and-merge Gaussian Process Prior in EEG-based Brain-Computer Interfaces [2.188784024717626]
事象関連電位(ERP)に基づく脳-コンピュータインタフェース(BCI)スペルシステムにより、視覚刺激に対する脳反応を検出して文字を選択できる。
1つの課題は、P300コンポーネントのようなターゲット関連の応答を正確に識別することである。
刺激に対する脳波応答のバイナリ分類のための新しいベイズ生成モデルフレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-29T03:05:06Z) - Quantifying Spatial Domain Explanations in BCI using Earth Mover's Distance [6.038190786160174]
BCIは、人間とコンピュータの独特なコミュニケーションを促進し、障害のある個人に利益をもたらす。
BCIのパフォーマンスを評価し、説明することが不可欠で、潜在的ユーザに対して、期待通り動作しない場合にフラストレーションを避けるための明確な説明を提供する。
論文 参考訳（メタデータ） (2024-05-02T13:35:15Z) - Machine Translation Meta Evaluation through Translation Accuracy
Challenge Sets [92.38654521870444]
ACESは146の言語ペアにまたがる対照的な課題セットです。
このデータセットは、メトリクスが68の翻訳精度の誤差を識別できるかどうかを調べることを目的としている。
我々は、WMT2022および2023のメトリクス共有タスクに提出された50のメトリクスに対して、ACESをベンチマークすることで、大規模な研究を行う。
論文 参考訳（メタデータ） (2024-01-29T17:17:42Z) - Rapid Adaptation in Online Continual Learning: Are We Evaluating It
Right? [135.71855998537347]
オンライン連続学習(OCL)アルゴリズムの適応性を評価するための一般的な手法を,オンライン精度の指標を用いて再検討する。
空白のブラインド分類器でさえ、非現実的に高いオンライン精度を達成できるため、この指標は信頼できない。
既存のOCLアルゴリズムは、オンラインの精度も高いが、有用な情報の保持は不十分である。
論文 参考訳（メタデータ） (2023-05-16T08:29:33Z) - Metric Learning Improves the Ability of Combinatorial Coverage Metrics
to Anticipate Classification Error [0.0]
多くの機械学習手法は、トレーニングデータとは異なるテストデータや運用データに敏感である。
計量学習は、異なるクラスのデータがさらに離れている潜在空間を学習する技術である。
6つのオープンソースデータセットについて検討した結果, パラメータ学習により, 正確な分類値と誤分類値との差が増大していることが判明した。
論文 参考訳（メタデータ） (2023-02-28T14:55:57Z) - Information Transfer Rate in BCIs: Towards Tightly Integrated Symbiosis [0.0]
情報伝送率(ITR、英: information transmission rate)は、広く使われている情報測定指標である。
未来的BCI設計のためのエンド・ツー・エンドの設計を正確に表現するためには、より徹底的な検討とITRの定義が必要である。
再生視覚経路によってホストされる共生通信媒体を離散的なメモリレスチャネルとしてモデル化し,改良されたキャパシティ表現を用いてITRを再定義する。
論文 参考訳（メタデータ） (2023-01-01T23:07:59Z) - Analysis and Comparison of Classification Metrics [12.092755413404245]
システムスコアの測定基準には、ROC曲線下の領域、等誤差率、クロスエントロピー、ブライアスコア、ベイズECまたはベイズリスクが含まれる。
これらの測定値を用いてシステムのキャリブレーション損失を計算し、この測定値を広く使用されている予測キャリブレーション誤差(ECE)と比較する。
論文 参考訳（メタデータ） (2022-09-12T16:06:10Z) - Conditional Bilingual Mutual Information Based Adaptive Training for
Neural Machine Translation [66.23055784400475]
トークンレベルの適応トレーニングアプローチはトークンの不均衡問題を緩和することができる。
条件付きバイリンガル相互情報(CBMI)という目標コンテキスト対応メトリックを提案する。
CBMIは、事前の統計計算なしで、モデルトレーニング中に効率的に計算することができる。
論文 参考訳（メタデータ） (2022-03-06T12:34:10Z) - Correct-N-Contrast: A Contrastive Approach for Improving Robustness to Spurious Correlations [89.86495158918615]
豪華な相関関係は、堅牢な機械学習にとって大きな課題となる。
経験的リスク最小化(ERM)で訓練されたモデルは、クラスラベルとスプリアス属性の相関に依存することを学習することができる。
CNC(Correct-N-Contrast, Correct-N-Contrast)を提案する。
論文 参考訳（メタデータ） (2022-03-03T05:03:28Z) - Decorrelated Clustering with Data Selection Bias [55.91842043124102]
本稿では,データ選択バイアスを伴うクラスタリングのためのデコリレーション正規化K-Meansアルゴリズム(DCKM)を提案する。
DCKMアルゴリズムは,選択バイアスによって生じる予期せぬ特徴相関を除去する必要があることを示す。
論文 参考訳（メタデータ） (2020-06-29T08:55:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。