論文の概要: Classification errors distort findings in automated speech processing: examples and solutions from child-development research
- arxiv url: http://arxiv.org/abs/2508.15637v1
- Date: Thu, 21 Aug 2025 15:02:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-22 16:26:46.377602
- Title: Classification errors distort findings in automated speech processing: examples and solutions from child-development research
- Title（参考訳）: 自動音声処理における分類誤りの歪み--児童発達研究の事例と解決策-
- Authors: Lucas Gautheron, Evan Kidd, Anton Malko, Marvin Lavechin, Alejandrina Cristia,
- Abstract要約: 子どもの言語経験に対する兄弟関係の影響を含め,アルゴリズム的誤りが重要な科学的問題に与える影響について検討した。
自動アノテーションは, 成人入力に対する兄弟姉妹の負の効果を20～80%過小評価し, 統計的に有意な閾値以下である可能性が示唆された。
- 参考スコア（独自算出の注目度）: 40.71129577021957
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the advent of wearable recorders, scientists are increasingly turning to automated methods of analysis of audio and video data in order to measure children's experience, behavior, and outcomes, with a sizable literature employing long-form audio-recordings to study language acquisition. While numerous articles report on the accuracy and reliability of the most popular automated classifiers, less has been written on the downstream effects of classification errors on measurements and statistical inferences (e.g., the estimate of correlations and effect sizes in regressions). This paper proposes a Bayesian approach to study the effects of algorithmic errors on key scientific questions, including the effect of siblings on children's language experience and the association between children's production and their input. In both the most commonly used \gls{lena}, and an open-source alternative (the Voice Type Classifier from the ACLEW system), we find that classification errors can significantly distort estimates. For instance, automated annotations underestimated the negative effect of siblings on adult input by 20--80\%, potentially placing it below statistical significance thresholds. We further show that a Bayesian calibration approach for recovering unbiased estimates of effect sizes can be effective and insightful, but does not provide a fool-proof solution. Both the issue reported and our solution may apply to any classifier involving event detection and classification with non-zero error rates.
- Abstract（参考訳）: ウェアラブルレコーダーの出現に伴い、科学者たちは、子供の経験、行動、成果を測定するために、音声とビデオデータの自動分析方法に目を向けるようになり、長い形式の音声記録を用いて言語習得を研究している。
多くの論文では、最も一般的な自動分類器の精度と信頼性について報告されているが、分類誤差が測定や統計的推測(回帰の相関と効果サイズの推定など)に与える影響についてはほとんど報告されていない。
本稿では, 子どもの言語経験に対する兄弟の影響や, 子どもの産出と入力との関係など, アルゴリズム的誤りが重要な科学的問題に与える影響をベイズ的アプローチで研究することを提案する。
最もよく使われている \gls{lena} と、オープンソースの代替案 (ACLEW システムの Voice Type Classifier ) の両方において、分類誤差は推定値を著しく歪ませることができる。
例えば、自動アノテーションは、大人の入力に対する兄弟姉妹の負の効果を20～80倍に過小評価し、統計的に有意な閾値以下に設定する可能性がある。
さらに、効果サイズの偏りのない見積もりを復元するためのベイズ校正手法は、有効かつ洞察に富むが、愚かな解決法を提供しないことを示す。
報告された問題と解決策は、イベント検出と非ゼロエラー率の分類を含むあらゆる分類器に適用できる。
関連論文リスト
- Classification Error Bound for Low Bayes Error Conditions in Machine Learning [50.25063912757367]
機械学習における誤りミスマッチとKulback-Leibler分散の関係について検討する。
多くの機械学習タスクにおける低モデルに基づく分類誤差の最近の観測により、低ベイズ誤差条件に対する分類誤差の線形近似を提案する。
論文 参考訳（メタデータ） (2025-01-27T11:57:21Z) - Reproducible Machine Learning-based Voice Pathology Detection: Introducing the Pitch Difference Feature [1.7779568951268254]
本稿では,現在公開されているSaarbr"ucken Voice Databaseを用いた音声病理診断手法を提案する。
機械学習(ML)アルゴリズムを6つ評価する - サポートベクターマシン、kネアレスト隣人、ナイーブベイズ、決定木、ランダムフォレスト、AdaBoost。
アプローチは, 女性, 男性, 合計で85.61%, 84.69%, および85.22%であった。
論文 参考訳（メタデータ） (2024-10-14T14:17:52Z) - Influence Scores at Scale for Efficient Language Data Sampling [3.072340427031969]
影響スコア」は、データの重要なサブセットを特定するために使われる。
本稿では,言語分類タスクにおける影響スコアの適用性について検討する。
論文 参考訳（メタデータ） (2023-11-27T20:19:22Z) - xCOMET: Transparent Machine Translation Evaluation through Fine-grained
Error Detection [21.116517555282314]
xCOMETは、機械翻訳評価アプローチのギャップを埋めるために設計されたオープンソースの学習メトリクスである。
文レベルの評価とエラースパン検出機能を統合し、あらゆるタイプの評価で最先端のパフォーマンスを示す。
また,ストレステストによるロバストネス解析を行い,xCOMETは局所的な臨界誤差や幻覚を同定できることを示す。
論文 参考訳（メタデータ） (2023-10-16T15:03:14Z) - Automatic Counterfactual Augmentation for Robust Text Classification
Based on Word-Group Search [12.894936637198471]
一般に、ラベルと表面的関連を生じると、キーワードはショートカットと見なされ、結果として誤った予測となる。
キーワードの組み合わせの因果効果を捉え,予測に最も影響を与える組み合わせを注文する,新しいWord-Groupマイニング手法を提案する。
提案手法は,効率的なポストホック解析とビームサーチに基づいて,マイニング効果の確保と複雑さの低減を図っている。
論文 参考訳（メタデータ） (2023-07-01T02:26:34Z) - Understanding and Mitigating Spurious Correlations in Text
Classification with Neighborhood Analysis [69.07674653828565]
機械学習モデルは、トレーニングセットに存在するが一般的な状況では当てはまらない急激な相関を利用する傾向にある。
本稿では, 周辺分析と呼ばれる新しい視点から, 突発的相関がもたらす意味について考察する。
本稿では,テキスト分類における素早い相関を緩和する正規化手法であるNFL(doN't Forget your Language)を提案する。
論文 参考訳（メタデータ） (2023-05-23T03:55:50Z) - On the Blind Spots of Model-Based Evaluation Metrics for Text Generation [79.01422521024834]
テキスト生成評価指標のロバスト性分析に有用であるが,しばしば無視される手法を探索する。
我々は、幅広い潜在的な誤差を設計、合成し、それらが測定値の余計な低下をもたらすかどうかを確認する。
私たちの実験では、既存のメトリクスの興味深い不感、バイアス、あるいは抜け穴が明らかになりました。
論文 参考訳（メタデータ） (2022-12-20T06:24:25Z) - The Far Side of Failure: Investigating the Impact of Speech Recognition
Errors on Subsequent Dementia Classification [8.032686410648274]
自然発話で検出される言語異常は、認知障害などの認知障害のスクリーニングなど、様々な臨床応用の可能性を示唆している。
自己教師付き学習(SSL)自動音声認識(ASR)モデルにおいて,臨床環境から抽出した難解な音声サンプルでは,有意な性能が得られない。
我々の重要な発見の1つは、パラドックス的に、比較的高いエラー率を持つASRシステムは、動詞の文字起こしに基づく分類よりも、より下流の分類精度の高い転写文を生成できるということである。
論文 参考訳（メタデータ） (2022-11-11T17:06:45Z) - Speaker Embedding-aware Neural Diarization for Flexible Number of
Speakers with Textual Information [55.75018546938499]
本稿では,話者埋め込み認識型ニューラルダイアリゼーション(SEND)手法を提案する。
本手法は,ターゲット話者の音声活動検出よりも低いダイアリゼーション誤差率を実現する。
論文 参考訳（メタデータ） (2021-11-28T12:51:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。