論文の概要: Mitigating Data Imbalance in Automated Speaking Assessment

• arxiv url: http://arxiv.org/abs/2509.03010v1
• Date: Wed, 03 Sep 2025 04:38:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 21:40:46.416693
• Title: Mitigating Data Imbalance in Automated Speaking Assessment
• Title（参考訳）: 自動評価におけるデータ不均衡の軽減
• Authors: Fong-Chun Tsai, Kuan-Tang Huang, Bi-Cheng Yan, Tien-Hong Lo, Berlin Chen,
• Abstract要約: 本稿では,Balancing Logit Variation (BLV) Losと呼ばれるASAモデルをトレーニングするための新たな目標を提案する。 BLVの損失を有名なテキストベース(BERT)モデルに組み込むことで、分類精度と公平性を著しく向上させることを示す。
• 参考スコア（独自算出の注目度）: 15.293800869580151
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated Speaking Assessment (ASA) plays a crucial role in evaluating second-language (L2) learners proficiency. However, ASA models often suffer from class imbalance, leading to biased predictions. To address this, we introduce a novel objective for training ASA models, dubbed the Balancing Logit Variation (BLV) loss, which perturbs model predictions to improve feature representation for minority classes without modifying the dataset. Evaluations on the ICNALE benchmark dataset show that integrating the BLV loss into a celebrated text-based (BERT) model significantly enhances classification accuracy and fairness, making automated speech evaluation more robust for diverse learners.
• Abstract（参考訳）: 自動発話評価(ASA)は,第二言語(L2)学習者の習熟度を評価する上で重要な役割を担っている。 しかし、ASAモデルはしばしばクラス不均衡に悩まされ、バイアスのある予測につながる。 そこで本研究では,少数クラスの特徴表現を改善するために,データセットを変更せずにモデル予測を摂動させることにより,Balancing Logit Variation(BLV)損失と呼ばれるASAモデルをトレーニングするための新たな目標を提案する。 ICNALEベンチマークデータセットの評価では、BLVの損失を有名なテキストベース(BERT)モデルに統合することで、分類精度と公平性を著しく向上し、多様な学習者にとって自動音声評価がより堅牢になることが示されている。

関連論文リスト

• Semi-supervised Learning For Robust Speech Evaluation [30.593420641501968]
  音声評価は、自動モデルを用いて学習者の口頭習熟度を測定する。 本稿では,半教師付き事前学習と客観的正規化を活用することで,このような課題に対処することを提案する。 アンカーモデルは、発音の正しさを予測するために擬似ラベルを用いて訓練される。
  論文  参考訳（メタデータ） (2024-09-23T02:11:24Z)
• An Effective Automated Speaking Assessment Approach to Mitigating Data Scarcity and Imbalanced Distribution [5.1660803395535835]
  自己教師付き学習(SSL)は、従来の手法と比較して星級のパフォーマンスを示している。 しかし、SSLベースのASAシステムは、少なくとも3つのデータ関連の課題に直面している。 これらの課題には、限られた注釈付きデータ、学習者の習熟度レベルの不均一分布、CEFR習熟度レベル間の不均一スコア間隔が含まれる。
  論文  参考訳（メタデータ） (2024-04-11T09:06:49Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• TeLeS: Temporal Lexeme Similarity Score to Estimate Confidence in End-to-End ASR [1.8477401359673709]
  クラス確率に基づく信頼スコアは、自信過剰なASR予測の品質を正確に表すものではない。 信頼度推定モデル(CEM)を訓練するためのTeLeS(Temporal-Lexeme similarity)の信頼性スコアを提案する。 我々は、ヒンディー語、タミル語、カナダ語という3つの言語で訓練されたASRモデルを用いて、様々なトレーニングデータサイズで実験を行う。
  論文  参考訳（メタデータ） (2024-01-06T16:29:13Z)
• The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
  AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T17:17:21Z)
• ASR in German: A Detailed Error Analysis [0.0]
  この研究は、ドイツ語で事前訓練されたASRモデルアーキテクチャの選択を示し、様々なテストデータセットのベンチマークで評価する。 クロスアーキテクチャの予測エラーを特定し、それらをカテゴリに分類し、カテゴリ毎のエラーソースをトレーニングデータにトレースする。
  論文  参考訳（メタデータ） (2022-04-12T08:25:01Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)
• Unsupervised neural adaptation model based on optimal transport for spoken language identification [54.96267179988487]
  トレーニングセットとテストセット間の音響音声の統計的分布のミスマッチにより,音声言語識別(SLID)の性能が大幅に低下する可能性がある。 SLIDの分布ミスマッチ問題に対処するために,教師なしニューラル適応モデルを提案する。
  論文  参考訳（メタデータ） (2020-12-24T07:37:19Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。