論文の概要: Controlling Implicit Shortcut Reliance in L2 Spoken English Auto-markers
- arxiv url: http://arxiv.org/abs/2607.16085v1
- Date: Fri, 17 Jul 2026 16:15:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-20 17:56:52.897495
- Title: Controlling Implicit Shortcut Reliance in L2 Spoken English Auto-markers
- Title（参考訳）: L2スポークイングリッシュオートマーカーにおける不必要なショートカット信頼性の制御
- Abstract要約: 本稿では,ショートカットへの依存度を低減できる新しいトレーニング基準を提案する。
その結果、どちらのシステムにおいても、人間の基準から予想されるよりも、悪用される可能性のある特徴と高い相関関係があることが判明した。
- 参考スコア（独自算出の注目度）: 33.035547678091845
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Increasingly, speech and language processing tasks take either audio or text directly rather than extracting features from these as the input to the classifier or regressor. Often these systems make use of complex, for example transformer-based, processes that have the ability to derive highly non-linear mappings between the input and the output. Unfortunately these systems can also learn ''shortcuts'' where the classifier is overly reliant on particular aspects of the input to yield the output. For the task of language proficiency assessment, this over-reliance can enable learners to increase their score by exploiting the shortcut rather than improving their ability. This paper introduces a novel training criterion that is able to reduce the classifier's reliance on shortcuts, thus for example limiting this option for malpractice in language assessment. This process is illustrated on two forms of assessment system, one based on the audio the other on the speech recognition text. The results show that, for both systems, there is higher correlations with features that could be exploited for malpractice than expected from the human reference, indicating an over-reliance on these features. By introducing the modified training criterion, this correlation can be reduced to be closer to the reference correlation.
- Abstract（参考訳）: 音声および言語処理タスクは、分類器や回帰器への入力としてこれらから特徴を抽出するのではなく、音声またはテキストを直接取り出す。
これらのシステムは、例えばトランスフォーマーベースのような複雑なプロセスを利用し、入力と出力の間の高度に非線形なマッピングを導出する能力を持つ。
残念ながら、これらのシステムは、分類器が入力の特定の側面に過度に依存して出力を得る「ショートカット」も学べる。
言語習熟度評価のタスクにおいて、この過度信頼は、学習者が自分の能力を改善するのではなく、ショートカットを活用することで、スコアを高めることができる。
本稿では,ショートカットへの依存度を減らし,言語アセスメントにおけるこの選択肢を限定する,新たなトレーニング基準を提案する。
このプロセスは、音声認識テキストの音声に基づく2種類のアセスメントシステムに説明される。
その結果、どちらのシステムにおいても、人間の基準から予想されるよりも悪用される可能性のある特徴と高い相関関係が見られ、これらの特徴に対する過度な信頼が示されることがわかった。
修正トレーニング基準を導入することで、この相関を基準相関に近づけるようにすることができる。
関連論文リスト
- Qualitative Evaluation of Language Model Rescoring in Automatic Speech Recognition [6.732553711612198]
いくつかの指標を用いて,ASRシステムにおける言語モデルを用いた再構成の影響について検討した。
これらの指標は、転写仮説における後部再コーディング段階に適用される言語モデルの言語学的貢献を示す。
論文 参考訳（メタデータ） (2026-04-30T07:37:16Z) - Few-Shot Contrastive Adaptation for Audio Abuse Detection in Low-Resource Indic Languages [3.5238606794194816]
ソーシャルメディアが音声による対話へとシフトするにつれ、虐待的音声検出の重要性が高まっている。
コントラスト言語-オーディオ事前学習が、音声から直接虐待的音声検出を支援できるかどうかを検討する。
論文 参考訳（メタデータ） (2026-04-10T08:23:03Z) - Adapting Language Balance in Code-Switching Speech [60.296574524609575]
大規模な基礎モデルは、コードスイッチングテストケースといまだに苦労しています。
我々は、世代間のコンテキストバイアスを軽減するために、微分可能なサロゲートを使用します。
アラビア語と中国語による実験では、モデルの切り替え位置をより正確に予測できることが示されている。
論文 参考訳（メタデータ） (2025-10-21T15:23:55Z) - Context Biasing for Pronunciations-Orthography Mismatch in Automatic Speech Recognition [61.601626186678146]
本稿では,置換誤りの訂正を可能とし,難解な単語の認識精度を向上させる手法を提案する。
本手法により, 単語誤り率の相対的な改善を最大8%まで達成し, 単語誤り率の競争力を維持した。
論文 参考訳（メタデータ） (2025-06-23T14:42:03Z) - Automated Essay Scoring Incorporating Annotations from Automated Feedback Systems [0.0]
我々は、スペルと文法的誤りを識別するアノテーションと、議論的なコンポーネントを強調するアノテーションの2つのタイプを統合する。
この手法が現実世界のシナリオにどのように適用できるかを説明するために、アノテーションを生成するために2つのLCMを使用し、スペル修正に使用される生成言語モデルと、議論的要素を識別およびマークするために訓練されたエンコーダベースのトークン分類器を用いています。
論文 参考訳（メタデータ） (2025-05-28T18:39:56Z) - CLAIR-A: Leveraging Large Language Models to Judge Audio Captions [73.51087998971418]
機械生成オーディオキャプションの評価は、様々な要因を検討する必要がある複雑なタスクである。
本稿では,大規模言語モデルのゼロショット機能を活用するシンプルで柔軟なCLAIR-Aを提案する。
我々の評価では、CLAIR-Aは従来のメトリクスと比較して品質の人的判断を良く予測する。
論文 参考訳（メタデータ） (2024-09-19T17:59:52Z) - Towards interfacing large language models with ASR systems using confidence measures and prompting [54.39667883394458]
本研究では,大言語モデル(LLM)を用いたASRテキストのポストホック修正について検討する。
精度の高い転写文に誤りを導入することを避けるため,信頼度に基づくフィルタリング手法を提案する。
その結果,競争力の低いASRシステムの性能が向上することが示唆された。
論文 参考訳（メタデータ） (2024-07-31T08:00:41Z) - Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。
我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。
提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
論文 参考訳（メタデータ） (2023-05-24T06:19:14Z) - Investigating the Sensitivity of Automatic Speech Recognition Systems to
Phonetic Variation in L2 Englishes [3.198144010381572]
この研究は、複数のL2英語で音声変化を処理する方法を見つけるために、ASRシステムを探索する方法を実証する。
ASRの振る舞いは、類似した話し言葉を持つ話者間で体系的かつ一貫性があることが示されている。
論文 参考訳（メタデータ） (2023-05-12T11:29:13Z) - Knowledge Transfer from Large-scale Pretrained Language Models to
End-to-end Speech Recognizers [13.372686722688325]
エンドツーエンド音声認識の訓練には、常に書き起こされた発話が必要である。
本稿では,テキストのみのデータで事前学習可能な言語モデルニューラルネットワークから知識を伝達することで,この問題を緩和する手法を提案する。
論文 参考訳（メタデータ） (2022-02-16T07:02:24Z) - VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised
Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。
コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。
実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
論文 参考訳（メタデータ） (2021-06-18T13:50:38Z) - Curious Case of Language Generation Evaluation Metrics: A Cautionary
Tale [52.663117551150954]
イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。
これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。
本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
論文 参考訳（メタデータ） (2020-10-26T13:57:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。