論文の概要: The Impact of ASR on the Automatic Analysis of Linguistic Complexity and
Sophistication in Spontaneous L2 Speech
- arxiv url: http://arxiv.org/abs/2104.08529v1
- Date: Sat, 17 Apr 2021 12:45:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-20 14:13:54.516581
- Title: The Impact of ASR on the Automatic Analysis of Linguistic Complexity and
Sophistication in Spontaneous L2 Speech
- Title（参考訳）: 自発L2音声の言語的複雑度とソフィケーションの自動解析におけるASRの影響
- Authors: Yu Qiao, Zhou Wei, Elma Kerz, Ralf Schl\"uter
- Abstract要約: 自然発生L2音声における言語的複雑性の自動解析に用いる最先端ASRシステム
タスク型効果を制御する場合の特定のタイプの複雑さ測定に対するASRパフォーマンスのより差分効果を提示する。
- 参考スコア（独自算出の注目度）: 26.01253644757323
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, automated approaches to assessing linguistic complexity in
second language (L2) writing have made significant progress in gauging learner
performance, predicting human ratings of the quality of learner productions,
and benchmarking L2 development. In contrast, there is comparatively little
work in the area of speaking, particularly with respect to fully automated
approaches to assessing L2 spontaneous speech. While the importance of a
well-performing ASR system is widely recognized, little research has been
conducted to investigate the impact of its performance on subsequent automatic
text analysis. In this paper, we focus on this issue and examine the impact of
using a state-of-the-art ASR system for subsequent automatic analysis of
linguistic complexity in spontaneously produced L2 speech. A set of 34 selected
measures were considered, falling into four categories: syntactic, lexical,
n-gram frequency, and information-theoretic measures. The agreement between the
scores for these measures obtained on the basis of ASR-generated vs. manual
transcriptions was determined through correlation analysis. A more differential
effect of ASR performance on specific types of complexity measures when
controlling for task type effects is also presented.
- Abstract（参考訳）: 近年,第2言語(L2)書記における言語複雑性の自動評価手法は,学習者のパフォーマンス向上,学習者の品質評価,L2開発ベンチマークにおいて大きな進歩を遂げている。
対照的に、特にL2自然発話を評価するための完全自動化アプローチに関して、話の領域では比較的少ない。
高性能asrシステムの重要性は広く認識されているが、その性能がその後の自動テキスト解析に与える影響についての研究はほとんど行われていない。
本稿では,この課題に焦点をあて,自然発生L2音声における言語的複雑性の自動解析に最先端のASRシステムを用いることによる影響を検討する。
選択された34の尺度は, 統語, 語彙, n-gram, 情報理論の4つのカテゴリーに分類された。
相関分析により,ASR生成と手書きの転写に基づいて得られた測定値の一致を決定した。
また,タスクタイプの効果を制御する場合,ASR性能が特定の種類の複雑性測定に与える影響についても述べる。
関連論文リスト
- Automated Speaking Assessment of Conversation Tests with Novel Graph-based Modeling on Spoken Response Coherence [11.217656140423207]
ASACは、1つ以上の候補者と対話する環境でL2話者の全体的な発話能力を評価することを目的としている。
本稿では,広い応答間相互作用とニュアンス付き意味情報の両方を適切に組み込んだ階層グラフモデルを提案する。
NICT-JLEベンチマークデータセットの大規模な実験結果から,提案手法が予測精度を大幅に向上する可能性が示唆された。
論文 参考訳（メタデータ） (2024-09-11T07:24:07Z) - Reexamining Racial Disparities in Automatic Speech Recognition Performance: The Role of Confounding by Provenance [7.882996636086014]
自動音声認識(ASR)モデルとその使用法は公平かつ公平であることが重要である。
この研究は、現在の最先端のニューラルネットワークベースのASRシステムの性能を調べることによって、この格差の根底にある要因を理解することを目的としている。
論文 参考訳（メタデータ） (2024-07-19T02:14:17Z) - Can LLMs Understand the Implication of Emphasized Sentences in Dialogue? [64.72966061510375]
強調は人間のコミュニケーションにおいて重要な要素であり、対話における純粋テキストを超えて話者の意図と含意を示す。
本稿では,強調の意味を抽出した強調注釈付き対話サンプルを用いたベンチマークであるEmphasized-Talkを紹介する。
オープンソースと商用の両方で様々な大規模言語モデル(LLM)を評価し,その性能を重要視して評価する。
論文 参考訳（メタデータ） (2024-06-16T20:41:44Z) - Evaluating the IWSLT2023 Speech Translation Tasks: Human Annotations, Automatic Metrics, and Segmentation [50.60733773088296]
音声言語翻訳国際ワークショップ(IWSLT 2023)における共有タスクの結果を総合的に評価する。
本稿では,セグメントコンテキストによる自動回帰と直接評価に基づく効果的な評価戦略を提案する。
分析の結果,1) 提案した評価戦略は頑健であり,他の種類の人的判断とよく相関している,2) 自動測定基準は通常,必ずしも直接評価スコアとよく関連しているわけではない,3) COMET は chrF よりもわずかに強い自動測定基準である,といった結果を得た。
論文 参考訳（メタデータ） (2024-06-06T09:18:42Z) - A Quantitative Approach to Understand Self-Supervised Models as
Cross-lingual Feature Extractors [9.279391026742658]
特徴抽出器としてのモデルの性能に及ぼすモデルサイズ,トレーニング目標,モデルアーキテクチャの影響を解析する。
我々は,抽出した表現の音声情報と合成情報を測定するために,音声合成比(PSR)という新しい尺度を開発した。
論文 参考訳（メタデータ） (2023-11-27T15:58:28Z) - SOUL: Towards Sentiment and Opinion Understanding of Language [96.74878032417054]
我々は、言語感覚とオピニオン理解(SOUL)と呼ばれる新しいタスクを提案する。
SOULは2つのサブタスクを通して感情理解を評価することを目的としている:レビュー(RC)と正当化生成(JG)。
論文 参考訳（メタデータ） (2023-10-27T06:48:48Z) - The Devil is in the Errors: Leveraging Large Language Models for
Fine-grained Machine Translation Evaluation [93.01964988474755]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。
テキスト内学習と微調整によるラベル付きデータの影響について検討する。
次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文 参考訳（メタデータ） (2023-08-14T17:17:21Z) - DiaASQ : A Benchmark of Conversational Aspect-based Sentiment Quadruple
Analysis [84.80347062834517]
本稿では,対話における目標視差感の4倍を検出することを目的としたDiaASQを紹介する。
中国語と英語の両方で大規模なDiaASQデータセットを手作業で構築する。
我々は、タスクをベンチマークするニューラルネットワークを開発し、エンドツーエンドの4倍の予測を効果的に実行する。
論文 参考訳（メタデータ） (2022-11-10T17:18:20Z) - Towards an Automated SOAP Note: Classifying Utterances from Medical
Conversations [0.6875312133832078]
我々は、(i)SOAPセクションと(ii)話者の役割に従って、医療会話から発話を分類するためのギャップを橋渡しします。
本稿では,既存のディープラーニングアーキテクチャを上記の2つのタスクに適応させるシステム分析を提案する。
その結果,単語レベルと発話レベルの両方をキャプチャする階層的な文脈をモデル化することで,両者の分類作業を大幅に改善することが示唆された。
論文 参考訳（メタデータ） (2020-07-17T04:19:30Z) - Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。
そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
論文 参考訳（メタデータ） (2020-01-28T22:09:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。