論文の概要: The Impact of ASR on the Automatic Analysis of Linguistic Complexity and
Sophistication in Spontaneous L2 Speech
- arxiv url: http://arxiv.org/abs/2104.08529v1
- Date: Sat, 17 Apr 2021 12:45:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-20 14:13:54.516581
- Title: The Impact of ASR on the Automatic Analysis of Linguistic Complexity and
Sophistication in Spontaneous L2 Speech
- Title(参考訳): 自発L2音声の言語的複雑度とソフィケーションの自動解析におけるASRの影響
- Authors: Yu Qiao, Zhou Wei, Elma Kerz, Ralf Schl\"uter
- Abstract要約: 自然発生L2音声における言語的複雑性の自動解析に用いる最先端ASRシステム
タスク型効果を制御する場合の特定のタイプの複雑さ測定に対するASRパフォーマンスのより差分効果を提示する。
- 参考スコア(独自算出の注目度): 26.01253644757323
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, automated approaches to assessing linguistic complexity in
second language (L2) writing have made significant progress in gauging learner
performance, predicting human ratings of the quality of learner productions,
and benchmarking L2 development. In contrast, there is comparatively little
work in the area of speaking, particularly with respect to fully automated
approaches to assessing L2 spontaneous speech. While the importance of a
well-performing ASR system is widely recognized, little research has been
conducted to investigate the impact of its performance on subsequent automatic
text analysis. In this paper, we focus on this issue and examine the impact of
using a state-of-the-art ASR system for subsequent automatic analysis of
linguistic complexity in spontaneously produced L2 speech. A set of 34 selected
measures were considered, falling into four categories: syntactic, lexical,
n-gram frequency, and information-theoretic measures. The agreement between the
scores for these measures obtained on the basis of ASR-generated vs. manual
transcriptions was determined through correlation analysis. A more differential
effect of ASR performance on specific types of complexity measures when
controlling for task type effects is also presented.
- Abstract(参考訳): 近年,第2言語(L2)書記における言語複雑性の自動評価手法は,学習者のパフォーマンス向上,学習者の品質評価,L2開発ベンチマークにおいて大きな進歩を遂げている。
対照的に、特にL2自然発話を評価するための完全自動化アプローチに関して、話の領域では比較的少ない。
高性能asrシステムの重要性は広く認識されているが、その性能がその後の自動テキスト解析に与える影響についての研究はほとんど行われていない。
本稿では,この課題に焦点をあて,自然発生L2音声における言語的複雑性の自動解析に最先端のASRシステムを用いることによる影響を検討する。
選択された34の尺度は, 統語, 語彙, n-gram, 情報理論の4つのカテゴリーに分類された。
相関分析により,ASR生成と手書きの転写に基づいて得られた測定値の一致を決定した。
また,タスクタイプの効果を制御する場合,ASR性能が特定の種類の複雑性測定に与える影響についても述べる。
関連論文リスト
- A Quantitative Approach to Understand Self-Supervised Models as
Cross-lingual Feature Extractors [9.279391026742658]
特徴抽出器としてのモデルの性能に及ぼすモデルサイズ,トレーニング目標,モデルアーキテクチャの影響を解析する。
我々は,抽出した表現の音声情報と合成情報を測定するために,音声合成比(PSR)という新しい尺度を開発した。
論文 参考訳(メタデータ) (2023-11-27T15:58:28Z) - SOUL: Towards Sentiment and Opinion Understanding of Language [96.74878032417054]
我々は、言語感覚とオピニオン理解(SOUL)と呼ばれる新しいタスクを提案する。
SOULは2つのサブタスクを通して感情理解を評価することを目的としている:レビュー(RC)と正当化生成(JG)。
論文 参考訳(メタデータ) (2023-10-27T06:48:48Z) - The Devil is in the Errors: Leveraging Large Language Models for
Fine-grained Machine Translation Evaluation [93.01964988474755]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。
テキスト内学習と微調整によるラベル付きデータの影響について検討する。
次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文 参考訳(メタデータ) (2023-08-14T17:17:21Z) - Exploring the Integration of Large Language Models into Automatic Speech
Recognition Systems: An Empirical Study [0.0]
本稿では,Large Language Models (LLM) と自動音声認識(ASR)システムの統合について検討する。
我々の主な焦点は、LLMのコンテキスト内学習機能を用いて、ASRシステムの性能を向上させる可能性を調査することである。
論文 参考訳(メタデータ) (2023-07-13T02:31:55Z) - Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。
26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
論文 参考訳(メタデータ) (2023-05-24T10:45:25Z) - DiaASQ : A Benchmark of Conversational Aspect-based Sentiment Quadruple
Analysis [84.80347062834517]
本稿では,対話における目標視差感の4倍を検出することを目的としたDiaASQを紹介する。
中国語と英語の両方で大規模なDiaASQデータセットを手作業で構築する。
我々は、タスクをベンチマークするニューラルネットワークを開発し、エンドツーエンドの4倍の予測を効果的に実行する。
論文 参考訳(メタデータ) (2022-11-10T17:18:20Z) - A Comparative Study on Speaker-attributed Automatic Speech Recognition
in Multi-party Meetings [53.120885867427305]
会議シナリオにおける話者分散自動音声認識(SA-ASR)の3つのアプローチを評価する。
WD-SOT法は平均話者依存文字誤り率(SD-CER)を10.7%削減する
TS-ASRアプローチはFD-SOTアプローチよりも優れ、16.5%の相対的なSD-CER削減をもたらす。
論文 参考訳(メタデータ) (2022-03-31T06:39:14Z) - Language Dependencies in Adversarial Attacks on Speech Recognition
Systems [0.0]
我々は、ドイツ語と英語のASRシステムの攻撃可能性を比較する。
一方の言語モデルが他方よりも操作に影響を受けやすいかを検討する。
論文 参考訳(メタデータ) (2022-02-01T13:27:40Z) - Towards an Automated SOAP Note: Classifying Utterances from Medical
Conversations [0.6875312133832078]
我々は、(i)SOAPセクションと(ii)話者の役割に従って、医療会話から発話を分類するためのギャップを橋渡しします。
本稿では,既存のディープラーニングアーキテクチャを上記の2つのタスクに適応させるシステム分析を提案する。
その結果,単語レベルと発話レベルの両方をキャプチャする階層的な文脈をモデル化することで,両者の分類作業を大幅に改善することが示唆された。
論文 参考訳(メタデータ) (2020-07-17T04:19:30Z) - Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。
そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
論文 参考訳(メタデータ) (2020-01-28T22:09:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。