論文の概要: Enhancing conversational quality in language learning chatbots: An
evaluation of GPT4 for ASR error correction
- arxiv url: http://arxiv.org/abs/2307.09744v1
- Date: Wed, 19 Jul 2023 04:25:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-20 15:24:53.244680
- Title: Enhancing conversational quality in language learning chatbots: An
evaluation of GPT4 for ASR error correction
- Title（参考訳）: 言語学習チャットボットにおける会話品質の向上:ASR誤り訂正のためのGPT4の評価
- Authors: Long Mai and Julie Carson-Berndsen
- Abstract要約: 本稿では,会話環境における ASR 誤り訂正における GPT4 の利用について検討する。
We found that corrected by GPT4 has to higher conversation quality, while a increase of WER。
- 参考スコア（独自算出の注目度）: 20.465220855548292
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The integration of natural language processing (NLP) technologies into
educational applications has shown promising results, particularly in the
language learning domain. Recently, many spoken open-domain chatbots have been
used as speaking partners, helping language learners improve their language
skills. However, one of the significant challenges is the high word-error-rate
(WER) when recognizing non-native/non-fluent speech, which interrupts
conversation flow and leads to disappointment for learners. This paper explores
the use of GPT4 for ASR error correction in conversational settings. In
addition to WER, we propose to use semantic textual similarity (STS) and next
response sensibility (NRS) metrics to evaluate the impact of error correction
models on the quality of the conversation. We find that transcriptions
corrected by GPT4 lead to higher conversation quality, despite an increase in
WER. GPT4 also outperforms standard error correction methods without the need
for in-domain training data.
- Abstract（参考訳）: 自然言語処理(NLP)技術の教育応用への統合は、特に言語学習領域において有望な結果を示している。
近年,多くのオープンドメインチャットボットが話し相手として使われ,学習者の言語能力向上に役立っている。
しかし、重要な課題の1つは、会話の流れを中断し、学習者に失望をもたらす非ネイティブ/非流動音声を認識する際の単語誤り率(WER)が高いことである。
本稿では,会話環境における ASR 誤り訂正における GPT4 の利用について検討する。
WERに加えて,会話の質に及ぼす誤り訂正モデルの影響を評価するために,意味的テキスト類似度(STS)と次の応答感度(NRS)メトリクスを用いることを提案する。
gpt4によって修正された転写は、werの増加にもかかわらず、より高い会話品質をもたらすことが判明した。
GPT4はまた、ドメイン内のトレーニングデータを必要とせずに、標準的なエラー訂正方法より優れている。
関連論文リスト
- Large Language Model Based Generative Error Correction: A Challenge and Baselines for Speech Recognition, Speaker Tagging, and Emotion Recognition [110.8431434620642]
生成音声の書き起こし誤り訂正(GenSEC)の課題について紹介する。
この課題は、(i)ASR後の転写補正、(ii)話者タグ付け、(iii)感情認識という、3つのASR後の言語モデリングタスクを含む。
本稿では,ベースライン評価から得られた知見と,今後の評価設計における教訓について論じる。
論文 参考訳（メタデータ） (2024-09-15T16:32:49Z) - Keyword-Aware ASR Error Augmentation for Robust Dialogue State Tracking [17.96115263146684]
本稿では,対話状態追跡モデルのロバスト性を改善するために,シンプルながら効果的なデータ拡張手法を提案する。
提案手法は,キーワードの誤りパターンを十分に生成し,雑音および低精度のASR環境における精度を向上させる。
論文 参考訳（メタデータ） (2024-09-10T07:06:40Z) - Can LLMs Understand the Implication of Emphasized Sentences in Dialogue? [64.72966061510375]
強調は人間のコミュニケーションにおいて重要な要素であり、対話における純粋テキストを超えて話者の意図と含意を示す。
本稿では,強調の意味を抽出した強調注釈付き対話サンプルを用いたベンチマークであるEmphasized-Talkを紹介する。
オープンソースと商用の両方で様々な大規模言語モデル(LLM)を評価し,その性能を重要視して評価する。
論文 参考訳（メタデータ） (2024-06-16T20:41:44Z) - Generative error correction for code-switching speech recognition using
large language models [49.06203730433107]
コードスイッチング(英: Code-switching, CS)とは、2つ以上の言語が同じ文内に混在する現象である。
本稿では,大規模言語モデル (LLM) と ASR が生成する仮説のリストを利用して,CS 問題に対処することを提案する。
論文 参考訳（メタデータ） (2023-10-17T14:49:48Z) - ChatGPT-4 as a Tool for Reviewing Academic Books in Spanish [1.0052074659955383]
ChatGPT-4は、OpenAIが開発した人工知能言語モデルである。
本研究は,スペイン文学・学術書の編集ツールとしてのChatGPT-4の可能性を評価する。
論文 参考訳（メタデータ） (2023-09-20T11:44:45Z) - Does Correction Remain A Problem For Large Language Models? [63.24433996856764]
本稿では,2つの実験を行ない,大規模言語モデルの文脈における補正の役割について検討する。
最初の実験では、誤り訂正のためのGPTのようなモデルを用いた数発の学習技術を用いて、単独のタスクとしての修正に焦点を当てた。
第2の実験では、あるレベルのノイズや誤りを含むテキストに対して、大きな言語モデルが許容し、適切に実行可能であるかどうかを検証し、他のNLPタスクの予備タスクとしての補正の概念について検討した。
論文 参考訳（メタデータ） (2023-08-03T14:09:31Z) - DisfluencyFixer: A tool to enhance Language Learning through Speech To
Speech Disfluency Correction [50.51901599433536]
DisfluencyFixerは、英語とヒンディー語で音声から音声への拡散補正を行うツールである。
提案システムでは,入力音声からの拡散を除去し,出力として流速音声を返却する。
論文 参考訳（メタデータ） (2023-05-26T14:13:38Z) - Is ChatGPT a Highly Fluent Grammatical Error Correction System? A
Comprehensive Evaluation [41.94480044074273]
ChatGPTはGPT-3.5アーキテクチャに基づく大規模言語モデルである。
本稿では,ChatGPTのテキスト内学習を用いて,ゼロショットチェーン・オブ・シント(CoT)と少数ショットCoT設定を設計する。
本評価では,ChatGPTを3つの言語で5つの公式テストセット,および英語で3つの文書レベルGCCテストセットで評価する。
論文 参考訳（メタデータ） (2023-04-04T12:33:40Z) - Learning not to Discriminate: Task Agnostic Learning for Improving
Monolingual and Code-switched Speech Recognition [12.354292498112347]
本稿では、ドメイン逆学習を用いてタスクモデルを訓練することにより、これまでの作業よりもさらに改善する。
提案手法は,単語誤り率(WER)を3つの言語対に対して単言語およびコード切替テストセットで削減する。
論文 参考訳（メタデータ） (2020-06-09T13:45:30Z) - On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。
結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
論文 参考訳（メタデータ） (2020-05-12T11:01:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。