論文の概要: Advancing Automated Speaking Assessment Leveraging Multifaceted Relevance and Grammar Information
- arxiv url: http://arxiv.org/abs/2506.16285v1
- Date: Thu, 19 Jun 2025 13:01:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-23 19:00:05.076171
- Title: Advancing Automated Speaking Assessment Leveraging Multifaceted Relevance and Grammar Information
- Title（参考訳）: 多面関係と文法情報を活用した発話評価の自動化
- Authors: Hao-Chien Lu, Jhen-Ke Lin, Hong-Yun Lin, Chung-Chun Wang, Berlin Chen,
- Abstract要約: 本稿では,ハイブリッドスコアリングモデルを構築するための2つの新しい拡張を紹介する。
まず、多面的関連モジュールは、L2話者の質問内容と関連する画像内容、例、および音声応答を統合する。
第2に、高度な文法誤差補正(GEC)と特定のエラーカテゴリを特定するための詳細なアノテーションを用いて、きめ細かい文法エラー特徴を導出する。
- 参考スコア（独自算出の注目度）: 3.505838221203969
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current automated speaking assessment (ASA) systems for use in multi-aspect evaluations often fail to make full use of content relevance, overlooking image or exemplar cues, and employ superficial grammar analysis that lacks detailed error types. This paper ameliorates these deficiencies by introducing two novel enhancements to construct a hybrid scoring model. First, a multifaceted relevance module integrates question and the associated image content, exemplar, and spoken response of an L2 speaker for a comprehensive assessment of content relevance. Second, fine-grained grammar error features are derived using advanced grammar error correction (GEC) and detailed annotation to identify specific error categories. Experiments and ablation studies demonstrate that these components significantly improve the evaluation of content relevance, language use, and overall ASA performance, highlighting the benefits of using richer, more nuanced feature sets for holistic speaking assessment.
- Abstract（参考訳）: マルチアスペクト評価に使用される現在の自動発話アセスメント(ASA)システムは、画像や典型的な手がかりを見渡すことで、コンテンツ関連性を十分に活用することができず、詳細なエラータイプを欠いた表面文法分析を採用することが多い。
本稿では、ハイブリッドスコアリングモデルを構築するために、2つの新しい拡張を導入することで、これらの欠陥を改善する。
まず、多面的関連モジュールは、L2話者の質問内容と関連する画像内容、模範的、音声応答を統合し、コンテンツ関連性の総合的な評価を行う。
第2に、高度な文法誤差補正(GEC)と特定のエラーカテゴリを特定するための詳細なアノテーションを用いて、きめ細かい文法エラー特徴を導出する。
実験およびアブレーション研究により、これらのコンポーネントは、コンテンツ関連性、言語使用、および全体的なASAパフォーマンスの評価を著しく改善し、よりリッチでよりニュアンスの高い特徴セットを使用することの利点を強調した。
関連論文リスト
- Automated Essay Scoring Incorporating Annotations from Automated Feedback Systems [0.0]
我々は、スペルと文法的誤りを識別するアノテーションと、議論的なコンポーネントを強調するアノテーションの2つのタイプを統合する。
この手法が現実世界のシナリオにどのように適用できるかを説明するために、アノテーションを生成するために2つのLCMを用いる。
論文 参考訳（メタデータ） (2025-05-28T18:39:56Z) - Improving Multilingual Retrieval-Augmented Language Models through Dialectic Reasoning Argumentations [65.11348389219887]
そこで,Dialectic-RAG(Dialectic-RAG, DRAG)を提案する。
我々は、文脈内学習戦略と、より小さなモデルをインストラクションするための実演の構築の両方において、我々のフレームワークが与える影響を示す。
論文 参考訳（メタデータ） (2025-04-07T06:55:15Z) - Beyond Coarse-Grained Matching in Video-Text Retrieval [50.799697216533914]
きめ細かい評価のための新しいアプローチを導入する。
テストキャプションを自動的に生成することで,既存のデータセットにアプローチを適用することができる。
きめ細かい評価実験は、このアプローチがきめ細かな違いを理解するモデルの能力を高めることを実証している。
論文 参考訳（メタデータ） (2024-10-16T09:42:29Z) - A Multi-task Learning Framework for Evaluating Machine Translation of Emotion-loaded User-generated Content [6.213698466889738]
ユーザ生成コンテンツ(UGC)の機械翻訳は、スラング、感情、皮肉や皮肉といった文学的デバイスを扱うなど、ユニークな課題を生んでいる。
感情ラベルと人手による翻訳誤りを含む感情関連データセットを利用する。
文レベル評価スコアと単語レベルラベルで拡張し、文レベルと単語レベルの翻訳評価と感情分類に適したデータセットを作成する。
論文 参考訳（メタデータ） (2024-10-04T09:49:57Z) - Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。
主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。
3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文 参考訳（メタデータ） (2024-04-04T15:36:53Z) - Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。
このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
論文 参考訳（メタデータ） (2024-02-16T13:53:26Z) - Visual Perturbation-aware Collaborative Learning for Overcoming the
Language Prior Problem [60.0878532426877]
本稿では,視覚的摂動校正の観点から,新しい協調学習手法を提案する。
具体的には、異なる摂動範囲で2種類のキュレートされた画像を構築するための視覚コントローラを考案する。
2つの診断VQA-CPベンチマークデータセットの実験結果は、その効果を明らかに示している。
論文 参考訳（メタデータ） (2022-07-24T23:50:52Z) - Automated Speech Scoring System Under The Lens: Evaluating and
interpreting the linguistic cues for language proficiency [26.70127591966917]
従来の機械学習モデルを用いて、音声認識タスクを分類と回帰問題の両方として定式化する。
まず,5つのカテゴリー(頻度,発音,内容,文法,語彙,音響)で言語学の特徴を抽出し,応答を学習する。
比較すると,回帰に基づくモデルでは,分類法と同等かそれ以上の性能があることがわかった。
論文 参考訳（メタデータ） (2021-11-30T06:28:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。