論文の概要: Exploiting the English Vocabulary Profile for L2 word-level vocabulary assessment with LLMs

• arxiv url: http://arxiv.org/abs/2506.02758v1
• Date: Tue, 03 Jun 2025 11:23:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.610386
• Title: Exploiting the English Vocabulary Profile for L2 word-level vocabulary assessment with LLMs
• Title（参考訳）: LLMを用いたL2単語レベルの語彙評価のための英語語彙プロファイルの展開
• Authors: Stefano Bannò, Kate Knill, Mark Gales,
• Abstract要約: 本稿では,語彙のきめ細かい評価を可能にする新しい手法を提案する。 このスキームは、大きな言語モデル(LLM)と英語語彙プロファイル(EVP)を組み合わせたものである。 EVPは標準の語彙資源であり、文脈内語彙の使用を習熟度にリンクすることができる。
• 参考スコア（独自算出の注目度）: 2.201161230389126
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vocabulary use is a fundamental aspect of second language (L2) proficiency. To date, its assessment by automated systems has typically examined the context-independent, or part-of-speech (PoS) related use of words. This paper introduces a novel approach to enable fine-grained vocabulary evaluation exploiting the precise use of words within a sentence. The scheme combines large language models (LLMs) with the English Vocabulary Profile (EVP). The EVP is a standard lexical resource that enables in-context vocabulary use to be linked with proficiency level. We evaluate the ability of LLMs to assign proficiency levels to individual words as they appear in L2 learner writing, addressing key challenges such as polysemy, contextual variation, and multi-word expressions. We compare LLMs to a PoS-based baseline. LLMs appear to exploit additional semantic information that yields improved performance. We also explore correlations between word-level proficiency and essay-level proficiency. Finally, the approach is applied to examine the consistency of the EVP proficiency levels. Results show that LLMs are well-suited for the task of vocabulary assessment.
• Abstract（参考訳）: 語彙の使用は第二言語(L2)の能力の基本的な側面である。 これまで、自動システムによる評価は、文脈に依存しない、あるいはPoS(Part-of-speech)関連の単語の使用について調査されてきた。 本稿では,文中の単語の正確な使用を生かした,きめ細かい語彙評価を実現するための新しい手法を提案する。 このスキームは、大きな言語モデル(LLM)と英語語彙プロファイル(EVP)を組み合わせたものである。 EVPは標準の語彙資源であり、文脈内語彙の使用を習熟度にリンクすることができる。 L2学習者の文章に現れるように,LLMが個々の単語に習熟度を割り当てる能力を評価し,多意味性や文脈変化,複数単語表現といった重要な課題に対処する。 我々はLLMをPoSベースのベースラインと比較する。 LLMは、パフォーマンス向上をもたらす追加のセマンティック情報を利用するように見える。 また,単語レベルの習熟度とエッセイレベルの習熟度との相関についても検討した。 最後に、EVP習熟度レベルの整合性を検討するために、本手法を適用した。 その結果,LLMは語彙評価に適していることがわかった。

関連論文リスト

• Evaluation of LLMs in Medical Text Summarization: The Role of Vocabulary Adaptation in High OOV Settings [26.442558912559658]
  近年,Large Language Models (LLMs) は,テキスト内学習を単純に利用することで,医学的テキスト要約において大きな成功を収めている。 その結果,LLMは語彙外単語の濃度が高い点や,新規性が高い点では顕著な性能低下を示した。 語彙適応は、この語彙ミスマッチ問題に対する直感的な解決法である。
  論文  参考訳（メタデータ） (2025-05-27T14:23:03Z)
• Recording for Eyes, Not Echoing to Ears: Contextualized Spoken-to-Written Conversion of ASR Transcripts [19.02690795530784]
  本研究では,ASRと文法の誤りに対処する文脈対応型スポンケン・トゥ・ブリッテン変換(CoS2W)タスクを提案する。 このタスクは、Large Language Models(LLM)のコンテキスト内学習機能と自然に一致する。
  論文  参考訳（メタデータ） (2024-08-19T03:53:48Z)
• PhonologyBench: Evaluating Phonological Skills of Large Language Models [57.80997670335227]
  音声学は、音声の構造と発音規則の研究であり、Large Language Model (LLM) 研究において批判的であるが、しばしば見落とされがちな要素である。 LLMの音韻的スキルを明示的にテストするための3つの診断タスクからなる新しいベンチマークであるPhonologyBenchを提案する。 我々は,Rhyme Word GenerationとSyllable countingにおいて,人間と比較した場合,それぞれ17%と45%の有意なギャップを観察した。
  論文  参考訳（メタデータ） (2024-04-03T04:53:14Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Self-Augmented In-Context Learning for Unsupervised Word Translation [23.495503962839337]
  大規模言語モデル (LLMs) は、強力な単語翻訳やバイリンガル語彙誘導(BLI)機能を示す。 教師なしBLIのための自己拡張型インコンテキスト学習(SAIL)を提案する。 提案手法は,2つの確立したBLIベンチマーク上でのLDMのゼロショットプロンプトよりも大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-02-15T15:43:05Z)
• Establishing Vocabulary Tests as a Benchmark for Evaluating Large Language Models [2.7013338932521416]
  我々は,大言語モデル(LLM)の性能を評価する貴重なツールとして,語彙テストの復活を提唱する。 2つの言語にまたがる2つの語彙テスト形式を用いて7つのLSMを評価し,その語彙的知識の驚くべきギャップを明らかにする。
  論文  参考訳（メタデータ） (2023-10-23T08:45:12Z)
• Translate to Disambiguate: Zero-shot Multilingual Word Sense Disambiguation with Pretrained Language Models [67.19567060894563]
  事前訓練された言語モデル(PLM)は、豊富な言語間知識を学習し、多様なタスクでうまく機能するように微調整することができる。 C-WLT(Contextual Word-Level Translation)を用いた言語間単語感覚の捉え方の検討を行った。 モデルのサイズが大きくなるにつれて、PLMはより言語間単語認識の知識をエンコードし、WLT性能を改善するためのコンテキストを良くする。
  論文  参考訳（メタデータ） (2023-04-26T19:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。