論文の概要: Assessing the validity of new paradigmatic complexity measures as criterial features for proficiency in L2 writings in English
- arxiv url: http://arxiv.org/abs/2503.10220v2
- Date: Fri, 14 Mar 2025 08:44:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-17 13:09:13.801270
- Title: Assessing the validity of new paradigmatic complexity measures as criterial features for proficiency in L2 writings in English
- Title(参考訳): 英語L2文の習熟度基準としての新しいパラダイム的複雑性尺度の有効性の評価
- Authors: Cyriel Mallart, Andrew Simpkin, Nicolas Ballier, Paula Lissón, Rémi Venant, Jen-Yu Li, Bernardo Stearns, Thomas Gaillat,
- Abstract要約: この記事では、新しい文法的および構造的複雑性メトリクスの調査を通じて、第二言語(L2)による開発について述べる。
言語機能と特定の文法的パラダイムをリンクすることで、学習者英語におけるパラダイム生産を探求する。
- 参考スコア(独自算出の注目度): 1.465540676497032
- License:
- Abstract: This article addresses Second Language (L2) writing development through an investigation of new grammatical and structural complexity metrics. We explore the paradigmatic production in learner English by linking language functions to specific grammatical paradigms. Using the EFCAMDAT as a gold standard and a corpus of French learners as an external test set, we employ a supervised learning framework to operationalise and evaluate seven microsystems. We show that learner levels are associated with the seven microsystems (MS). Using ordinal regression modelling for evaluation, the results show that all MS are significant but yield a low impact if taken individually. However, their influence is shown to be impactful if taken as a group. These microsystems and their measurement method suggest that it is possible to use them as part of broader-purpose CALL systems focused on proficiency assessment.
- Abstract(参考訳): この記事では、新しい文法的および構造的複雑性メトリクスの調査を通じて、第二言語(L2)による開発について述べる。
言語機能と特定の文法的パラダイムをリンクすることで、学習者英語におけるパラダイム生産を探求する。
EFCAMDATをゴールドスタンダードとして,フランスの学習者のコーパスを外部テストセットとして使用し,教師付き学習フレームワークを用いて7つのマイクロシステムの運用と評価を行う。
学習者のレベルが7つのマイクロシステム(MS)と関連していることを示す。
評価に順序回帰モデルを用いると、すべてのMSが重要であるが、個別に取ると低い影響が生じる。
しかし、その影響はグループとして受ければ影響が大きいことが示されている。
これらのマイクロシステムとその測定方法は、熟練度評価に焦点を当てた汎用CALLシステムの一部として使用することが可能であることを示唆している。
関連論文リスト
- Analysis of LLM as a grammatical feature tagger for African American English [0.6927055673104935]
アフリカ系アメリカ人英語(AAE)は自然言語処理(NLP)に固有の課題を提示している
本研究では,利用可能なNLPモデルの性能を体系的に比較する。
本研究は,AAEの固有の言語特性をよりよく適合させるために,モデルトレーニングとアーキテクチャ調整の改善の必要性を強調した。
論文 参考訳(メタデータ) (2025-02-09T19:46:33Z) - Advancing Student Writing Through Automated Syntax Feedback [10.137657521054356]
本研究は, 学生の統語能力を高める上で, 構文フィードバックが重要な役割を担っていることを明らかにする。
本稿では,英語構文の理解と応用を高めるために,Essay-Syntax-Instructという特殊なデータセットを導入する。
論文 参考訳(メタデータ) (2025-01-13T23:10:02Z) - MILE: A Mutation Testing Framework of In-Context Learning Systems [5.419884861365132]
ICLシステムにおけるテストデータの品質と有効性を特徴付けるための突然変異試験フレームワークを提案する。
まず、ICLの実証に特化しているいくつかの突然変異演算子と、ICLテストセットに対応する突然変異スコアを提案する。
総合的な実験により、ICLテストスイートの信頼性と品質を評価する上で、我々のフレームワークの有効性を示す。
論文 参考訳(メタデータ) (2024-09-07T13:51:42Z) - Evaluating Large Language Models Using Contrast Sets: An Experimental Approach [0.0]
本研究では,スタンフォード自然言語推論データセットのコントラストセットを生成する革新的な手法を提案する。
我々の戦略は、動詞、副詞、形容詞をその同義語と自動置換して、文の本来の意味を保存することである。
本手法は,モデルの性能が真の言語理解に基づくのか,それとも単にパターン認識に基づくのかを評価することを目的とする。
論文 参考訳(メタデータ) (2024-04-02T02:03:28Z) - DIALIGHT: Lightweight Multilingual Development and Evaluation of
Task-Oriented Dialogue Systems with Large Language Models [76.79929883963275]
DIALIGHTは多言語タスク指向対話(ToD)システムの開発と評価のためのツールキットである。
ローカル発話レベルとグローバル対話レベルの両方において、人間のきめ細かい評価のためのセキュアでユーザフレンドリーなWebインターフェースを備えている。
評価の結果, PLMの微調整により精度とコヒーレンスが向上する一方, LLMベースのシステムは多様で類似した応答を生成するのに優れていた。
論文 参考訳(メタデータ) (2024-01-04T11:27:48Z) - Text Summarization Using Large Language Models: A Comparative Study of
MPT-7b-instruct, Falcon-7b-instruct, and OpenAI Chat-GPT Models [0.0]
Leveraging Large Language Models (LLMs) は、要約技術の強化において、顕著な将来性を示している。
本稿では,MPT-7b-instruct,falcon-7b-instruct,OpenAI ChatGPT text-davinci-003 モデルなど,多種多様な LLM を用いたテキスト要約について検討する。
論文 参考訳(メタデータ) (2023-10-16T14:33:02Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - Document-Level Machine Translation with Large Language Models [91.03359121149595]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対して、一貫性、凝集性、関連性、流動性のある回答を生成することができる。
本稿では,LLMの談話モデルにおける能力について詳細に評価する。
論文 参考訳(メタデータ) (2023-04-05T03:49:06Z) - Large Language Models Are Latent Variable Models: Explaining and Finding
Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。
本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文 参考訳(メタデータ) (2023-01-27T18:59:01Z) - Curious Case of Language Generation Evaluation Metrics: A Cautionary
Tale [52.663117551150954]
イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。
これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。
本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
論文 参考訳(メタデータ) (2020-10-26T13:57:20Z) - ECML: An Ensemble Cascade Metric Learning Mechanism towards Face
Verification [50.137924223702264]
特に、階層的メートル法学習はカスケード方式で実行され、不適合を緩和する。
顔の特徴分布特性を考慮し, 閉形解を用いたロバストなマハラノビス計量学習法(RMML)を提案する。
EC-RMMLは、顔認証のための最先端のメトリック学習法よりも優れている。
論文 参考訳(メタデータ) (2020-07-11T08:47:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。