論文の概要: UniversalCEFR: Enabling Open Multilingual Research on Language Proficiency Assessment

• arxiv url: http://arxiv.org/abs/2506.01419v1
• Date: Mon, 02 Jun 2025 08:21:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 04:22:50.731764
• Title: UniversalCEFR: Enabling Open Multilingual Research on Language Proficiency Assessment
• Title（参考訳）: UniversalCEFR: 言語習熟度評価に関するオープン多言語研究の実現
• Authors: Joseph Marvin Imperial, Abdullah Barayan, Regina Stodden, Rodrigo Wilkens, Ricardo Munoz Sanchez, Lingyun Gao, Melissa Torgbi, Dawn Knight, Gail Forey, Reka R. Jablonkai, Ekaterina Kochmar, Robert Reynolds, Eugenio Ribeiro, Horacio Saggion, Elena Volodina, Sowmya Vajjala, Thomas Francois, Fernando Alva-Manchego, Harish Tayyar Madabushi,
• Abstract要約: 我々は13言語でCEFRスケールに従って注釈付きテキストの大規模多言語多次元データセットであるUniversalCEFRを紹介する。 自動可読性と言語習熟度の評価の両方においてオープンな研究を可能にするために、UniversalCEFRは505,807個のCEFRラベル付きテキストからなる。
• 参考スコア（独自算出の注目度）: 41.01607386452566
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce UniversalCEFR, a large-scale multilingual multidimensional dataset of texts annotated according to the CEFR (Common European Framework of Reference) scale in 13 languages. To enable open research in both automated readability and language proficiency assessment, UniversalCEFR comprises 505,807 CEFR-labeled texts curated from educational and learner-oriented resources, standardized into a unified data format to support consistent processing, analysis, and modeling across tasks and languages. To demonstrate its utility, we conduct benchmark experiments using three modelling paradigms: a) linguistic feature-based classification, b) fine-tuning pre-trained LLMs, and c) descriptor-based prompting of instruction-tuned LLMs. Our results further support using linguistic features and fine-tuning pretrained models in multilingual CEFR level assessment. Overall, UniversalCEFR aims to establish best practices in data distribution in language proficiency research by standardising dataset formats and promoting their accessibility to the global research community.
• Abstract（参考訳）: 我々は,CEFR(Common European Framework of Reference)スケールに従って注釈付きテキストの大規模多言語多次元データセットであるUniversalCEFRを紹介した。 自動可読性と言語習熟度の評価の両方においてオープンな研究を可能にするために、UniversalCEFRは505,807個のCEFRラベル付きテキストを教育や学習者指向のリソースからキュレーションし、一貫した処理、分析、タスクや言語間のモデリングをサポートする統一データフォーマットに標準化した。 その有用性を示すために、3つのモデリングパラダイムを用いたベンチマーク実験を行った。 言語的特徴に基づく分類 ロ 微調整事前訓練LDM及び c) 指示調整LDMのディスクリプタに基づくプロンプト 本研究は,多言語CEFRレベル評価における言語特徴と微調整事前学習モデルの活用をさらに支援する。 全体として、UniversalCEFRは、データセットフォーマットを標準化し、グローバルな研究コミュニティへのアクセシビリティを促進することで、言語習熟度研究におけるデータ配布のベストプラクティスを確立することを目指している。

関連論文リスト

• Enhancing Multilingual LLM Pretraining with Model-Based Data Selection [33.68104398807581]
  本稿では,多言語データセットを対象としたモデルベースフィルタリングフレームワークを提案する。 当社のアプローチは透明性、単純さ、効率性を重視しています。 フレームワークを20言語に拡張し、洗練された事前トレーニングデータセットをリリースします。
  論文  参考訳（メタデータ） (2025-02-14T18:42:07Z)
• LUSIFER: Language Universal Space Integration for Enhanced Multilingual Embeddings with Large Language Models [89.13128402847943]
  LUSIFERは,LLMをベースとした多言語タスクの埋め込みモデルに,多言語監視を必要とせずに適用可能なゼロショット方式である。 LUSIFERのアーキテクチャは多言語エンコーダを組み、言語ユニバーサル学習者として機能し、埋め込み固有のタスクに最適化されたLLMベースの埋め込みモデルと組み合わせている。 5つの主要な埋め込みタスク、123の多様なデータセット、14言語にわたるカバレッジを含む新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-01-01T15:43:07Z)
• LLMs for Generalizable Language-Conditioned Policy Learning under Minimal Data Requirements [50.544186914115045]
  本稿では,オフライン言語によるポリシー学習のための新しいトレーニングパイプラインTEDUOを提案する。 TEDUOは、分かりやすい、ラベルなしのデータセットを運用し、いわゆるインザワイルド評価(in-the-wild evaluation)に適している。
  論文  参考訳（メタデータ） (2024-12-09T18:43:56Z)
• Bridging the Bosphorus: Advancing Turkish Large Language Models through Strategies for Low-Resource Language Adaptation and Benchmarking [1.3716808114696444]
  大規模言語モデル(LLM)は様々な分野において重要になってきており、表現不足の言語における高品質なモデルの緊急性を強調している。 本研究では、データ不足、モデル選択、評価、計算制限など、低リソース言語が直面する固有の課題について検討する。
  論文  参考訳（メタデータ） (2024-05-07T21:58:45Z)
• Data-Augmentation-Based Dialectal Adaptation for LLMs [26.72394783468532]
  本稿では, GMUNLPによるVarDial 2024におけるDialect-Copa共有タスクへの参加について述べる。 この課題は、南スラヴ語のマイクロディレクト上での大規模言語モデル(LLM)の常識推論能力を評価することに焦点を当てている。 本稿では,異なるタイプの言語モデルの強みを組み合わせ,データ拡張技術を活用してタスク性能を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-04-11T19:15:32Z)
• Language Models are Universal Embedders [45.8316643119292]
  大きな言語モデル(LLM)革命において、埋め込みは様々なシステムの重要な構成要素である。 組込み機を構築するための戦略を提案し,ユニバーサル評価ベンチマークを導入する。 実験結果から,学習モデルは言語やタスクにまたがる優れた埋め込みを生成するのに長けていることがわかった。
  論文  参考訳（メタデータ） (2023-10-12T11:25:46Z)
• CUGE: A Chinese Language Understanding and Generation Evaluation Benchmark [144.05723617401674]
  汎用言語インテリジェンス評価は、自然言語処理の長年の目標である。 汎用言語インテリジェンス評価には,ベンチマーク自体が包括的で体系的なものである必要がある,と我々は主張する。 以下に示す機能を備えた中国語理解・生成評価ベンチマークであるCUGEを提案する。
  論文  参考訳（メタデータ） (2021-12-27T11:08:58Z)
• Improving Low-resource Reading Comprehension via Cross-lingual Transposition Rethinking [0.9236074230806579]
  Extractive Reading (ERC)は、大規模で高品質なERCトレーニングデータの提供によって、大幅に進歩した。 このような急速な進歩と広範囲の応用にもかかわらず、英語のような高リソース言語以外の言語のデータセットは依然として不足している。 多言語環境において,既存の高品質抽出読解データセットをモデル化し,XLTT(Cross-Lingual Transposition ReThinking)モデルを提案する。
  論文  参考訳（メタデータ） (2021-07-11T09:35:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。