Fugu-MT 論文翻訳(概要): Ace-CEFR -- A Dataset for Automated Evaluation of the Linguistic Difficulty of Conversational Texts for LLM Applications

論文の概要: Ace-CEFR -- A Dataset for Automated Evaluation of the Linguistic Difficulty of Conversational Texts for LLM Applications

arxiv url: http://arxiv.org/abs/2506.14046v1
Date: Mon, 16 Jun 2025 22:40:16 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-18 17:34:59.264257
Title: Ace-CEFR -- A Dataset for Automated Evaluation of the Linguistic Difficulty of Conversational Texts for LLM Applications
Title（参考訳）: Ace-CEFR -- LLM用会話テキストの言語難易度自動評価用データセット
Authors: David Kogan, Max Schumacher, Sam Nguyen, Masanori Suzuki, Melissa Smith, Chloe Sophia Bellows, Jared Bernstein,
Abstract要約: Ace-CEFRは、英語の会話文節のデータセットで、対応するレベルのテキスト難易度に専門家が注釈を付けたものである。 Ace-CEFRで訓練されたモデルは、人間の専門家よりもテキストの難易度を正確に測定できることを示す。
参考スコア（独自算出の注目度）: 1.03232996949193
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: There is an unmet need to evaluate the language difficulty of short, conversational passages of text, particularly for training and filtering Large Language Models (LLMs). We introduce Ace-CEFR, a dataset of English conversational text passages expert-annotated with their corresponding level of text difficulty. We experiment with several models on Ace-CEFR, including Transformer-based models and LLMs. We show that models trained on Ace-CEFR can measure text difficulty more accurately than human experts and have latency appropriate to production environments. Finally, we release the Ace-CEFR dataset to the public for research and development.
Abstract（参考訳）: 特にLarge Language Models (LLMs) のトレーニングやフィルタリングにおいて、短い会話的なテキストの文通しの難易度を評価することが必要である。 Ace-CEFRは、英語の会話文の文節のデータセットであり、それに対応する文章の難易度に専門家が注釈を付けたものである。我々は,トランスフォーマーモデルやLLMなど,Ace-CEFR上のいくつかのモデルについて実験を行った。 Ace-CEFRでトレーニングされたモデルは、人間の専門家よりもテキストの難易度を正確に測定でき、本番環境に適したレイテンシを持つことを示す。最後に,Ace-CEFRデータセットを一般公開し,研究開発を行った。

関連論文リスト

Lugha-Llama: Adapting Large Language Models for African Languages [48.97516583523523]
大規模言語モデル(LLM)は、幅広い自然言語アプリケーションにおいて印象的な成果を上げている。低リソースのアフリカ言語にLLMを適用する方法について検討する。アフリカの言語から得られたキュレートされたデータと高品質な英語の教育用テキストを組み合わせることで、これらの言語上でのモデルの性能を大幅に向上させる訓練ミックスが得られることがわかった。
論文参考訳（メタデータ） (2025-04-09T02:25:53Z)
Enhancing Arabic Automated Essay Scoring with Synthetic Data and Error Injection [10.198081881605226]
AES(Automated Essay Scoring)は,言語学習者の文章の質評価,作業負荷の低減,リアルタイムフィードバックなどにおいて重要な役割を担っている。本稿では,Large Language Models(LLM)とTransformerモデルを利用して,AESのためのアラビア語エッセイを生成する。 3,040の注釈付きエッセイのデータセットを作成し、2つのメソッドでエラーを注入します。
論文参考訳（メタデータ） (2025-03-22T11:54:10Z)
Training Large Recommendation Models via Graph-Language Token Alignment [53.3142545812349]
本稿では,グラフ言語トークンアライメントによる大規模推薦モデルのトレーニングを行う新しいフレームワークを提案する。インタラクショングラフからアイテムとユーザノードを事前訓練されたLLMトークンにアライメントすることで、GLTAはLLMの推論能力を効果的に活用する。さらに、エンドツーエンドのアイテム予測のためのトークンアライメントを最適化するために、GLLM(Graph-Language Logits Matching)を導入する。
論文参考訳（メタデータ） (2025-02-26T02:19:10Z)
How well can LLMs Grade Essays in Arabic? [3.101490720236325]
本研究では,AR-AESデータセットを用いたアラビア語自動エッセイスコアリング(AES)タスクにおける大規模言語モデル(LLM)の有効性を評価する。ゼロショット、少数ショットのインコンテキスト学習、微調整など、さまざまな評価手法を探求する。英語のプロンプトとアラビア語のコンテンツを統合する混合言語プロンプト戦略は、モデル理解とパフォーマンスを改善するために実装された。
論文参考訳（メタデータ） (2025-01-27T21:30:02Z)
AraSTEM: A Native Arabic Multiple Choice Question Benchmark for Evaluating LLMs Knowledge In STEM Subjects [0.6564819194719582]
我々は、STEM科目におけるLarge Language Models (LLMs) の知識を評価することを目的とした、アラビア語多目的質問データセットであるAraSTEMを紹介する。このデータセットはさまざまなレベルのトピックにまたがっており、高い精度を達成するためには、科学的アラビアの深い理解をモデルに示さなければならない。以上の結果から, 様々なサイズの公開モデルがこのデータセットに苦慮し, より局所的な言語モデルの必要性を浮き彫りにしていることがわかった。
論文参考訳（メタデータ） (2024-12-31T17:45:12Z)
Chunk-Distilled Language Modeling [25.238256586953487]
Chunk-Distilled Language Modeling (CD-LM)は、現在の大規模言語モデル(LLM)における2つの課題に対処するテキスト生成のアプローチである。提案手法は,ディープネットワークベースのLCMと簡単な検索モジュールを組み合わせることで,単一のデコードステップでマルチトークンテキストチャンクを生成する。
論文参考訳（メタデータ） (2024-12-31T08:32:15Z)
Assessing Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [68.33068005789116]
本稿では、標準英語とAAVEで1.2K以上の並列クエリペアを含むベンチマークであるReDialを紹介する。我々は、GPT、Claude、Llama、Mistral、Phiモデルファミリーなど、広く使われているモデルを評価した。我々の研究は、方言クエリにおけるLLMバイアスを分析するための体系的で客観的な枠組みを確立する。
論文参考訳（メタデータ） (2024-10-14T18:44:23Z)
Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
Learn-Focus-Review(LFR)は、モデルの学習進捗に適応する動的トレーニングアプローチである。 LFRは、データブロック(トークンのシーケンス)にわたるモデルの学習パフォーマンスを追跡し、データセットの困難な領域を再検討する。フルデータセットでトレーニングされたベースラインモデルと比較して、LFRは一貫して低いパープレキシティと高い精度を達成した。
論文参考訳（メタデータ） (2024-09-10T00:59:18Z)
Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文参考訳（メタデータ） (2023-09-13T04:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。