論文の概要: Structured Prompting for Arabic Essay Proficiency: A Trait-Centric Evaluation Approach

• arxiv url: http://arxiv.org/abs/2603.19668v1
• Date: Fri, 20 Mar 2026 06:05:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:39.017799
• Title: Structured Prompting for Arabic Essay Proficiency: A Trait-Centric Evaluation Approach
• Title（参考訳）: アラビアエッセイ習熟度のための構造化プロンプティング : トランジット中心評価アプローチ
• Abstract要約: 本稿では,アラビア語における特徴特異的自動検査(AES)のための新しいプロンプトエンジニアリングフレームワークを提案する。 組織,語彙,開発,スタイルなど,言語能力の異なる特徴を評価する上で,LLMを導く3段階のプロンプト戦略を導入する。 実験結果から,Fanar-1-9B-Instructは0と数発のプロンプトにおいて高い特性レベルの一致を達成した。
• 参考スコア（独自算出の注目度）: 3.0802183987532725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a novel prompt engineering framework for trait specific Automatic Essay Scoring (AES) in Arabic, leveraging large language models (LLMs) under zero-shot and few-shot configurations. Addressing the scarcity of scalable, linguistically informed AES tools for Arabic, we introduce a three-tier prompting strategy (standard, hybrid, and rubric-guided) that guides LLMs in evaluating distinct language proficiency traits such as organization, vocabulary, development, and style. The hybrid approach simulates multi-agent evaluation with trait specialist raters, while the rubric-guided method incorporates scored exemplars to enhance model alignment. In zero and few-shot settings, we evaluate eight LLMs on the QAES dataset, the first publicly available Arabic AES resource with trait level annotations. Experimental results using Quadratic Weighted Kappa (QWK) and Confidence Intervals show that Fanar-1-9B-Instruct achieves the highest trait level agreement in both zero and few-shot prompting (QWK = 0.28 and CI = 0.41), with rubric-guided prompting yielding consistent gains across all traits and models. Discourse-level traits such as Development and Style showed the greatest improvements. These findings confirm that structured prompting, not model scale alone, enables effective AES in Arabic. Our study presents the first comprehensive framework for proficiency oriented Arabic AES and sets the foundation for scalable assessment in low resource educational contexts.
• Abstract（参考訳）: 本稿では, ゼロショットおよび少数ショット構成下での大規模言語モデル(LLM)を活用し, アラビア語における特徴特化自動評価(AES)のための新しいプロンプトエンジニアリングフレームワークを提案する。 アラビア語に対するスケーラブルで言語的に知らされたAESツールの不足に対処するため,私たちは,組織,語彙,開発,スタイルなど,言語能力の異なる特徴を評価する上で,LLMを指導する3段階のプロンプト戦略(標準,ハイブリッド,ルーリック誘導)を導入する。 ハイブリッド手法は, トラストスペシャリストによるマルチエージェント評価をシミュレートする一方, ルーブリック誘導法は, モデルアライメントを高めるために, 評価された例を組み込んだ。 QAESデータセット上で8つのLCMを評価する。これは、トレイトレベルのアノテーションを備えた、初めて公開されたアラビアのAESリソースである。 Quadratic Weighted Kappa (QWK) と Confidence Intervals を用いた実験結果から、Fanar-1-9B-Instruct はゼロおよび少数ショットプロンプト (QWK = 0.28 と CI = 0.41) において最高の特性レベル合意を達成し、ルーリック誘導プロンプトは全ての特性とモデルに対して一貫した利得を得ることを示した。 開発やスタイルといった談話レベルの特徴は、最大の改善を示しました。 これらの結果から,構造的プロンプトがアラビア語で有効であることが明らかとなった。 本研究は,能力指向アラビア語 AES の総合的な枠組みを初めて提示し,低資源教育におけるスケーラブルな評価の基礎を定めている。

関連論文リスト

• Harmonizing the Arabic Audio Space with Data Scheduling [15.84874997729878]
  本稿では、アラビア語中心のLLMのためのマルチタスク・インストラクション・チューニングに関する最初の体系的研究について述べる。 我々はQwen2.5-Omni (7B) を微調整し、Aligner-Based Diverse Smpling (ADS) とともにタスクプログレッシブカリキュラム (TPC) を提案する。 ADSは初期収束を加速するが、その固有の勾配のボラティリティは、長期の訓練で生成的復号を不安定にすることができる。
  論文  参考訳（メタデータ） (2026-01-18T17:08:31Z)
• Automatic Essay Scoring and Feedback Generation in Basque Language Learning [4.218073067465283]
  本稿では,CEFR C1の習熟度を目標とした,AES(Automatic Essay Scoring)とフィードバック生成のための最初の公開データセットを紹介する。 データセットは、HABEから3,200のエッセイで構成され、それぞれ専門家評価者によって注釈付けされ、正確さ、豊かさ、一貫性、凝集度、タスクアライメントを詳細にフィードバックとエラーの例で表現する。 RoBERTa-EusCrawlやLatxa 8B/70Bといったオープンソースモデルを、スコアリングと説明生成の両方のために微調整します。
  論文  参考訳（メタデータ） (2025-12-09T15:28:35Z)
• Classifying German Language Proficiency Levels Using Large Language Models [0.24683296459020942]
  本稿では,ドイツ語の文章を異なる習熟度に分類するために,Large Language Models (LLMs) を用いて検討する。 頑健なトレーニングと評価を支援するため,既存のCEFR注釈コーパスを合成データと組み合わせ,多様なデータセットを構築した。 提案手法は従来の手法に比べて一貫した性能向上を示し,信頼性とスケーラブルなCEFR分類のためのLCMの可能性を強調した。
  論文  参考訳（メタデータ） (2025-12-06T16:15:45Z)
• A Large-Scale Dataset and Citation Intent Classification in Turkish with LLMs [0.0]
  まず、トルコ語による引用意図のデータセットを公開し、目的付けのアノテーションツールで作成する。 次に,Large Language Models (LLMs) を用いた標準インコンテキスト学習の性能評価を行い,手動で設計したプロンプトによる一貫性のない結果によってその効果が制限されることを示した。 最終分類には、複数の最適化されたモデルから出力を集約し、安定かつ信頼性の高い予測を保証するために、重ねられた一般化アンサンブルを用いる。
  論文  参考訳（メタデータ） (2025-09-26T05:44:04Z)
• How well can LLMs Grade Essays in Arabic? [3.101490720236325]
  本研究では,AR-AESデータセットを用いたアラビア語自動エッセイスコアリング(AES)タスクにおける大規模言語モデル(LLM)の有効性を評価する。 ゼロショット、少数ショットのインコンテキスト学習、微調整など、さまざまな評価手法を探求する。 英語のプロンプトとアラビア語のコンテンツを統合する混合言語プロンプト戦略は、モデル理解とパフォーマンスを改善するために実装された。
  論文  参考訳（メタデータ） (2025-01-27T21:30:02Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• Cross-Lingual NER for Financial Transaction Data in Low-Resource Languages [70.25418443146435]
  半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。 我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。 わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
  論文  参考訳（メタデータ） (2023-07-16T00:45:42Z)
• Active Learning for Abstractive Text Summarization [50.79416783266641]
  本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。 ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
  論文  参考訳（メタデータ） (2023-01-09T10:33:14Z)
• Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
  ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。 本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
  論文  参考訳（メタデータ） (2021-10-04T08:51:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。