論文の概要: Guidelines for Fine-grained Sentence-level Arabic Readability Annotation

• arxiv url: http://arxiv.org/abs/2410.08674v2
• Date: Tue, 10 Jun 2025 08:56:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:38.854998
• Title: Guidelines for Fine-grained Sentence-level Arabic Readability Annotation
• Title（参考訳）: 微粒な文レベルアラビア可読性アノテーションのガイドライン
• Authors: Nizar Habash, Hanada Taha-Thomure, Khalid N. Elmadani, Zeina Zeino, Abdallah Abushmaes,
• Abstract要約: Balanced Arabic Readability Evaluation Corpus (BAREC) は、アラビア語の詳細な文レベルの可読性評価のための大規模リソースである。 Taha/Arabi21フレームワークに基づいて、このガイドラインはアラビア語話者の教育者による反復的な教育によって洗練された。
• 参考スコア（独自算出の注目度）: 9.261022921574318
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents the annotation guidelines of the Balanced Arabic Readability Evaluation Corpus (BAREC), a large-scale resource for fine-grained sentence-level readability assessment in Arabic. BAREC includes 69,441 sentences (1M+ words) labeled across 19 levels, from kindergarten to postgraduate. Based on the Taha/Arabi21 framework, the guidelines were refined through iterative training with native Arabic-speaking educators. We highlight key linguistic, pedagogical, and cognitive factors in determining readability and report high inter-annotator agreement: Quadratic Weighted Kappa 81.8% (substantial/excellent agreement) in the last annotation phase. We also benchmark automatic readability models across multiple classification granularities (19-, 7-, 5-, and 3-level). The corpus and guidelines are publicly available.
• Abstract（参考訳）: 本稿では,アラビア語の微粒度読解性評価のための大規模資源であるBARECのガイドラインについて述べる。 BARECには、幼稚園から大学院まで、19のレベルにわたってラベル付けされた69,441の文(1M以上の単語)が含まれている。 Taha/Arabi21フレームワークに基づいて、このガイドラインはアラビア語話者の教育者による反復的な教育によって洗練された。 我々は,可読性を決定する上で重要な言語的,教育的,認知的要因を強調し,注釈間の合意を高く評価する: 準重み付きカッパ81.8%(実質的/卓越的合意)を最終アノテーション段階で報告する。 また,複数の分類(19レベル,7レベル,5レベル,3レベル)にまたがる自動可読性モデルのベンチマークを行った。 コーパスとガイドラインは公開されている。

関連論文リスト

• A Large and Balanced Corpus for Fine-grained Arabic Readability Assessment [10.853984915007961]
  本稿では,バランスドアラビア可読性評価コーパスBARECを紹介する。 BARECは、100万語を超える68,182の文で構成され、19の可読性レベルをカバーするために慎重にキュレートされている。 コーパスは、アノテーターの大規模なチームによって手動で注釈付けされた。
  論文  参考訳（メタデータ） (2025-02-19T08:16:11Z)
• Benchmarking Large Language Models for Conversational Question Answering in Multi-instructional Documents [61.41316121093604]
  対話型質問応答(CQA)の文脈における大規模言語モデル(LLM)を評価するための新しいベンチマークであるInsCoQAを提案する。 InsCoQAは、百科事典スタイルの教育内容から派生したもので、複数の文書から手続き的ガイダンスを抽出し、解釈し、正確に要約する能力のモデルを評価する。 また,LLM支援型評価器であるInsEvalを提案する。
  論文  参考訳（メタデータ） (2024-10-01T09:10:00Z)
• Strategies for Arabic Readability Modeling [9.976720880041688]
  自動可読性評価は、教育、コンテンツ分析、アクセシビリティのためのNLPアプリケーションの構築に関係している。 本稿では,アラビア可読性評価に関する実験結果について,多種多様なアプローチを用いて述べる。
  論文  参考訳（メタデータ） (2024-07-03T11:54:11Z)
• ROAST: Review-level Opinion Aspect Sentiment Target Joint Detection for ABSA [50.90538760832107]
  本研究は新たな課題であるROAST(Review-Level Opinion Aspect Sentiment Target)を提示する。 ROASTは、文章レベルのABSAとテキストレベルのABSAのギャップを埋めようとしている。 利用可能なデータセットを拡張してROASTを有効にし、以前の研究で指摘された欠点に対処します。
  論文  参考訳（メタデータ） (2024-05-30T17:29:15Z)
• The SAMER Arabic Text Simplification Corpus [9.369209124775043]
  MadeR Corpusは、学校の学習者を対象にしたテキスト単純化のための、手動で注釈付けされたアラビアのパラレルコーパスである。 私たちのコーパスは1865年から1955年の間に出版された15のアラビア小説から選ばれた159Kワードのテキストで構成されています。 コーパスには、文書レベルと単語レベルの両方での可読性レベルのアノテーションと、2つの異なる可読性レベルの学習者を対象にしたテキスト毎の2つの簡易並列バージョンが含まれています。
  論文  参考訳（メタデータ） (2024-04-29T11:34:06Z)
• From Multiple-Choice to Extractive QA: A Case Study for English and Arabic [51.13706104333848]
  既存の多言語データセットを新しいNLPタスクに再利用する可能性について検討する。 本稿では,英語および現代標準アラビア語に対するアノテーションガイドラインと並列EQAデータセットを提案する。 我々は、残りの120のBELEBELE言語変種に対して、他の人が我々のアプローチを適用するのを助けることを目指しており、その多くがリソース不足と見なされている。
  論文  参考訳（メタデータ） (2024-04-26T11:46:05Z)
• ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic [51.922112625469836]
  アラビア語における最初のマルチタスク言語理解ベンチマークである、データセット名を提案する。 我々のデータは、現代標準アラビア語(MSA)における40のタスクと14,575のマルチチョイス質問で構成されており、地域の母語話者と協調して慎重に構築されている。 35モデルについて評価した結果,特にオープンソースモデルにおいて,改善の余地がかなり高いことが判明した。
  論文  参考訳（メタデータ） (2024-02-20T09:07:41Z)
• AceGPT, Localizing Large Language Models in Arabic [73.39989503874634]
  本稿では,アラビア語のテキストによる事前学習,ネイティブなアラビア語命令を利用したSFT(Supervised Fine-Tuning),アラビア語のGPT-4応答を含む総合的なソリューションを提案する。 目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。
  論文  参考訳（メタデータ） (2023-09-21T13:20:13Z)
• Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
  本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。 ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。 また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
  論文  参考訳（メタデータ） (2023-07-16T15:18:25Z)
• ORCA: A Challenging Benchmark for Arabic Language Understanding [8.9379057739817]
  ORCAはアラビア語理解評価のための公開ベンチマークである。 アラビア語NLUの現在の進歩を測定するため、ORCAを用いて18の多言語モデルとアラビア語モデルを比較した。
  論文  参考訳（メタデータ） (2022-12-21T04:35:43Z)
• CEFR-Based Sentence Difficulty Annotation and Assessment [25.71796445061561]
  CEFRベースのSentence Profile (CEFR-SP) コーパスには、共通ヨーロッパ参照言語フレームワークに基づいた17kの英語文が注釈付けされている。 本研究では, マクロF1スコアの84.5%をレベルアセスメントで達成し, 可読性評価において強いベースラインを達成できた。
  論文  参考訳（メタデータ） (2022-10-21T07:03:30Z)
• CUGE: A Chinese Language Understanding and Generation Evaluation Benchmark [144.05723617401674]
  汎用言語インテリジェンス評価は、自然言語処理の長年の目標である。 汎用言語インテリジェンス評価には,ベンチマーク自体が包括的で体系的なものである必要がある,と我々は主張する。 以下に示す機能を備えた中国語理解・生成評価ベンチマークであるCUGEを提案する。
  論文  参考訳（メタデータ） (2021-12-27T11:08:58Z)
• Simple or Complex? Learning to Predict Readability of Bengali Texts [6.860272388539321]
  ベンガル語で書かれたテキストを解析できる可読性解析ツールを提案する。 2億3000万人のネイティブスピーカーを持つ世界で7番目に話されている言語であるにもかかわらず、ベンガル語は自然言語処理の基本的なリソースが不足している。
  論文  参考訳（メタデータ） (2020-12-09T01:41:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。