論文の概要: A Large and Balanced Corpus for Fine-grained Arabic Readability Assessment

• arxiv url: http://arxiv.org/abs/2502.13520v1
• Date: Wed, 19 Feb 2025 08:16:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:00:20.056190
• Title: A Large and Balanced Corpus for Fine-grained Arabic Readability Assessment
• Title（参考訳）: アラビア細粒度可読性評価のための大規模・バランスの取れたコーパス
• Authors: Khalid N. Elmadani, Nizar Habash, Hanada Taha-Thomure,
• Abstract要約: 本稿では,バランスドアラビア可読性評価コーパスBARECを紹介する。 BARECは、100万語を超える68,182の文で構成され、19の可読性レベルをカバーするために慎重にキュレートされている。 コーパスは、アノテーターの大規模なチームによって手動で注釈付けされた。
• 参考スコア（独自算出の注目度）: 10.853984915007961
• License:
• Abstract: This paper introduces the Balanced Arabic Readability Evaluation Corpus BAREC, a large-scale, fine-grained dataset for Arabic readability assessment. BAREC consists of 68,182 sentences spanning 1+ million words, carefully curated to cover 19 readability levels, from kindergarten to postgraduate comprehension. The corpus balances genre diversity, topical coverage, and target audiences, offering a comprehensive resource for evaluating Arabic text complexity. The corpus was fully manually annotated by a large team of annotators. The average pairwise inter-annotator agreement, measured by Quadratic Weighted Kappa, is 81.3%, reflecting a high level of substantial agreement. Beyond presenting the corpus, we benchmark automatic readability assessment across different granularity levels, comparing a range of techniques. Our results highlight the challenges and opportunities in Arabic readability modeling, demonstrating competitive performance across various methods. To support research and education, we will make BAREC openly available, along with detailed annotation guidelines and benchmark results.
• Abstract（参考訳）: 本稿では,アラビア語可読性評価のための大規模かつきめ細かいデータセットであるBa balanced Arabic Readability Evaluation Corpus BARECを紹介する。 BARECは、幼稚園から大学院までの19の可読性レベルをカバーするために、100万語を超える68,182の文章で構成されている。 コーパスはジャンルの多様性、トピックのカバレッジ、ターゲットのオーディエンスとのバランスをとり、アラビア文字の複雑さを評価するための総合的なリソースを提供する。 コーパスは、アノテーターの大規模なチームによって手動で注釈付けされた。 Quadratic Weighted Kappaによって測定された平均的なペアワイドアノテータ間合意は81.3%であり、実質的な合意の水準の高さを反映している。 コーパスの提示以外にも、さまざまな粒度レベルの自動可読性評価をベンチマークし、様々な手法を比較した。 本結果はアラビア可読性モデリングにおける課題と機会を強調し,様々な手法による競争性能を実証した。 研究と教育を支援するため、詳細なガイドラインとベンチマーク結果とともに、BARECを公開します。

関連論文リスト

• Guidelines for Fine-grained Sentence-level Arabic Readability Annotation [9.261022921574318]
  Balanced Arabic Readability Evaluation Corpus (BAREC) プロジェクトは、さまざまな可読性レベルに対応する包括的なアラビア語リソースの必要性に対処するために設計されている。 Taha/Arabi21の可読性参照にインスパイアされたBARECは、19の異なるレベルにわたる文レベルのアラビア文字の可読性を評価するための標準化された参照を提供することを目指している。 本稿は,10,631文・フレーズ(113,651語)の分析を通じて,本ガイドラインに焦点をあてたものである。
  論文  参考訳（メタデータ） (2024-10-11T09:59:46Z)
• Strategies for Arabic Readability Modeling [9.976720880041688]
  自動可読性評価は、教育、コンテンツ分析、アクセシビリティのためのNLPアプリケーションの構築に関係している。 本稿では,アラビア可読性評価に関する実験結果について,多種多様なアプローチを用いて述べる。
  論文  参考訳（メタデータ） (2024-07-03T11:54:11Z)
• The SAMER Arabic Text Simplification Corpus [9.369209124775043]
  MadeR Corpusは、学校の学習者を対象にしたテキスト単純化のための、手動で注釈付けされたアラビアのパラレルコーパスである。 私たちのコーパスは1865年から1955年の間に出版された15のアラビア小説から選ばれた159Kワードのテキストで構成されています。 コーパスには、文書レベルと単語レベルの両方での可読性レベルのアノテーションと、2つの異なる可読性レベルの学習者を対象にしたテキスト毎の2つの簡易並列バージョンが含まれています。
  論文  参考訳（メタデータ） (2024-04-29T11:34:06Z)
• ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic [51.922112625469836]
  アラビア語における最初のマルチタスク言語理解ベンチマークである、データセット名を提案する。 我々のデータは、現代標準アラビア語(MSA)における40のタスクと14,575のマルチチョイス質問で構成されており、地域の母語話者と協調して慎重に構築されている。 35モデルについて評価した結果,特にオープンソースモデルにおいて,改善の余地がかなり高いことが判明した。
  論文  参考訳（メタデータ） (2024-02-20T09:07:41Z)
• CLAIR: Evaluating Image Captions with Large Language Models [69.46906537973518]
  本稿では,機械生成画像のキャプション評価手法であるCLAIRを提案する。 本評価では, CLAIRは, 従来の指標と比較して, キャプション品質の人的判断と強い相関性を示した。 Clairは、言語モデルが割り当てられたスコアの背後にある根底にある推論を識別できるようにすることで、ノイズに解釈可能な結果を提供する。
  論文  参考訳（メタデータ） (2023-10-19T17:59:01Z)
• SEAHORSE: A Multilingual, Multifaceted Dataset for Summarization Evaluation [52.186343500576214]
  本稿では,多言語・多面的要約評価のためのデータセットSEAHORSEを紹介する。 SEAHORSEは、テキスト品質の6次元に沿って人間格付けされた96Kの要約で構成されている。 本稿では,SEAHORSEでトレーニングしたメトリクスが,ドメイン外メタ評価ベンチマークTRUEとmFACEで高い性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-05-22T16:25:07Z)
• ORCA: A Challenging Benchmark for Arabic Language Understanding [8.9379057739817]
  ORCAはアラビア語理解評価のための公開ベンチマークである。 アラビア語NLUの現在の進歩を測定するため、ORCAを用いて18の多言語モデルとアラビア語モデルを比較した。
  論文  参考訳（メタデータ） (2022-12-21T04:35:43Z)
• Comprehensive Benchmark Datasets for Amharic Scene Text Detection and Recognition [56.048783994698425]
  Ethiopic/Amharicスクリプトはアフリカ最古の書記システムの一つで、東アフリカで少なくとも23の言語に対応している。 アムハラ語の表記体系である Abugida は282音節、15句の句読点、20の数字を持つ。 HUST-ART, HUST-AST, ABE, Tana という,自然界におけるアムハラ文字の検出と認識のための総合的な公開データセットを提示した。
  論文  参考訳（メタデータ） (2022-03-23T03:19:35Z)
• Simple or Complex? Learning to Predict Readability of Bengali Texts [6.860272388539321]
  ベンガル語で書かれたテキストを解析できる可読性解析ツールを提案する。 2億3000万人のネイティブスピーカーを持つ世界で7番目に話されている言語であるにもかかわらず、ベンガル語は自然言語処理の基本的なリソースが不足している。
  論文  参考訳（メタデータ） (2020-12-09T01:41:35Z)
• MOCHA: A Dataset for Training and Evaluating Generative Reading Comprehension Metrics [55.85042753772513]
  そこで本研究では,生成的読解の指標であるModeling Correctness with Humanをトレーニングし,評価するためのベンチマークを提案する。 S 我々は,MOCHAを用いて,人間の判断スコアを模倣する学習評価尺度LERCを訓練する。 最小のペアで評価すると、LERCは80%の精度でベースラインを14から26の絶対パーセンテージポイントで上回り、改善の余地は大きい。
  論文  参考訳（メタデータ） (2020-10-07T20:22:54Z)
• ORB: An Open Reading Benchmark for Comprehensive Evaluation of Machine Reading Comprehension [53.037401638264235]
  我々は,7種類の読解データセットの性能を報告する評価サーバORBを提案する。 評価サーバは、モデルのトレーニング方法に制限を課さないため、トレーニングパラダイムや表現学習の探索に適したテストベッドである。
  論文  参考訳（メタデータ） (2019-12-29T07:27:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。