Fugu-MT 論文翻訳(概要): Guidelines for Fine-grained Sentence-level Arabic Readability Annotation

論文の概要: Guidelines for Fine-grained Sentence-level Arabic Readability Annotation

arxiv url: http://arxiv.org/abs/2410.08674v1
Date: Fri, 11 Oct 2024 09:59:46 GMT
ステータス: 処理完了
システム内更新日: 2024-10-30 22:35:12.933974
Title: Guidelines for Fine-grained Sentence-level Arabic Readability Annotation
Title（参考訳）: 微粒な文レベルアラビア可読性アノテーションのガイドライン
Authors: Nizar Habash, Hanada Taha-Thomure, Khalid N. Elmadani, Zeina Zeino, Abdallah Abushmaes,
Abstract要約: Balanced Arabic Readability Evaluation Corpus (BAREC) プロジェクトは、さまざまな可読性レベルに対応する包括的なアラビア語リソースの必要性に対処するために設計されている。 Taha/Arabi21の可読性参照にインスパイアされたBARECは、19の異なるレベルにわたる文レベルのアラビア文字の可読性を評価するための標準化された参照を提供することを目指している。本稿は,10,631文・フレーズ(113,651語)の分析を通じて,本ガイドラインに焦点をあてたものである。
参考スコア（独自算出の注目度）: 9.261022921574318
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper presents the foundational framework and initial findings of the Balanced Arabic Readability Evaluation Corpus (BAREC) project, designed to address the need for comprehensive Arabic language resources aligned with diverse readability levels. Inspired by the Taha/Arabi21 readability reference, BAREC aims to provide a standardized reference for assessing sentence-level Arabic text readability across 19 distinct levels, ranging in targets from kindergarten to postgraduate comprehension. Our ultimate goal with BAREC is to create a comprehensive and balanced corpus that represents a wide range of genres, topics, and regional variations through a multifaceted approach combining manual annotation with AI-driven tools. This paper focuses on our meticulous annotation guidelines, demonstrated through the analysis of 10,631 sentences/phrases (113,651 words). The average pairwise inter-annotator agreement, measured by Quadratic Weighted Kappa, is 79.9%, reflecting a high level of substantial agreement. We also report competitive results for benchmarking automatic readability assessment. We will make the BAREC corpus and guidelines openly accessible to support Arabic language research and education.
Abstract（参考訳）: 本稿では,多様な可読性レベルに整合したアラビア語リソースの包括的ニーズに対応するため,バランスド・アラビア可読性評価コーパス(BAREC)プロジェクトの基礎的枠組みと初期の成果について述べる。 Taha/Arabi21の可読性基準にインスパイアされたBARECは、幼稚園から大学院の理解まで、19の異なるレベルにわたる文レベルのアラビア文字の可読性を評価するための標準化された基準を提供することを目指している。 BARECの最終的な目標は、手動アノテーションとAI駆動ツールを組み合わせた多面的アプローチを通じて、幅広いジャンル、トピック、地域的なバリエーションを表す、包括的でバランスの取れたコーパスを作ることです。本稿は,10,631文/フレーズ(113,651語)の分析を通じて,本ガイドラインを実証した。 Quadratic Weighted Kappaが測定した平均的なペアワイドアノテータ間合意は79.9%であり、実質的な合意の水準の高さを反映している。また,自動可読性評価のベンチマーク結果についても報告する。我々は、アラビア語の研究・教育を支援するため、BARECコーパスとガイドラインを公に公開します。

関連論文リスト

Benchmarking Large Language Models for Conversational Question Answering in Multi-instructional Documents [61.41316121093604]
対話型質問応答(CQA)の文脈における大規模言語モデル(LLM)を評価するための新しいベンチマークであるInsCoQAを提案する。 InsCoQAは、百科事典スタイルの教育内容から派生したもので、複数の文書から手続き的ガイダンスを抽出し、解釈し、正確に要約する能力のモデルを評価する。また,LLM支援型評価器であるInsEvalを提案する。
論文参考訳（メタデータ） (2024-10-01T09:10:00Z)
Strategies for Arabic Readability Modeling [9.976720880041688]
自動可読性評価は、教育、コンテンツ分析、アクセシビリティのためのNLPアプリケーションの構築に関係している。本稿では,アラビア可読性評価に関する実験結果について,多種多様なアプローチを用いて述べる。
論文参考訳（メタデータ） (2024-07-03T11:54:11Z)
ROAST: Review-level Opinion Aspect Sentiment Target Joint Detection for ABSA [50.90538760832107]
本研究は新たな課題であるROAST(Review-Level Opinion Aspect Sentiment Target)を提示する。 ROASTは、文章レベルのABSAとテキストレベルのABSAのギャップを埋めようとしている。利用可能なデータセットを拡張してROASTを有効にし、以前の研究で指摘された欠点に対処します。
論文参考訳（メタデータ） (2024-05-30T17:29:15Z)
The SAMER Arabic Text Simplification Corpus [9.369209124775043]
MadeR Corpusは、学校の学習者を対象にしたテキスト単純化のための、手動で注釈付けされたアラビアのパラレルコーパスである。私たちのコーパスは1865年から1955年の間に出版された15のアラビア小説から選ばれた159Kワードのテキストで構成されています。コーパスには、文書レベルと単語レベルの両方での可読性レベルのアノテーションと、2つの異なる可読性レベルの学習者を対象にしたテキスト毎の2つの簡易並列バージョンが含まれています。
論文参考訳（メタデータ） (2024-04-29T11:34:06Z)
ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic [51.922112625469836]
アラビア語における最初のマルチタスク言語理解ベンチマークである、データセット名を提案する。我々のデータは、現代標準アラビア語(MSA)における40のタスクと14,575のマルチチョイス質問で構成されており、地域の母語話者と協調して慎重に構築されている。 35モデルについて評価した結果,特にオープンソースモデルにおいて,改善の余地がかなり高いことが判明した。
論文参考訳（メタデータ） (2024-02-20T09:07:41Z)
AceGPT, Localizing Large Language Models in Arabic [73.39989503874634]
本稿では,アラビア語のテキストによる事前学習,ネイティブなアラビア語命令を利用したSFT(Supervised Fine-Tuning),アラビア語のGPT-4応答を含む総合的なソリューションを提案する。目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。
論文参考訳（メタデータ） (2023-09-21T13:20:13Z)
Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文参考訳（メタデータ） (2023-07-16T15:18:25Z)
ORCA: A Challenging Benchmark for Arabic Language Understanding [8.9379057739817]
ORCAはアラビア語理解評価のための公開ベンチマークである。アラビア語NLUの現在の進歩を測定するため、ORCAを用いて18の多言語モデルとアラビア語モデルを比較した。
論文参考訳（メタデータ） (2022-12-21T04:35:43Z)
CEFR-Based Sentence Difficulty Annotation and Assessment [25.71796445061561]
CEFRベースのSentence Profile (CEFR-SP) コーパスには、共通ヨーロッパ参照言語フレームワークに基づいた17kの英語文が注釈付けされている。本研究では, マクロF1スコアの84.5%をレベルアセスメントで達成し, 可読性評価において強いベースラインを達成できた。
論文参考訳（メタデータ） (2022-10-21T07:03:30Z)
CUGE: A Chinese Language Understanding and Generation Evaluation Benchmark [144.05723617401674]
汎用言語インテリジェンス評価は、自然言語処理の長年の目標である。汎用言語インテリジェンス評価には,ベンチマーク自体が包括的で体系的なものである必要がある,と我々は主張する。以下に示す機能を備えた中国語理解・生成評価ベンチマークであるCUGEを提案する。
論文参考訳（メタデータ） (2021-12-27T11:08:58Z)
Simple or Complex? Learning to Predict Readability of Bengali Texts [6.860272388539321]
ベンガル語で書かれたテキストを解析できる可読性解析ツールを提案する。 2億3000万人のネイティブスピーカーを持つ世界で7番目に話されている言語であるにもかかわらず、ベンガル語は自然言語処理の基本的なリソースが不足している。
論文参考訳（メタデータ） (2020-12-09T01:41:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。