論文の概要: E-CONAN (Entailment, CONtradition And Neutral) Benchmarks: Arabic Textual Entailment and Natural Inference Datasets
- arxiv url: http://arxiv.org/abs/2609.11334v1
- Date: Thu, 10 Sep 2026 10:11:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.301761
- Title: E-CONAN (Entailment, CONtradition And Neutral) Benchmarks: Arabic Textual Entailment and Natural Inference Datasets
- Title（参考訳）: E-CONAN (Entailment, Contradition and Neutral)ベンチマーク:アラビア語のテキストエンターメントと自然推論データセット
- Abstract要約: E-CONANベンチマークは、様々なソースからの文ペアで構成されている。
E-CONANには2つのベンチマークデータセット、E-CONAN-2、2ウェイデータセット(RTE)と3ウェイデータセット(NLI)のE-CONAN-3が含まれている。
- 参考スコア（独自算出の注目度）: 0.22940141855172028
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Natural Language Inference processes pairs of sentences to extract their semantic relations. NLI has been a hot research topic, integrated as a main component in other NLP applications. Despite significant advancements in textual inference across various languages all around the world, Arabic language still suffers from limited resources in this domain. To address this gap, this paper introduces E-CONAN benchmarks that are composed of sentences pairs from various sources: (1) automatically-translated pairs, (2) human-validated machine-translated pairs, (3) hand-crafted pairs from teaching Arabic as foreign language books, and (4) headlines pairs from different news channels containing rumors. E-CONAN contains two benchmark datasets, E-CONAN-2, a 2-way dataset (RTE) and E-CONAN-3, a 3-way dataset (NLI). Additionally, we have used E-CONAN benchmarks to evaluate 9 state-of-the-art multilingual pretrained models using zero-shot classification. Models were evaluated across the ArNLI, XNLI, and E-CONAN datasets. Results show that E-CONAN is a potentially valuable resource for evaluating model generalization and even for fine-tuning pre-trained models. Its diverse composition, derived from a combination of sources, offers a broader and more robust assessment compared to XNLI and ArNLI. In addition, we have evaluated 5 LLMs on E-CONAN-3 dataset. Moreover, we incorporated MARBERT as a representative Arabic-specific baseline and conducted performance evaluation comparison to demonstrate how Arabic-specific models scale against cross-lingual and LLM-based approaches on the E-CONAN benchmarks. Furthermore, we conducted detailed qualitative and quantitative error analysis to analyze frequent error patterns. E-CONAN benchmarks will be publicly available, we hope that it will enrich research community in Arabic textual entailment and natural language inference.
- Abstract（参考訳）: 自然言語推論は文のペアを処理し、意味的関係を抽出する。
NLIは熱い研究トピックであり、他のNLPアプリケーションの主要なコンポーネントとして統合されている。
世界中の様々な言語でテキスト推論が大幅に進歩しているにもかかわらず、アラビア語はいまだにこの領域の限られた資源に悩まされている。
そこで本稿では,(1)自動翻訳ペア,(2)人間検証機械翻訳ペア,(3)アラビア語を外国語の本として教えることによる手作りペア,(4)噂を含むニュースチャンネルからの見出しペアなど,さまざまな情報源からの文対からなるE-CONANベンチマークを紹介する。
E-CONANには2つのベンチマークデータセット、E-CONAN-2、2ウェイデータセット(RTE)と3ウェイデータセット(NLI)のE-CONAN-3が含まれている。
さらに、ゼロショット分類を用いて、E-CONANベンチマークを用いて9つの最先端多言語事前訓練モデルの評価を行った。
モデルはArNLI、XNLI、E-CONANデータセットで評価された。
以上の結果から,E-CONANはモデル一般化の評価や,微調整事前学習モデルにも有用である可能性が示唆された。
その多種多様な構成は、XNLIとArNLIと比較して広く、より堅牢な評価を提供する。
さらに,E-CONAN-3データセット上で5LLMを評価した。
さらに、MARBERTを代表的なアラビア語固有のベースラインとして組み込んで、E-CONANベンチマークにおけるアラビア語固有のモデルとLLMベースのアプローチとのスケール性を示すため、性能評価を行った。
さらに、頻繁なエラーパターンを分析するために、詳細な定性的、定量的なエラー分析を行った。
E-CONANベンチマークが公開され、アラビア語のテキストエンターメントと自然言語推論における研究コミュニティが強化されることを願っています。
関連論文リスト
- Dataset Scarcity Limits Robust Evaluation of Multilingual Embedding Models: A Case Study of Slavic Languages [3.9407886544063384]
本稿では,データセット不足下での多言語埋め込みベンチマーク解析のための2次元フレームワークを提案する。
このフレームワークは,3つの相補的な側面を共同で分析しながら,タスク固有の評価とタスク間の評価を区別する。
スラヴ語とタスクのペアの多くは、単一のデータセットや高い相関のベンチマークコレクションに依存しています。
論文 参考訳（メタデータ） (2026-08-25T12:23:31Z) - LASQ: A Low-resource Aspect-based Sentiment Quadruple Extraction Dataset [23.766167086091315]
我々は、最初の低リソース言語であるAspect-based Sentiment Quadruple データセット LASQ を構築した。
ウズベク語とウイグル語という2つの低リソース言語を含んでいる。
微粒なターゲット・アスペクト・オピニオン・センチメント・4倍の抽出タスクを含む。
論文 参考訳（メタデータ） (2026-04-12T02:30:31Z) - Structured Prompting for Arabic Essay Proficiency: A Trait-Centric Evaluation Approach [3.0802183987532725]
本稿では,アラビア語における特徴特異的自動検査(AES)のための新しいプロンプトエンジニアリングフレームワークを提案する。
組織,語彙,開発,スタイルなど,言語能力の異なる特徴を評価する上で,LLMを導く3段階のプロンプト戦略を導入する。
実験結果から,Fanar-1-9B-Instructは0と数発のプロンプトにおいて高い特性レベルの一致を達成した。
論文 参考訳（メタデータ） (2026-03-20T06:05:04Z) - AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。
AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。
また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
論文 参考訳（メタデータ） (2025-08-29T07:40:39Z) - Can Large Language Models Predict the Outcome of Judicial Decisions? [0.0]
大規模言語モデル(LLM)は自然言語処理(NLP)において例外的な機能を示す。
LLaMA-3.2-3B や LLaMA-3.1-8B を含む最先端のオープンソース LLM を様々な構成でベンチマークする。
本結果は,タスク固有のコンテキストにおいて,細調整された小型モデルが大規模モデルに匹敵する性能を実現することを示す。
論文 参考訳（メタデータ） (2025-01-15T11:32:35Z) - Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。
この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。
方言データセットにおけるNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
論文 参考訳（メタデータ） (2024-01-11T03:04:38Z) - A deep Natural Language Inference predictor without language-specific
training data [44.26507854087991]
本研究では,言語固有の訓練データセットを使わずに,目的言語における文のペア間の推論関係(NLI)に対処するためのNLP手法を提案する。
我々は、同じトレーニング済みモデルの2つのインスタンスとともに、手動で翻訳される汎用翻訳データセットを利用する。
このモデルは、機械翻訳Stanford NLIテストデータセット、機械翻訳Multi-Genre NLIテストデータセット、手動翻訳RTE3-ITAテストデータセットで評価されている。
論文 参考訳（メタデータ） (2023-09-06T10:20:59Z) - Cross-Lingual NER for Financial Transaction Data in Low-Resource
Languages [70.25418443146435]
半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。
我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。
わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
論文 参考訳（メタデータ） (2023-07-16T00:45:42Z) - Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。
我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。
また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
論文 参考訳（メタデータ） (2023-01-22T18:22:55Z) - MuCGEC: a Multi-Reference Multi-Source Evaluation Dataset for Chinese
Grammatical Error Correction [51.3754092853434]
MuCGECは中国語文法誤り訂正(CGEC)のためのマルチ参照評価データセットである
3つの中国語-as-a-Second-Language(CSL)学習資料から収集された7,063文からなる。
各文は3つのアノテータによって修正され、その修正は専門家によって慎重にレビューされ、1文あたりの参照数は2.3である。
論文 参考訳（メタデータ） (2022-04-23T05:20:38Z) - WANLI: Worker and AI Collaboration for Natural Language Inference
Dataset Creation [101.00109827301235]
我々は人間と機械の協調に基づくデータセット作成のための新しいパラダイムを導入する。
我々は、データセット地図を用いて、挑戦的な推論パターンを示すサンプルを自動的に識別し、GPT-3に同様のパターンで新しい例を作成するよう指示する。
結果として得られたデータセットであるWANLIは、108,357の自然言語推論(NLI)の例からなり、ユニークな経験的強度を示す。
論文 参考訳（メタデータ） (2022-01-16T03:13:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。