論文の概要: E-CONAN (Entailment, CONtradition And Neutral) Diagnostics Dataset Investigating Linguistic Phenomena in Arabic Natural Language Understanding

• arxiv url: http://arxiv.org/abs/2609.33530v1
• Date: Sun, 27 Sep 2026 12:56:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 15:58:48.615602
• Title: E-CONAN (Entailment, CONtradition And Neutral) Diagnostics Dataset Investigating Linguistic Phenomena in Arabic Natural Language Understanding
• Title（参考訳）: E-CONAN(Entailment,Contradition and Neutral)診断データセットによるアラビア語の自然言語理解における言語現象の調査
• Abstract要約: 多様な言語現象の誤りを分析することは、自然言語理解の改善に不可欠である。 いくつかのベンチマークには、調査ときめ細かいエラー解析のために設計された診断データセットが含まれている。 E-CONANデータセットは、NLUデザイナがエラー分析や詳細な調査を行うことで、モデルをよりよく理解するのに役立つ。
• 参考スコア（独自算出の注目度）: 0.22940141855172028
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Natural Language Understanding (NLU) plays a crucial role in various applications, yet its performance suffers from weaknesses in handling the complexities of human languages, ranging from lexical ambiguity to high-level reasoning difficulties. Analyzing errors across diverse linguistic phenomena is crucial for NLU improvement, as it will help humans get insights to comprehensively assess models' limitations and capabilities, so optimizing models' generalization. Notably, several benchmarks contain diagnostics datasets designed for investigation and fine-grained error analysis. When highlighting the gaps in the state-of-the-art, we noted that there is no naming convention for macro and micro categories or even a standard set of linguistic phenomena that should be covered. To overcome this gap, we propose an initial hierarchy for Cross-Lingual NLU error analysis. Moreover, we propose a methodology to create an NLI hierarchical framework and applied a case study on Arabic NLU. Moreover, this paper introduces E-CONAN diagnostics dataset, a freely available dataset manually-annotated with coarse-grained and fine-grained categories based on our proposed Arabic hierarchy. E-CONAN dataset helps NLU designers better understand their models by doing error analysis and in-depth investigation. We used E-CONAN to investigate the performance of 9 pretrained language models and 5 LLMs. Results indicate that LLMs outperform pretrained models in world knowledge and commonsense reasoning macro-category, and underperform pretrained models in syntactic macro-category. Moreover, the hardest phenomena for all models is Reasoning, and the easiest phenomena for all pretrained models is Syntactic, and the easiest for LLMs is Lexico-Syntactic.
• Abstract（参考訳）: 自然言語理解(NLU)は、様々なアプリケーションにおいて重要な役割を果たすが、その性能は、語彙的曖昧さから高レベルの推論困難まで、人間の言語の複雑さを扱う際の弱点に悩まされている。 多様な言語現象にまたがる誤りを分析することは、NLUの改善に不可欠であり、人間がモデルの限界と能力を包括的に評価し、モデルの一般化を最適化するのに役立つ。 特に、いくつかのベンチマークには、調査ときめ細かいエラー分析のために設計された診断データセットが含まれている。 最先端のギャップを強調する際には、マクロやマイクロカテゴリの命名規則や、カバーすべき言語現象の標準セットさえ存在しないことに留意した。 このギャップを克服するために,言語間NLU誤り解析の初期階層を提案する。 さらに,NLI階層型フレームワークの構築手法を提案し,アラビアNLUのケーススタディを適用した。 さらに,提案するアラビア語階層に基づいて,粗粒度と細粒度を手動で注釈付けしたE-CONAN診断データセットを提案する。 E-CONANデータセットは、NLUデザイナがエラー分析や詳細な調査を行うことで、モデルをよりよく理解するのに役立つ。 我々は、E-CONANを用いて、事前訓練された9つの言語モデルと5つのLLMの性能を調査した。 その結果,LLMは世界知識およびコモンセンス推論マクロカテゴリにおいて事前学習モデルより優れ,構文的マクロカテゴリでは未学習モデルよりも優れていた。 さらに、全てのモデルにとって最も難しい現象は推論であり、全ての事前訓練されたモデルにとって最も簡単な現象はシンタクティックであり、LLMにとって最も簡単な現象はレキシコシンタクティックである。

関連論文リスト

• LLM Probe: Evaluating LLMs for Low-Resource Languages [6.177998679139308]
  本稿では,低リソース言語における大規模言語モデル (LLM) の言語能力を評価するための語彙ベースアセスメントフレームワークを提案する。 このフレームワークは、語彙アライメント、音声認識、モルフォシンタクティック・プロービング、翻訳精度の4つの領域にわたるモデルを分析する。
  論文  参考訳（メタデータ） (2026-03-31T10:03:38Z)
• Large Language Model enabled Mathematical Modeling [2.132096006921049]
  本研究では,Large Language Models (LLMs) の自然言語理解とコード生成による定式化ギャップを埋める可能性について検討する。 DeepSeek-R1は、強化学習で訓練された費用効率で高性能なモデルである。 本手法は,基礎的評価,幻覚分類の発達,緩和戦略の適用を含む。
  論文  参考訳（メタデータ） (2025-10-22T17:41:42Z)
• Enhancing Long-Chain Reasoning Distillation through Error-Aware Self-Reflection [64.73809794561305]
  errOr-aware self-ReflectION (ORION) は、エラー・アウェア・リフレクション(Error-Aware Reflection)プロセスを通じて教師のCoTを洗練するフレームワークである。 複数の数学的推論ベンチマークの実験では、ORIONはすべてのベースラインに対して2%以上パフォーマンスを継続的に改善している。
  論文  参考訳（メタデータ） (2025-05-28T08:57:03Z)
• LINGOLY-TOO: Disentangling Reasoning from Knowledge with Templatised Orthographic Obfuscation [1.2576388595811496]
  自然言語を基盤とした挑戦的推論ベンチマークであるlingOLY-TOOを紹介する。 実言語で記述された推論問題をパーミュレートして、多数の質問のバリエーションを生成する。 実験と分析は、モデルが推論を回避し、事前の知識から回答できることを示している。
  論文  参考訳（メタデータ） (2025-03-04T19:57:47Z)
• JustLogic: A Comprehensive Benchmark for Evaluating Deductive Reasoning in Large Language Models [51.99046112135311]
  LLM(Large Language Models)の厳密な評価のための合成推論ベンチマークであるJustLogicを紹介する。 JustLogicは非常に複雑で、多様な言語パターン、語彙、引数構造を生成することができる。 実験の結果, (i) LLMは人体平均値よりも同等かそれ以上に機能するが, 人体天井よりも著しく低下することがわかった。
  論文  参考訳（メタデータ） (2025-01-24T15:49:10Z)
• Rethinking Masked Language Modeling for Chinese Spelling Correction [70.85829000570203]
  言語モデルと誤りモデルという2つの異なるモデルによる共同決定として,中国語のスペル補正(CSC)について検討する。 細調整されたBERTは、言語モデルに不適合なままエラーモデルに過度に適合する傾向にあり、その結果、分布外エラーパターンへの一般化が不十分であることがわかった。 微調整中に入力シーケンスから20%の非エラートークンをランダムにマスキングする非常に単純な戦略は、エラーモデルを犠牲にすることなく、はるかに優れた言語モデルを学ぶのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-05-28T13:19:12Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)
• Data Augmentation for Spoken Language Understanding via Pretrained Language Models [113.56329266325902]
  音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。 我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
  論文  参考訳（メタデータ） (2020-04-29T04:07:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。