論文の概要: PersLitEval: Fine-grained Benchmark and Evaluation of LLMs on Persian Literature Questions

• arxiv url: http://arxiv.org/abs/2605.27015v1
• Date: Tue, 26 May 2026 13:34:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:42.189796
• Title: PersLitEval: Fine-grained Benchmark and Evaluation of LLMs on Persian Literature Questions
• Title（参考訳）: PersLitEval:ペルシャ文学におけるLLMの詳細なベンチマークと評価
• Authors: Ruhallah Niazi, Faeze Ghorbanpour, Alexander Fraser,
• Abstract要約: PersLitEvalは8つのきめ細かいカテゴリにわたる4,514のペルシア文学の多重選択質問のベンチマークである。 課題の難易度を3段階に分けて,カテゴリーレベルの相違が顕著であることを示す。 エラー解析では、意味的理解のギャップ、形式的言語的知識のギャップ、カウント/列挙エラーの3つの障害モードを識別する。
• 参考スコア（独自算出の注目度）: 48.69228180369574
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Despite impressive multilingual capabilities, large language models (LLMs) remain poorly evaluated on literary knowledge in non-English languages. We introduce PersLitEval, a benchmark of 4,514 Persian literature multiple-choice questions across eight fine-grained categories spanning spelling, literary devices, grammar, vocabulary, word formation, and conceptual understanding, sourced from materials for the Konkur university entrance examination. We evaluate six LLMs across ten prompting strategies, revealing striking category-level disparities across three tiers of task difficulty: models reach higher accuracy on conceptual similarity tasks but struggle with formal linguistic analysis, with spelling and word formation proving the hardest across all models. Prompting strategy has a significant impact on performance, with explained few-shot examples yielding the best results, particularly on formal linguistic categories. An error analysis identifies three failure modes: semantic comprehension gaps, formal linguistic knowledge gaps, and counting/enumeration errors, suggesting that different categories require different improvement strategies.
• Abstract（参考訳）: 印象的な多言語機能にもかかわらず、大きな言語モデル(LLM)は、英語以外の言語における文学的知識についての評価が不十分なままである。 ペルスリット・エスバル(ペルスリット・エスバル)は,ペルスリット・エスバル(ペルスリット・エスバル)で,ペルスリット・エスバル(ペルスリット・エスバル)という,ペルスリット・エスバル(ペルスリット・エスバル)とペルスリット・エスバル(ペルスリット・エスバル)という,ペルスリット・エスバル(ペルスリット・エスバル)を,コンクール大学入学試験の資料から抽出した。 モデルが概念的類似性タスクに対して高い精度で到達するが、形式的言語分析に苦慮し、スペルと単語形成が全てのモデルで最も難しいことを証明している。 プロンプティング戦略はパフォーマンスに大きな影響を与え、いくつかの例で説明すれば、特に形式的な言語カテゴリーにおいて、最良の結果が得られる。 エラー分析では、意味的理解ギャップ、形式的言語的知識ギャップ、カウント/列挙エラーの3つの障害モードを特定し、異なるカテゴリには異なる改善戦略が必要であることを示唆している。

関連論文リスト

• IndicEval: A Bilingual Indian Educational Evaluation Framework for Large Language Models [0.0]
  本稿では,大規模言語モデル(LLM)の性能を評価するため,スケーラブルなベンチマークプラットフォームであるIndicEvalを紹介する。 IndicEvalは、実検定基準で評価し、推論、ドメイン知識、バイリンガル適応性の現実的な測定を可能にする。 Gemini 2.0 Flash、GPT-4、Claude、LLaMA 3-70Bで実施された実験では、3つの大きな発見が示された。
  論文  参考訳（メタデータ） (2026-02-18T13:55:57Z)
• AraLingBench A Human-Annotated Benchmark for Evaluating Arabic Linguistic Capabilities of Large Language Models [37.79823471716066]
  AraLingBenchは、大規模言語モデル(LLM)のアラビア語能力を評価するための、完全に人間による注釈付きベンチマークである。 このベンチマークは、文法、形態学、綴り、読解、構文の5つの中核カテゴリにまたがっており、エキスパートが設計した複数の選択肢に関する質問が150件ある。
  論文  参考訳（メタデータ） (2025-11-18T09:47:01Z)
• PolyMath: Evaluating Mathematical Reasoning in Multilingual Contexts [85.78821098963607]
  PolyMathは18の言語と4つの難易度をカバーする多言語数学的推論ベンチマークである。 我々のベンチマークは、包括性、言語多様性、高品質な翻訳の難しさを保証する。
  論文  参考訳（メタデータ） (2025-04-25T15:39:04Z)
• XIFBench: Evaluating Large Language Models on Multilingual Instruction Following [59.549015333755186]
  大規模言語モデル(LLM)は、様々なアプリケーションにまたがる優れた命令追従機能を示している。 既存の評価には、様々な言語的文脈におけるきめ細かい制約分析が欠如している。 我々は,LLMの多言語命令追従能力を評価するための総合ベンチマークであるXIFBenchを紹介する。
  論文  参考訳（メタデータ） (2025-03-10T17:07:52Z)
• Comparative Study of Multilingual Idioms and Similes in Large Language Models [4.581124233698535]
  本研究は, チェーン・オブ・ソート, 少数ショット, 英語翻訳プロンプトなど, 迅速なエンジニアリング戦略の有効性について検討する。 これらのデータセットの言語をペルシア語にも拡張し、2つの新しい評価セットを構築します。 本研究により, 迅速な工学手法は一般的に有効であるが, その成功は図形型, 言語, モデルによって異なることがわかった。
  論文  参考訳（メタデータ） (2024-10-21T19:40:05Z)
• Khayyam Challenge (PersianMMLU): Is Your LLM Truly Wise to The Persian Language? [3.4812080203308984]
  ハヤム・チャレンジ(Khayyam Challenge、ペルシア語MMLU)は、ペルシアの試験から抽出された38の多様なタスクから得られた20,192の4つの質問のコレクションである。 Khayyam Challengeの主な目的は、ペルシア語をサポートするLLMの厳格な評価を促進することである。
  論文  参考訳（メタデータ） (2024-04-09T22:38:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。