論文の概要: Benchmarking Frontier LLMs on Arabic Cultural and Sociolinguistic Knowledge: A Cross-Evaluation Framework with Human SME Ground Truth

• arxiv url: http://arxiv.org/abs/2607.00139v1
• Date: Tue, 30 Jun 2026 20:18:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-02 19:56:07.616944
• Title: Benchmarking Frontier LLMs on Arabic Cultural and Sociolinguistic Knowledge: A Cross-Evaluation Framework with Human SME Ground Truth
• Title（参考訳）: アラビア語の文化的・社会言語学的知識に基づくフロンティアLLMのベンチマーク:人間による中小企業の地層情報を用いた相互評価フレームワーク
• Abstract要約: クロス評価フレームワークは、エジプト語とイラク語という2つの未表現のアラビア語方言のコミュニティをインスタンス化した。 提案手法は,母国語話者が作成した103組のプロンプト・ルブリックペアをコントリビュートする。 1,307人の審査員: GPT-5.4は最も信頼できる裁判官(MADj = 10.21 pp, Signed Error = -1.12%)である。
• 参考スコア（独自算出の注目度）: 0.34797121357690153
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The cost of human expert evaluation is a principal bottleneck to deploying language models in specialized, high-stakes domains. This is particularly acute for Arabic sociolinguistic knowledge: credible grading requires not only linguistic fluency but deep cultural familiarity that cannot be approximated by surface-level metrics. We address this with a cross-evaluation framework instantiated on two underrepresented Arabic dialect communities: Egyptian and Iraqi Arabic. We contribute 103 validated prompt-rubric pairs (70 Egyptian, 33 Iraqi; 53 Cultural, 50 Linguistic), authored and graded by native-speaker SMEs using penalty-weighted rubrics distinguishing positive content requirements from answer-specific negative error criteria. Three frontier LLMs serve as target models (graded by human SMEs across 302 unique prompt-response pairs), while five frontier LLMs serve as automated judges enforcing a provider-level self-evaluation guard. A dual-metric scheme combining Mean Absolute Deviation (MAD) with Signed Mean Error separates directional grading bias from symmetric noise. Across 1,307 judge evaluations: GPT-5.4 is the most reliable judge (MADj = 10.21 pp, Signed Error = -1.12%); four of five judges show systematic leniency (+2.01% to +6.56%); Cultural tasks are harder to grade than Linguistic tasks for all judges (MAD gap 1.83-4.78 pp); and models substantially outperform on Egyptian prompts compared to Iraqi prompts. However, given leniency differences between Iraqi and Egyptian SMEs, we cannot solely attribute this gap to model knowledge. We therefore emphasize findings that do not assume identical leniency across human graders. Across all samples, implicit cultural reasoning -- requiring models to simulate native-speaker judgment rather than rely on lexical verification -- emerges as the primary failure mode for automated grading across all judge models.
• Abstract（参考訳）: 専門家による評価のコストは、専門的かつ高い領域に言語モデルをデプロイする上で、主要なボトルネックとなる。 これはアラビア語社会言語学の知識にとって特に急進的であり、信頼の度合いは言語流布だけでなく、表面レベルの指標で近似できない深い文化的な親しみも必要である。 我々は、エジプト語とイラク語という2つの未表現のアラビア語方言のコミュニティでインスタンス化された、相互評価の枠組みでこの問題に対処する。 本研究は,有意な内容要件と回答固有の負の誤り基準とを区別したペナルティ重み付きルーリックを用いて,ネイティブスピーカーSMEによって作成・評価された103組(エジプト語70組,イラク語33組,文化語53組,言語語50組)に貢献する。 3つのフロンティアLSMは目標モデル(302組のユニークなプロンプト-レスポンスペアでヒトの中小企業によって評価される)として機能し、5つのフロンティアLSMは提供者レベルの自己評価ガードを強制する自動裁判官として機能する。 平均絶対偏差(MAD)と符号平均誤差を組み合わせた2次元スキームは、指向性階調バイアスを対称雑音から分離する。 GPT-5.4は最も信頼できる審査員(MADj = 10.21 pp, Signed Error = -1.12%)、5人の審査員のうち4人は体系的な怠慢(+2.01%から+6.56%)、文化的なタスクはすべての審査員の言語的タスク(MADギャップ 1.83-4.78 pp)よりも格段に難しい。 しかし、イラクとエジプトの中小企業の優越性の違いを考えると、このギャップは知識をモデル化するだけのものではない。 そこで我々は,ヒトの学年間で同一の怠慢を仮定しない知見を強調した。 すべてのサンプルにわたって、暗黙的な文化的推論 -- 語彙検証に頼るのではなく、ネイティブスピーカーの判断をシミュレートするモデルが必要です -- が、すべての判断モデルを対象とした自動グレーディングの第一の障害モードとして現れます。

関連論文リスト

• Beyond Fluency: A Rubric-Based Benchmark for Evaluating Saudi Dialect and Cultural Competence in Large Language Models [0.37331950863394864]
  サウジアラビア方言の古風なベンチマークを示す。 9カテゴリの分類で466のエラー事例を分類する。 一貫性に反するトレードオフとモデル固有のエラーシグネチャを観察する。
  論文  参考訳（メタデータ） (2026-08-30T19:31:35Z)
• Perception or Prejudice: Can MLLMs Go Beyond First Impressions of Personality? [74.69723255239663]
  グラウンドド・パーソナリティ・推論は、MLLMがそれぞれのビッグファイブ・格付けを、評価、推論、根拠の連鎖を通じて観察可能な証拠に固定することを要求する。 MM-OCEANは、人間の検証によるマルチエージェントパイプラインによって生成され、タイムスタンプによる行動観察、エビデンスに基づく特性分析、およびキューグラウンドMCQの7つのカテゴリがある。 この分析では、フィールド全体にわたって、正しい評価の51%が取得された手がかりに基づかず、ホリスティック・ギャラリング・レートは0-33.5%にしか達していないという顕著な偏見のギャップが明らかになった。
  論文  参考訳（メタデータ） (2026-05-21T07:42:47Z)
• The GaoYao Benchmark: A Comprehensive Framework for Evaluating Multilingual and Multicultural Abilities of Large Language Models [51.61416200800499]
  GaoYaoは182.3kサンプル、26言語、51か国/地域からなる総合ベンチマークである。 まず、GaoYao氏は評価タスクを3つの文化階層に分類する統一的なフレームワークを提案する。 第二に、専門家を活用して、主観的なベンチマークを19言語に厳格にローカライズすることで、ネイティブ品質の拡大を実現しています。 第3に,20以上のフラッグシップおよびコンパクトLCMの詳細な診断を行う。
  論文  参考訳（メタデータ） (2026-04-22T06:19:46Z)
• When AI Writes, Whose Voice Remains? Quantifying Cultural Marker Erasure Across World English Varieties in Large Language Models [6.821769033209393]
  文化ゴースト(Cultural Ghosting)とは、テキスト処理において、非ネイティブな英語の品種に特有の言語マーカーを体系的に消去することである。 我々はこの現象を、IER(Identity Erasure Rate)とSPS(Semantic Preservation Score)の2つの新しい指標を用いて定量化する。 本実験は, 明示的な文化的保存により, セマンティック品質を犠牲にすることなく, 消毒を29%削減できることを実証した。
  論文  参考訳（メタデータ） (2026-02-25T17:54:42Z)
• ALPS: A Diagnostic Challenge Set for Arabic Linguistic & Pragmatic Reasoning [0.0]
  ALPS(アラビア語: Linguistic & Pragmatic Suite)は、Deep Semantics and Pragmatics(ディープ・セマンティックス・アンド・プラグマティクス)を探索する専門的な診断課題である。 ALPSは15のタスクと47のサブタスクにわたる厳密な質問を531問を通じて言語理解の深さを目標としている。 我々は、アラビア語の言語学の深い専門知識と文化の真正性を保証し、翻訳品を排除したデータセットを開発した。
  論文  参考訳（メタデータ） (2026-02-19T03:51:37Z)
• Mitigating Cultural Bias in LLMs via Multi-Agent Cultural Debate [7.517766226036547]
  大規模言語モデル(LLM)は、体系的な西洋中心の偏見を示すが、非西洋の言語がそれを緩和できるかどうかはまだ検討されていない。 我々は、中国語のバイリンガルベンチマークであるCEBiasBenchと、偏見の判断を明確化するためのマルチエージェント投票(MAV)を紹介する。 この枠組みを用いることで、中国はそれを排除するのではなく、単に東アジアの視点に偏見を移すだけであることがわかった。
  論文  参考訳（メタデータ） (2026-01-17T16:00:34Z)
• Evaluating Large Language Models for Abstract Evaluation Tasks: An Empirical Study [1.412242138378466]
  大規模言語モデル(LLM)は、要求を処理し、テキストを生成することができるが、学術的コンテンツを評価する可能性にはさらなる調査が必要である。 本研究では,ChatGPT-5,Gemini-3-Pro,Claude-Sonnet-4.5の相互比較およびヒトレビュアーに対する抽象概念の整合性と信頼性について検討した。
  論文  参考訳（メタデータ） (2026-01-09T15:21:17Z)
• RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
  本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。 ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。 これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2025-11-27T07:20:52Z)
• DialectalArabicMMLU: Benchmarking Dialectal Capabilities in Arabic and Multilingual Language Models [54.10223256792762]
  アラビア方言における大規模言語モデル(LLM)の性能評価のための新しいベンチマークであるDialectalArabicMMLUを提案する。 MMLU-Redux フレームワークを手動で翻訳し、3K 個の質問応答対を5つの主要な方言に適応することで拡張する。
  論文  参考訳（メタデータ） (2025-10-31T15:17:06Z)
• I Am Aligned, But With Whom? MENA Values Benchmark for Evaluating Cultural Alignment and Multilingual Bias in LLMs [5.060243371992739]
  大規模言語モデル(LLM)の文化的アライメントと多言語バイアスを評価するための新しいベンチマークであるMENAValuesを紹介する。 大規模で権威ある人的調査から、我々は16カ国の人口レベルの応答分布を持つMENAの社会文化的景観を捉えた構造化データセットをキュレートした。 分析の結果,同じ質問が言語に基づいて大きく異なる反応をもたらす「クロス・Lingual Value Shifts」,その理由の説明を促す「Reasoning-induced Degradation」,モデルがセンシティブな質問を拒否する「Logit Leakage」,内部確率が強く隠蔽される「Logit Leakage」の3つの重要な現象が明らかになった。
  論文  参考訳（メタデータ） (2025-10-15T05:10:57Z)
• Which Cultural Lens Do Models Adopt? On Cultural Positioning Bias and Agentic Mitigation in LLMs [53.07843733899881]
  大規模言語モデル(LLM)は、幅広い下流生成アプリケーションをアンロックした。 また、米国主流の文化の観点から、文化にまつわる微妙な公平性の問題に対処し、世代を配置するリスクも見いだす。 本稿では、これらのバイアスを解決するための2つの推論時間緩和法を提案する。
  論文  参考訳（メタデータ） (2025-09-25T12:28:25Z)
• VisuLogic: A Benchmark for Evaluating Visual Reasoning in Multi-modal Large Language Models [121.03333569013148]
  VisuLogicは、6つのカテゴリにまたがる1,000の人間認証された問題のベンチマークです。 これらの質問は、複数の視点からMLLMの視覚的推論能力を評価するために評価することができる。 ほとんどのモデルは精度が30%以下で、25%のランダムベースラインよりわずかに高く、人間によって達成された51.4%よりはるかに低い。
  論文  参考訳（メタデータ） (2025-04-21T17:59:53Z)
• Flames: Benchmarking Value Alignment of LLMs in Chinese [86.73527292670308]
  本稿では,Flamesという値アライメントベンチマークを提案する。 一般的な無害の原則と、特定の中国の価値観を統合するユニークな道徳的側面の両方を包含している。 以上の結果から, 評価されたLLMはフラムに対して比較的低い性能を示した。
  論文  参考訳（メタデータ） (2023-11-12T17:18:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。