論文の概要: Beyond Fluency: A Rubric-Based Benchmark for Evaluating Saudi Dialect and Cultural Competence in Large Language Models
- arxiv url: http://arxiv.org/abs/2608.29990v1
- Date: Sun, 30 Aug 2026 19:31:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.142289
- Title: Beyond Fluency: A Rubric-Based Benchmark for Evaluating Saudi Dialect and Cultural Competence in Large Language Models
- Title（参考訳）: Beyond Fluency: 大規模言語モデルにおけるサウジアラビアの方言と文化能力の評価のためのルーブリックベースのベンチマーク
- Abstract要約: サウジアラビア方言の古風なベンチマークを示す。
9カテゴリの分類で466のエラー事例を分類する。
一貫性に反するトレードオフとモデル固有のエラーシグネチャを観察する。
- 参考スコア（独自算出の注目度）: 0.37331950863394864
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models are increasingly deployed in Arabic-speaking markets, yet standard benchmarks overwhelmingly reward Modern Standard Arabic (MSA) fluency while leaving dialectal and culturally grounded competence unmeasured. This gap is consequential: everyday Arabic is largely dialectal, and dialect encodes social meaning that MSA-centric evaluation cannot capture. We present a rubric-based benchmark for the Saudi dialect, comprising 31 expert-authored prompts spanning idiomatic, pragmatic, lexical, and culturally-embedded phenomena, each paired with an expert-established ground truth. Our methodology separates evaluation into a model-agnostic phase, in which atomic, MECE positive criteria are derived solely from the ground truth, and a model-specific phase, in which four state-of-the-art systems -- Claude Opus 5, Gemini 3.7, GPT-5.6, and Kimi K3 -- are scored against those criteria and penalised for errors they actively introduce. Across 124 model-prompt evaluations we catalogue 466 error instances under a nine-category taxonomy. The four systems cluster within a narrow macro-average band (42.7%-53.1%), with no model exceeding 55% and every model recording at least one negative-scoring prompt, confirming that Saudi dialectal competence remains broadly unsolved. Notably, Ambiguous Framing is the dominant failure mode (37.3% of errors) while outright Hallucination accounts for only 11.2%, indicating that models fail less by stating falsehoods than by distorting register and flattening pragmatic nuance. We further observe a consistency-versus-ceiling trade-off and model-distinctive error signatures. We release the full prompt set, ground truths, and scored rubrics to support reproducible dialectal evaluation.
- Abstract（参考訳）: 大きな言語モデルはアラビア語市場への展開が増えているが、標準ベンチマークは現代標準アラビア語(MSA)の流布に圧倒的に報いる一方、方言と文化に根ざした能力は計り知れないままである。
日常のアラビア語は大部分が方言であり、方言はMSA中心の評価が捉えられない社会的意味を符号化している。
サウジアラビア方言のルーリック・ベース・ベンチマークでは, 慣用的, 実践的, 語彙的, 文化的に埋め込まれた31のプロンプトを, それぞれ専門家が確立した真実と組み合わせて提示する。
本手法は, 原子, MECE の正の基準が基礎的真理からのみ導出されるモデル非依存相と, クロードオプス5, ジェミニ3.7, GPT-5.6, キミK3の4つの最先端系がそれらの基準に対して評価され, 積極的に導入される誤りに対して罰せられるモデル固有相とを分離する。
124のモデル・プロンプトの評価で、9つのカテゴリーの分類の下で466のエラー事例を分類する。
狭いマクロ平均バンド(42.7%-53.1%)内の4つのシステムクラスターは、モデルが55%を超えず、全てのモデルが少なくとも1つの負のスコアのプロンプトを記録し、サウジアラビアの方言能力が未解決のままであることを確認した。
特に、Ambiguous Framingは主流の障害モード(37.3%のエラー)であり、アウトライトのHalucinationはわずか11.2%であり、登録を歪め、現実的なニュアンスを平らにするよりも、偽りの表現で失敗する方が少ないことを示している。
さらに、一貫性に反するトレードオフとモデル固有のエラーシグネチャを観察する。
再現可能な弁証法評価を支援するために,全プロンプトセット,基礎的真理を公開し,破片を採点した。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Benchmarking Frontier LLMs on Arabic Cultural and Sociolinguistic Knowledge: A Cross-Evaluation Framework with Human SME Ground Truth [0.34797121357690153]
クロス評価フレームワークは、エジプト語とイラク語という2つの未表現のアラビア語方言のコミュニティをインスタンス化した。
提案手法は,母国語話者が作成した103組のプロンプト・ルブリックペアをコントリビュートする。
1,307人の審査員: GPT-5.4は最も信頼できる裁判官(MADj = 10.21 pp, Signed Error = -1.12%)である。
論文 参考訳（メタデータ） (2026-06-30T20:18:32Z) - Evaluation of Small Language Models for Arabic Language Processing [0.0]
この研究では、8つのドメインと10の言語スキルにまたがる240のアラビアテスト項目のベンチマークを紹介した。
全てのモデルは、標準のアラビア文字のみのプロンプトテンプレートを使用して、制御されたゼロショット設定で評価された。
より強いアラビアアライメントとより信頼性の高い指示追従行動を持つモデルは、タスク間でより良く機能する傾向にあった。
論文 参考訳（メタデータ） (2026-06-19T14:16:13Z) - Perception or Prejudice: Can MLLMs Go Beyond First Impressions of Personality? [74.69723255239663]
グラウンドド・パーソナリティ・推論は、MLLMがそれぞれのビッグファイブ・格付けを、評価、推論、根拠の連鎖を通じて観察可能な証拠に固定することを要求する。
MM-OCEANは、人間の検証によるマルチエージェントパイプラインによって生成され、タイムスタンプによる行動観察、エビデンスに基づく特性分析、およびキューグラウンドMCQの7つのカテゴリがある。
この分析では、フィールド全体にわたって、正しい評価の51%が取得された手がかりに基づかず、ホリスティック・ギャラリング・レートは0-33.5%にしか達していないという顕著な偏見のギャップが明らかになった。
論文 参考訳（メタデータ） (2026-05-21T07:42:47Z) - Context-Aware Dialectal Arabic Machine Translation with Interactive Region and Register Selection [0.0]
現在のアラビア語の機械翻訳(MT)システムは、しばしば方言の多様性を考慮するのに苦労している。
本稿では,地域・言語的変動を明示的にモデル化した方言アラビア語 MT の文脈認識フレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-07T20:54:19Z) - DialectalArabicMMLU: Benchmarking Dialectal Capabilities in Arabic and Multilingual Language Models [54.10223256792762]
アラビア方言における大規模言語モデル(LLM)の性能評価のための新しいベンチマークであるDialectalArabicMMLUを提案する。
MMLU-Redux フレームワークを手動で翻訳し、3K 個の質問応答対を5つの主要な方言に適応することで拡張する。
論文 参考訳（メタデータ） (2025-10-31T15:17:06Z) - DialectGen: Benchmarking and Improving Dialect Robustness in Multimodal Generation [111.94720088481614]
多モーダル生成モデルは方言テキスト入力を効果的に生成できるのか?
6つの共通英語方言にまたがる大規模ベンチマークを構築した。
マルチモーダル生成モデルのための一般的なエンコーダに基づく緩和戦略を設計する。
論文 参考訳（メタデータ） (2025-10-16T17:56:55Z) - UI-Level Evaluation of ALLaM 34B: Measuring an Arabic-Centric LLM via HUMAIN Chat [1.2788586581322734]
サウジのデータとAI機関は、アラビアに焦点を当てたモデルのファミリーである$allaM$を導入した。
最も有能な$ALLaM-34B$は、HUMAIN Chatを開発したHUMAINによって採用された。
本稿では,拡張されたUIレベルの$ALLaM-34B$について述べる。
論文 参考訳（メタデータ） (2025-08-24T14:32:15Z) - Advancing Dialectal Arabic to Modern Standard Arabic Machine Translation [22.369277951685234]
本稿では,レバンタ語,エジプト語,湾岸方言のDA-MSA翻訳の進展に寄与する2つの中核的貢献について述べる。
ゼロショット,チェーン・オブ・シント,提案手法であるAra-TEaR法を改良した。
微調整 LLM では、量子化された Gemma2-9B モデルが 49.88 の chrF++ スコアを獲得し、ゼロショット GPT-4o (44.58) を上回った。
論文 参考訳（メタデータ） (2025-07-27T14:37:53Z) - ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic [51.922112625469836]
アラビア語における最初のマルチタスク言語理解ベンチマークである、データセット名を提案する。
我々のデータは、現代標準アラビア語(MSA)における40のタスクと14,575のマルチチョイス質問で構成されており、地域の母語話者と協調して慎重に構築されている。
35モデルについて評価した結果,特にオープンソースモデルにおいて,改善の余地がかなり高いことが判明した。
論文 参考訳（メタデータ） (2024-02-20T09:07:41Z) - Holistic Evaluation of Language Models [183.94891340168175]
言語モデル(LM)は、ほとんどすべての主要言語技術の基盤となっているが、その能力、制限、リスクはよく理解されていない。
本稿では,言語モデルの透明性を向上させるために,言語モデルの完全性評価(HELM)を提案する。
論文 参考訳（メタデータ） (2022-11-16T18:51:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。