論文の概要: BavGround: A Benchmark for Regional Cultural Grounding and Dialect Competence in Bavarian
- arxiv url: http://arxiv.org/abs/2608.12894v1
- Date: Thu, 13 Aug 2026 07:23:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.419045
- Title: BavGround: A Benchmark for Regional Cultural Grounding and Dialect Competence in Bavarian
- Title（参考訳）: BavGround:バイエルンにおける地域文化基盤と方言能力のベンチマーク
- Abstract要約: バイエルン地方の文化基盤と方言能力を評価するためのベンチマークであるBavGroundを紹介する。
BavGroundには、言語ごとに8つの文化領域にまたがる206の複数の選択肢がある。
強い多言語モデルは全体としては最高に機能するが、バイエルン語項目やソースグラウンドの質問では性能が低下する。
- 参考スコア（独自算出の注目度）: 33.0382356140632
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Cultural evaluation of large language models (LLMs) often focuses on high-resource standard languages, leaving regional culture and dialect communities underrepresented. We introduce BavGround, a benchmark for evaluating Bavarian regional cultural grounding and dialect competence across English, German and Bavarian. BavGround contains 206 multiple-choice source questions across eight cultural domains per language, yielding 618 multi-parallel instances, with items covering both broadly accessible cultural knowledge and source-grounded regional knowledge from journalism, historical sources, and specialist literature. We evaluate fifteen 7B-10B open-weight instruction-tuned models and one closed-model reference. Strong multilingual models perform best overall, but performance drops on Bavarian items and source-grounded questions, indicating persistent difficulty with dialectal and localized cultural knowledge. We further show that conclusions depend strongly on evaluation protocol: raw answer-letter scoring, shuffled-letter scoring, option-text likelihood, generated-answer parsing, and semantic matching can produce different absolute scores and rankings, especially for regionally adapted models. Finally, an exploratory analysis of GENBA-10B checkpoints suggests that continued pretraining improves answer-content likelihood unevenly across domains, while dialect competence remains comparatively weak. BavGround supports localized, protocol-aware evaluation of cultural representation in LLMs.
- Abstract（参考訳）: 大きな言語モデル(LLM)の文化的評価は、しばしば高リソースの標準言語に焦点を合わせ、地域文化や方言のコミュニティが過小評価されている。
バイエルン地方の文化基盤と、英語、ドイツ語、バイエルン語にまたがる方言能力を評価するためのベンチマークであるBavGroundを紹介する。
BavGroundには、言語ごとに8つの文化ドメインにまたがる206の複数の選択ソースの質問があり、618のマルチ並列の事例があり、広くアクセス可能な文化知識と、ジャーナリズム、歴史資料、専門文献のソースとなる地域知識の両方をカバーしている。
15の7B-10Bオープンウェイト命令調整モデルと1つのクローズドモデル参照を評価した。
強い多言語モデルは全体としては最高に機能するが、バイエルン語の項目や原点の質問では性能が低下し、方言や局所的な文化知識の難しさが示される。
生の回答レターのスコアリング、シャッフルレターのスコアリング、オプションテキストの確率、生成された回答のパーシング、セマンティックマッチングは、特に地域適応モデルにおいて、異なる絶対スコアとランキングを生成することができる。
最後に、GENBA-10Bチェックポイントの探索分析により、継続事前学習は、ドメイン間で不均一に回答内容の可能性が向上する一方、方言能力は比較的弱いことが示唆されている。
BavGroundは、LLMにおける文化的表現のローカライズされたプロトコル対応評価をサポートする。
関連論文リスト
- CultureConverse: A Multilingual Multi-turn Simulation Harness for Culturally Grounded Assistance in East and Southeast Asia [72.20656906184539]
カルチャーコンバース(CultureConverse)は、文化的基盤を持つアシスタント対話のためのスケーラブルで多言語シミュレーションと評価ハーネスである。
その結果得られたCultureConverse-DSデータセットには、14,610のベンチマーク(評価)と274,295のオラクル誘導(ゴールドモード)ダイアログが含まれている。
人間のアノテーション実験は、評価フレームワークが人間の判断に十分なプロキシであることを示唆している。
論文 参考訳（メタデータ） (2026-08-28T14:56:46Z) - The Masked Advantage: Uncovering Local-Language Access to Cultural Knowledge in LLMs [23.21868527222738]
地域ベンチマークやローカルソースから収集した実世界の文化的質問に基づいて構築された,制御されたフレームワークを使用している。
我々は、文化に依存しない質問に対して、一貫した英語の優位性を見つけ、より強い英語の習熟度を示す。
ローカル言語は、ほとんどすべてのローカライズモデル設定において、肯定的な知識アクセスの優位性を示す。
論文 参考訳（メタデータ） (2026-06-05T16:16:59Z) - Simorgh at SemEval-2026 task 7: Region-Aware Hybrid Retrieval for Low-Resource Cultural Reasoning in Multilingual Question Answering [0.6882042556551609]
我々は, BLEnDベンチマークを用いて, 30言語からなる多言語コーパスからなる, 文化的根拠付き多言語質問応答について検討した。
本稿では,BM25語彙マッチングと密接な意味的類似性と局所重み付けを組み合わせ,応答の関連性を改善するための地域対応ハイブリッド検索手法を提案する。
論文 参考訳（メタデータ） (2026-05-26T19:55:37Z) - AmharicStoryQA: A Multicultural Story Question Answering Benchmark in Amharic [25.361090310093072]
評価は一つの言語に存在する有意義な文化的変化を見落としていると論じる。
アンハラ語話者の文化的多彩な物語に基づくベンチマークであるtextbftextitAmharicStoryQAを紹介する。
論文 参考訳（メタデータ） (2026-02-02T20:28:19Z) - Do You Know About My Nation? Investigating Multilingual Language Models' Cultural Literacy Through Factual Knowledge [68.6805229085352]
ほとんどの多言語質問答えベンチマークは、取得した情報の地域的多様性を規定していない。
XNationQAには、9カ国の地理、文化、歴史に関する合計49,280の質問が7つの言語で提示されている。
我々はXNationQA上で8つの標準多言語LLMをベンチマークし、2つの新しい転送指標を用いて評価した。
論文 参考訳（メタデータ） (2025-11-01T18:41:34Z) - MMA-ASIA: A Multilingual and Multimodal Alignment Framework for Culturally-Grounded Evaluation [91.22008265721952]
MMA-ASIAは、アジア8か国と10か国を対象とする人為的、多言語的、マルチモーダルなベンチマークに重点を置いている。
これは、テキスト、画像(視覚的質問応答)、音声の3つのモードにまたがる入力レベルで整列された最初のデータセットである。
i) 国間の文化的認識格差、(ii) 言語間の整合性、(iii) 言語間の整合性、(iv) 文化知識の一般化、(v) 基礎的妥当性を評価する5次元評価プロトコルを提案する。
論文 参考訳（メタデータ） (2025-10-07T14:12:12Z) - XLQA: A Benchmark for Locale-Aware Multilingual Open-Domain Question Answering [48.913480244527925]
大規模言語モデル (LLM) はオープンドメイン質問応答 (ODQA) において大きな進歩を見せている。
ほとんどの評価は英語に焦点をあて、言語間で局所不変の回答を仮定する。
XLQAは局所感性多言語ODQA用に明示的に設計された新しいベンチマークである。
論文 参考訳（メタデータ） (2025-08-22T07:00:13Z) - MyCulture: Exploring Malaysia's Diverse Culture under Low-Resource Language Constraints [7.822567458977689]
MyCultureは、マレーシアの文化に関する大規模言語モデル(LLM)を総合的に評価するために設計されたベンチマークである。
従来のベンチマークとは異なり、MyCultureは未定義のオプションなしで、新しいオープンエンドの複数選択質問フォーマットを採用している。
構造化された出力と自由形式出力のモデル性能を比較して構造バイアスを解析し、多言語的プロンプト変動による言語バイアスを評価する。
論文 参考訳（メタデータ） (2025-08-07T14:17:43Z) - Disentangling Language and Culture for Evaluating Multilingual Large Language Models [48.06219053598005]
本稿では,LLMの多言語機能を包括的に評価するデュアル評価フレームワークを提案する。
言語媒体と文化的文脈の次元に沿って評価を分解することにより、LLMが言語間を横断的に処理する能力の微妙な分析を可能にする。
論文 参考訳（メタデータ） (2025-05-30T14:25:45Z) - MAKIEval: A Multilingual Automatic WiKidata-based Framework for Cultural Awareness Evaluation for LLMs [37.98920430188422]
MAKIEvalは、大規模言語モデルにおける文化的認識を評価するための自動多言語フレームワークである。
モデル出力における文化的実体を自動的に識別し、構造化された知識にリンクする。
オープンソースのシステムとプロプライエタリシステムの両方を対象とする,世界のさまざまな場所で開発された7つのLLMを評価した。
論文 参考訳（メタデータ） (2025-05-27T19:29:40Z) - MMLU-ProX: A Multilingual Benchmark for Advanced Large Language Model Evaluation [86.7047714187813]
MMLU-ProXは29の言語をカバーするベンチマークであり、英語のベンチマーク上に構築されている。
それぞれの言語バージョンは11,829の同一の質問で構成されており、直接言語間比較を可能にする。
効率的な評価ニーズを満たすため,言語毎の質問数は658件である。
論文 参考訳（メタデータ） (2025-03-13T15:59:20Z) - Global MMLU: Understanding and Addressing Cultural and Linguistic Biases in Multilingual Evaluation [71.59208664920452]
多言語データセットの文化的バイアスは、グローバルベンチマークとしての有効性に重大な課題をもたらす。
MMLUの進歩は西洋中心の概念の学習に大きく依存しており、文化に敏感な知識を必要とする質問の28%がそうである。
改良されたMMLUであるGlobal MMLUをリリースし,42言語を対象に評価を行った。
論文 参考訳（メタデータ） (2024-12-04T13:27:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。