論文の概要: Who Brought Easter Eggs to Eid? Auditing Cultural Translation of Math Word Problems Across Diverse Languages and Regions
- arxiv url: http://arxiv.org/abs/2606.11009v1
- Date: Tue, 09 Jun 2026 15:50:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-10 15:40:58.588858
- Title: Who Brought Easter Eggs to Eid? Auditing Cultural Translation of Math Word Problems Across Diverse Languages and Regions
- Title(参考訳): 誰がイースターエッグを餌にするか : 諸言語・地域間の数学語問題に関する文化翻訳をめざして
- Authors: Parisa Suchdev, Juniper Lovato,
- Abstract要約: 我々はClaude Opus 4, GPT-4.1, Gemini 2.5 Proが60の英語の数学語問題をBengali, Hindi, Punjabi (インド), Urdu, Sindhi (パキスタン), Italian, Sicilian (イタリア)に適応させる方法を分析する。
6,489個のエンティティ変換に注釈を付け、モデルが名前や食べ物、場所などのエンティティを保存、ローカライズ、一般化、あるいは変更するかどうかをコーディングします。
21の言語モデルの組み合わせはいずれもエントロピーの崩壊を示し、文化的な多様性を拡大するよりも適応圧縮が可能である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models are increasingly used to adapt math word problems for personalized learning at scale, but it remains an open question whether those adaptations are consistent across models, preserve cultural diversity at scale, and reveal which cultural entities models treat as most salient. We analyze how Claude Opus 4, GPT-4.1, and Gemini 2.5 Pro adapt 60 English math word problems into Bengali, Hindi, Punjabi (India), Urdu, Sindhi (Pakistan), Italian, and Sicilian (Italy), a language set spanning the full resource spectrum, from high-resource Italian and Hindi to under-studied Sindhi, Sicilian, and Punjabi. We annotate 6,489 entity transformations, coding whether models preserve, localize, generalize, omit, or change entities such as names, foods, and places. Models agree on transformation type in 62.5% of cases and on specific substitutions in only 33.5%, meaning model choice directly shapes which cultural world students encounter. All 21 language-model combinations show entropy collapse, with adaptation compressing rather than expanding cultural diversity. Models prioritize surface markers such as names, foods, and currencies while preserving deeper structural features such as grade-level systems that embed culturally specific assumptions. Despite prompts specifying target countries, models misattribute regional context by using Bangladeshi taka for Indian Bengali students and produce cross-cultural contamination, such as adapting egg hunts as Eid activities. Some failures are visible in individual translations. Others, including diversity collapse, systematic preference for surface markers, and consistent regional misattribution, emerge only through corpus-level analysis. The surface plausibility that makes adapted problems look correct is precisely what makes deeper failures easy to overlook.
- Abstract(参考訳): 大規模言語モデルは、大規模にパーソナライズされた学習のために数学用語の問題を適応するためにますます使われているが、これらの適応がモデル間で一貫性があり、大規模に文化的な多様性を保ち、どの文化的な実体が最も礼儀正しく扱うかを明らかにすることは、未解決の問題である。
我々はClaude Opus 4, GPT-4.1, Gemini 2.5 Proが60の英語の数学語問題をBengali, Hindi, Punjabi (インド), Urdu, Sindhi (パキスタン), Italian, Sicilian (イタリア), and Sicilian (イタリア)に適応させる方法を分析する。
6,489個のエンティティ変換に注釈を付け、モデルが保存、ローカライズ、一般化、省略、名前、食べ物、場所などのエンティティを変更するかどうかをコーディングします。
モデルは62.5%のケース、33.5%の特定の代替品、すなわち、文化界の学生が直接遭遇するモデル選択に一致している。
21の言語モデルの組み合わせはいずれもエントロピーの崩壊を示し、文化的な多様性を拡大するよりも適応圧縮が可能である。
モデルは、名前、食べ物、通貨などの表面マーカーを優先順位付けし、文化的に特定の仮定を組み込んだグレードレベルのシステムのようなより深い構造的特徴を保存する。
対象国を特定するプロンプトにもかかわらず、バングラデシュの学生にバングラデシュのタカを使用させ、卵狩りをEid活動として適応させるなど、異文化間の汚染を発生させることによって、地域コンテキストを誤認する。
いくつかの失敗は個々の翻訳で見ることができる。
多様性の崩壊、表面マーカーの体系的な選好、一貫した地域的誤解など、コーパスレベルの分析によってのみ現れる。
適応した問題を正しく見せる表面の可視性は、正確には、深い失敗を見落としやすいものにします。
関連論文リスト
- Do You Know About My Nation? Investigating Multilingual Language Models' Cultural Literacy Through Factual Knowledge [68.6805229085352]
ほとんどの多言語質問答えベンチマークは、取得した情報の地域的多様性を規定していない。
XNationQAには、9カ国の地理、文化、歴史に関する合計49,280の質問が7つの言語で提示されている。
我々はXNationQA上で8つの標準多言語LLMをベンチマークし、2つの新しい転送指標を用いて評価した。
論文 参考訳(メタデータ) (2025-11-01T18:41:34Z) - Mathematics Isn't Culture-Free: Probing Cultural Gaps via Entity and Scenario Perturbations [40.515279067334596]
我々は,アフリカ,インド,中国,韓国,日本5地域を対象としたGSM8Kテストセットの文化的適応版を作成している。
8Bから72Bパラメータの6つの大言語モデル (LLM) を評価する。
論文 参考訳(メタデータ) (2025-07-01T15:51:46Z) - Commonsense Reasoning in Arab Culture [6.116784716369165]
我々は,現代標準アラビア語(MSA)における常識推論データセットであるArabCultureを紹介し,湾岸,レバント,北アフリカ,ナイルバレーの13カ国の文化をカバーしている。
ArabCultureは12の日常生活ドメインと54の細かいサブトピックにまたがっており、社会規範、伝統、日常生活の様々な側面を反映している。
ゼロショット評価は、最大32Bパラメータを持つオープンウェイト言語モデルは、様々なアラブ文化を理解するのに苦労し、地域によってパフォーマンスが異なることを示している。
論文 参考訳(メタデータ) (2025-02-18T11:49:54Z) - IndoCulture: Exploring Geographically-Influenced Cultural Commonsense Reasoning Across Eleven Indonesian Provinces [28.21857463550941]
本稿では,言語モデル推論能力に対する地理的要因の影響を理解することを目的としたIndoCultureを紹介する。
地元住民には、事前に定義されたトピックのセットを通じて、文化的コンテキストと妥当な選択肢を手作業で開発するように求めます。
オープンウェイトLlama-3はGPT-4と競合するが、他のオープンウェイトモデルは50%以下で苦戦している。
論文 参考訳(メタデータ) (2024-04-02T11:32:58Z) - ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic [51.922112625469836]
アラビア語における最初のマルチタスク言語理解ベンチマークである、データセット名を提案する。
我々のデータは、現代標準アラビア語(MSA)における40のタスクと14,575のマルチチョイス質問で構成されており、地域の母語話者と協調して慎重に構築されている。
35モデルについて評価した結果,特にオープンソースモデルにおいて,改善の余地がかなり高いことが判明した。
論文 参考訳(メタデータ) (2024-02-20T09:07:41Z) - Not All Countries Celebrate Thanksgiving: On the Cultural Dominance in
Large Language Models [89.94270049334479]
本稿では,大規模言語モデル(LLM)における文化的優位性について述べる。
LLMは、ユーザーが非英語で尋ねるときに期待する文化とは無関係な、不適切な英語文化関連の回答を提供することが多い。
論文 参考訳(メタデータ) (2023-10-19T05:38:23Z) - Multi-lingual and Multi-cultural Figurative Language Understanding [69.47641938200817]
図形言語は人間のコミュニケーションに浸透するが、NLPでは比較的過小評価されている。
Hindi, Indonesian, Javanese, Kannada, Sundanese, Swahili, Yorubaの7つの多様な言語に関するデータセットを作成しました。
我々のデータセットから,各言語は,同じ領域から派生した言語間で最も高い重なり合いを持つ,図形表現の文化的・地域的概念に依存していることが明らかとなった。
全ての言語は、事前学習データと微調整データの可用性を反映した性能の変化により、英語と比較して大きな欠陥がある。
論文 参考訳(メタデータ) (2023-05-25T15:30:31Z) - Having Beer after Prayer? Measuring Cultural Bias in Large Language Models [25.722262209465846]
多言語およびアラビア語のモノリンガルLMは、西洋文化に関連する実体に対して偏見を示すことを示す。
アラブ文化と西洋文化を対比する8つのタイプにまたがる628個の自然発生プロンプトと20,368個のエンティティからなる新しい資源であるCAMeLを紹介した。
CAMeLを用いて、物語生成、NER、感情分析などのタスクにおいて、16の異なるLMのアラビア語における異文化間性能について検討した。
論文 参考訳(メタデータ) (2023-05-23T18:27:51Z) - Graphemic Normalization of the Perso-Arabic Script [47.429213930688086]
本稿では,ペルソ・アラビア語が最良文書言語を超えて提示する課題について述べる。
自然言語処理(NLP)の状況に注目する。
ペルソ・アラビア文字ディアスポラの多言語語族8言語に対する正規化が機械翻訳および統計言語モデリングタスクに及ぼす影響を評価する。
論文 参考訳(メタデータ) (2022-10-21T21:59:44Z) - Measuring Geographic Performance Disparities of Offensive Language
Classifiers [12.545108947857802]
「言語、方言、話題の内容は地域によって異なるのか?」「地域によって異なる場合、モデルのパフォーマンスに影響を及ぼすのか?」
同様に、攻撃的な言語モデルがアフリカ系アメリカ人の英語に偽陽性をもたらすのに対し、モデル性能は各都市の少数人口比と相関しないことを示す。
論文 参考訳(メタデータ) (2022-09-15T15:08:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。