論文の概要: SEA-NLI: Natural Language Inference as a Lens into Southeast Asian Cultural Understanding

• arxiv url: http://arxiv.org/abs/2606.03284v1
• Date: Tue, 02 Jun 2026 07:49:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.847028
• Title: SEA-NLI: Natural Language Inference as a Lens into Southeast Asian Cultural Understanding
• Title（参考訳）: SEA-NLI:東南アジア文化理解のレンズとしての自然言語推論
• Authors: Peerawat Chomphooyod, Jian Gang Ngui, Yosephine Susanto, Attapol T. Rutherford, Alham Fikri Aji, Sarana Nutanong, Can Udomcharoenchaikit, Peerat Limkonchotiwat,
• Abstract要約: 既存のNLIベンチマークは、主に西洋中心、翻訳由来、モノリンガルであり、文化的根拠に基づく推論を測定する能力を制限する。 我々は、英語と母国語で8つのSEA国をカバーする、ネイティブな文化的基盤を持つNLIベンチマークであるSEA-NLIを紹介し、母国語話者による検証を行った。 分析の結果,失敗事例はSEA適応モデルと文化意識の欠如が主な原因であり,CoTの促進は限られた利益をもたらすことがわかった。
• 参考スコア（独自算出の注目度）: 27.170477653298324
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Frontier LLMs perform well in Western contexts, but remain poorly tested on underrepresented cultures such as those in Southeast Asia (SEA). Existing NLI benchmarks are largely Western-centric, translation-derived, or monolingual, limiting their ability to measure culturally grounded reasoning. We introduce SEA-NLI, a native, culturally grounded NLI benchmark covering eight SEA countries in English and native regional languages, verified by native speakers. Across 17 encoder and decoder models, we observe a low performance from all models, especially for knowledge-intensive categories such as Languages and Science and Technology. Our analysis shows that failure cases mainly stem from missing SEA cultural knowledge: SEA-adapted models and culture-aware prompting improve performance, while CoT prompting offers limited gains.
• Abstract（参考訳）: 最前線のLSMは、西洋の文脈ではよく機能するが、東南アジア(SEA)など、表現不足の文化ではテストが不十分である。 既存のNLIベンチマークは、主に西洋中心、翻訳由来、モノリンガルであり、文化的根拠に基づく推論を測定する能力を制限する。 我々は、英語と母国語で8つのSEA国をカバーする、ネイティブな文化的基盤を持つNLIベンチマークであるSEA-NLIを紹介し、母国語話者による検証を行った。 17のエンコーダモデルとデコーダモデルにまたがって,すべてのモデル,特に言語や科学技術といった知識集約的なカテゴリにおいて,低性能を観察する。 分析の結果,失敗事例はSEA適応モデルと文化意識の欠如が主な原因であり,CoTの促進は限られた利益をもたらすことがわかった。

関連論文リスト

• CultureForest: Understanding and Evaluating Cultural Norm Grounded Reasoning in LLMs [59.09971492475217]
  TextitCultural Norm Grounded ReasoningのベンチマークであるCultureForestを紹介する。 CultureForestは8つのドメインで5,378のサンプルと53の国/リージョンで構成されている。 大規模な実験では、トップ層モデルでさえ、オープンな設定で大幅に劣化していることが明らかになった。
  論文  参考訳（メタデータ） (2026-06-01T08:25:12Z)
• SEA-SafeguardBench: Evaluating AI Safety in SEA Languages and Cultures [36.95168918567729]
  既存のマルチ言語安全ベンチマークは、しばしば機械翻訳された英語データに依存している。 SEA-SafeguardBenchは,SEAの最初の人間認証安全ベンチマークである。 8つの言語、21,640のサンプル、および3つのサブセット(ジェネラル、イン・ザ・ワイルド、コンテンツ生成)をカバーする。
  論文  参考訳（メタデータ） (2025-12-05T07:57:57Z)
• Do You Know About My Nation? Investigating Multilingual Language Models' Cultural Literacy Through Factual Knowledge [68.6805229085352]
  ほとんどの多言語質問答えベンチマークは、取得した情報の地域的多様性を規定していない。 XNationQAには、9カ国の地理、文化、歴史に関する合計49,280の質問が7つの言語で提示されている。 我々はXNationQA上で8つの標準多言語LLMをベンチマークし、2つの新しい転送指標を用いて評価した。
  論文  参考訳（メタデータ） (2025-11-01T18:41:34Z)
• MMA-ASIA: A Multilingual and Multimodal Alignment Framework for Culturally-Grounded Evaluation [91.22008265721952]
  MMA-ASIAは、アジア8か国と10か国を対象とする人為的、多言語的、マルチモーダルなベンチマークに重点を置いている。 これは、テキスト、画像(視覚的質問応答)、音声の3つのモードにまたがる入力レベルで整列された最初のデータセットである。 i) 国間の文化的認識格差、(ii) 言語間の整合性、(iii) 言語間の整合性、(iv) 文化知識の一般化、(v) 基礎的妥当性を評価する5次元評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2025-10-07T14:12:12Z)
• Cross-Cultural Transfer of Commonsense Reasoning in LLMs: Evidence from the Arab World [68.19795061447044]
  本稿では,アラブ世界におけるコモンセンス推論の異文化間移動について検討する。 アラブ13カ国を対象とした文化基盤のコモンセンス推論データセットを用いて,軽量アライメント手法の評価を行った。 以上の結果から,他国の文化特有例は12例に過ぎず,他国の文化特有例を平均10%向上させることができた。
  論文  参考訳（メタデータ） (2025-09-23T17:24:14Z)
• MAKIEval: A Multilingual Automatic WiKidata-based Framework for Cultural Awareness Evaluation for LLMs [37.98920430188422]
  MAKIEvalは、大規模言語モデルにおける文化的認識を評価するための自動多言語フレームワークである。 モデル出力における文化的実体を自動的に識別し、構造化された知識にリンクする。 オープンソースのシステムとプロプライエタリシステムの両方を対象とする,世界のさまざまな場所で開発された7つのLLMを評価した。
  論文  参考訳（メタデータ） (2025-05-27T19:29:40Z)
• Not All Countries Celebrate Thanksgiving: On the Cultural Dominance in Large Language Models [89.94270049334479]
  本稿では,大規模言語モデル(LLM)における文化的優位性について述べる。 LLMは、ユーザーが非英語で尋ねるときに期待する文化とは無関係な、不適切な英語文化関連の回答を提供することが多い。
  論文  参考訳（メタデータ） (2023-10-19T05:38:23Z)
• BHASA: A Holistic Southeast Asian Linguistic and Cultural Evaluation Suite for Large Language Models [0.06597195879147556]
  BHASA (英語: BHASA) は、東南アジアにおける大規模言語モデル(LLM)のための総合言語・文化評価スイートである。 1)自然言語理解(NLU)、生成(NLG)、推論(NLR)の8つのタスクをカバーするNLPベンチマーク,(2)LINDSEA, 構文, 意味学, 実用学などの言語現象を網羅する言語診断ツールキット, (3) 文化的表現と感受性の両方を探索する文化的診断データセットである。
  論文  参考訳（メタデータ） (2023-09-12T09:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。