論文の概要: IndoCulture: Exploring Geographically-Influenced Cultural Commonsense Reasoning Across Eleven Indonesian Provinces
- arxiv url: http://arxiv.org/abs/2404.01854v1
- Date: Tue, 2 Apr 2024 11:32:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 16:49:07.436793
- Title: IndoCulture: Exploring Geographically-Influenced Cultural Commonsense Reasoning Across Eleven Indonesian Provinces
- Title(参考訳): IndoCulture: インドネシアの11州にまたがる地理的影響のある文化的コモンセンスの探索
- Authors: Fajri Koto, Rahmad Mahendra, Nurul Aisyah, Timothy Baldwin,
- Abstract要約: 本稿では,言語モデル推論能力に対する地理的要因の影響を理解することを目的としたIndoCultureを紹介する。
テンプレートやオンラインスクレイピングに依存していた以前の作業とは対照的に、ローカルの人たちに、コンテキストと妥当なオプションを手作業で開発するように頼んで、IndoCultureを作りました。
- 参考スコア(独自算出の注目度): 28.21857463550941
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although commonsense reasoning is greatly shaped by cultural and geographical factors, previous studies on language models have predominantly centered on English cultures, potentially resulting in an Anglocentric bias. In this paper, we introduce IndoCulture, aimed at understanding the influence of geographical factors on language model reasoning ability, with a specific emphasis on the diverse cultures found within eleven Indonesian provinces. In contrast to prior works that relied on templates (Yin et al., 2022) and online scrapping (Fung et al., 2024), we created IndoCulture by asking local people to manually develop the context and plausible options based on predefined topics. Evaluations of 23 language models reveal several insights: (1) even the best open-source model struggles with an accuracy of 53.2%, (2) models often provide more accurate predictions for specific provinces, such as Bali and West Java, and (3) the inclusion of location contexts enhances performance, especially in larger models like GPT-4, emphasizing the significance of geographical context in commonsense reasoning.
- Abstract(参考訳): コモンセンス推論は文化的・地理的要因によって大きく形作られたが、以前の言語モデルの研究は主に英語の文化に焦点を当てており、アングロセントリックな偏見をもたらす可能性がある。
本稿では,インドネシアの11州で見られる多様な文化に着目し,地理的要因が言語モデル推論能力に与える影響を理解することを目的としたIndoCultureを紹介する。
テンプレート (Yin et al , 2022) やオンラインスクラップ (Fung et al , 2024) に頼っていた従来の作業とは対照的に, 事前に定義されたトピックに基づいたコンテキストと妥当なオプションを手作業で開発するように地元住民に求めることで, IndoCulture を開発した。
1 最高のオープンソースモデルでさえ 53.2% の精度で苦労し、(2) モデルはバリや西ジャワのような特定の州でより正確な予測をしばしば提供し、(3) ロケーションコンテキストの導入は、特に GPT-4 のような大規模モデルでは、コモンセンス推論における地理的コンテキストの重要性を強調する。
関連論文リスト
- Evaluation of Geographical Distortions in Language Models: A Crucial Step Towards Equitable Representations [2.825324306665133]
本研究は地理的知識に関するバイアスに焦点を当てる。
地理モデルと言語モデルとの関係を,空間情報を誤表現する傾向を強調して検討する。
論文 参考訳(メタデータ) (2024-04-26T13:22:28Z) - Geographically-Informed Language Identification [0.6445605125467574]
本稿では,本モデルが考慮する言語の集合が問題となるテキストの地理的起源に依存する言語識別へのアプローチを開発する。
16の地域固有のモデルを定式化しており、それぞれが、その地域内の国で現れると思われる言語を含んでいる。
これらの地域モデルは、場所に関係なく、これらの言語を確実にカバーするために、31の国際言語も含んでいる。
論文 参考訳(メタデータ) (2024-03-14T21:55:17Z) - Massively Multi-Cultural Knowledge Acquisition & LM Benchmarking [48.21982147529661]
本稿では,多文化知識獲得のための新しいアプローチを提案する。
本手法は,文化トピックに関するウィキペディア文書からリンクページの広範囲なネットワークへ戦略的にナビゲートする。
私たちの仕事は、AIにおける文化的格差のギャップを深く理解し、橋渡しするための重要なステップです。
論文 参考訳(メタデータ) (2024-02-14T18:16:54Z) - Distortions in Judged Spatial Relations in Large Language Models: The
Dawn of Natural Language Geographic Data? [50.11601704574547]
GPT-4は55.3%の精度で優れた性能を示し、GPT-3.5は47.3%、Llama-2は44.7%であった。
これらの不正確さにもかかわらず、ほとんどの場合、モデルは最も近い基数方向を特定した。
論文 参考訳(メタデータ) (2024-01-08T20:08:04Z) - Not All Countries Celebrate Thanksgiving: On the Cultural Dominance in
Large Language Models [89.94270049334479]
本稿では,大規模言語モデル(LLM)における文化的優位性について述べる。
LLMは、ユーザーが非英語で尋ねるときに期待する文化とは無関係な、不適切な英語文化関連の回答を提供することが多い。
論文 参考訳(メタデータ) (2023-10-19T05:38:23Z) - AceGPT, Localizing Large Language Models in Arabic [73.39989503874634]
本稿では,アラビア語のテキストによる事前学習,ネイティブなアラビア語命令を利用したSFT(Supervised Fine-Tuning),アラビア語のGPT-4応答を含む総合的なソリューションを提案する。
目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。
論文 参考訳(メタデータ) (2023-09-21T13:20:13Z) - SeaEval for Multilingual Foundation Models: From Cross-Lingual Alignment to Cultural Reasoning [44.53966523376327]
SeaEvalは多言語基盤モデルのベンチマークである。
これらのモデルがどのように理解し、自然言語で推論するかを特徴付ける。
また、文化の実践やニュアンス、価値観をいかに理解したかについても検討する。
論文 参考訳(メタデータ) (2023-09-09T11:42:22Z) - Measuring Geographic Performance Disparities of Offensive Language
Classifiers [12.545108947857802]
「言語、方言、話題の内容は地域によって異なるのか?」「地域によって異なる場合、モデルのパフォーマンスに影響を及ぼすのか?」
同様に、攻撃的な言語モデルがアフリカ系アメリカ人の英語に偽陽性をもたらすのに対し、モデル性能は各都市の少数人口比と相関しないことを示す。
論文 参考訳(メタデータ) (2022-09-15T15:08:18Z) - Broaden the Vision: Geo-Diverse Visual Commonsense Reasoning [49.04866469947569]
地理的・地理的・地理的な共通点を理解する視覚・言語モデルの能力をテストするために,Geo-Diverse Visual Commonsense Reasoning dataset(GD-VCR)を構築した。
その結果,東アジア,南アジア,アフリカを含む非西欧地域での両モデルの性能は,西欧地域に比べて著しく低いことがわかった。
論文 参考訳(メタデータ) (2021-09-14T17:52:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。