論文の概要: PerCul: A Story-Driven Cultural Evaluation of LLMs in Persian

• arxiv url: http://arxiv.org/abs/2502.07459v1
• Date: Tue, 11 Feb 2025 11:07:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:10:54.965680
• Title: PerCul: A Story-Driven Cultural Evaluation of LLMs in Persian
• Title（参考訳）: PerCul: ペルシャのLLMのストーリー駆動文化評価
• Authors: Erfan Moosavi Monazzah, Vahid Rahimzadeh, Yadollah Yaghoobzadeh, Azadeh Shakery, Mohammad Taher Pilehvar,
• Abstract要約: PerCulは、ペルシャ文化に対するLLMの感受性を評価するために設計されたデータセットである。 PerCulは、文化的に曖昧なシナリオをキャプチャするストーリーベースの、複数選択の質問を特徴とする。 我々は、最先端の多言語およびペルシア語固有のLLMを評価した。
• 参考スコア（独自算出の注目度）: 19.816050739495573
• License:
• Abstract: Large language models predominantly reflect Western cultures, largely due to the dominance of English-centric training data. This imbalance presents a significant challenge, as LLMs are increasingly used across diverse contexts without adequate evaluation of their cultural competence in non-English languages, including Persian. To address this gap, we introduce PerCul, a carefully constructed dataset designed to assess the sensitivity of LLMs toward Persian culture. PerCul features story-based, multiple-choice questions that capture culturally nuanced scenarios. Unlike existing benchmarks, PerCul is curated with input from native Persian annotators to ensure authenticity and to prevent the use of translation as a shortcut. We evaluate several state-of-the-art multilingual and Persian-specific LLMs, establishing a foundation for future research in cross-cultural NLP evaluation. Our experiments demonstrate a 11.3% gap between best closed source model and layperson baseline while the gap increases to 21.3% by using the best open-weight model. You can access the dataset from here: https://huggingface.co/datasets/teias-ai/percul
• Abstract（参考訳）: 大規模な言語モデルは、主に西洋文化を反映しており、主に英語中心のトレーニングデータが支配的であった。 この不均衡は、ペルシア語を含む非英語の言語における文化的能力について十分な評価をすることなく、様々な文脈でLLMが使われるようになり、大きな課題となっている。 このギャップに対処するために、ペルカルはペルシャ文化に対するLLMの感受性を評価するために設計された、慎重に構築されたデータセットである。 PerCulは、文化的に曖昧なシナリオをキャプチャするストーリーベースの、複数選択の質問を特徴とする。 既存のベンチマークとは異なり、PerCulはネイティブペルシャのアノテータからの入力でキュレートされ、信頼性を確保し、翻訳をショートカットとして使用するのを防ぐ。 我々は、最先端の多言語およびペルシア固有のLPMを評価し、異文化NLP評価における今後の研究の基盤を確立した。 実験では,最良クローズドソースモデルと素人ベースラインとの間に11.3%のギャップがみられ,その間隙は最良オープンウェイトモデルを用いて21.3%に増大した。 データセットはこちらからアクセスできる。 https://huggingface.co/datasets/teias-ai/percul

関連論文リスト

• CLAIR-A: Leveraging Large Language Models to Judge Audio Captions [73.51087998971418]
  機械生成オーディオキャプションの評価は、様々な要因を検討する必要がある複雑なタスクである。 本稿では,大規模言語モデルのゼロショット機能を活用するシンプルで柔軟なCLAIR-Aを提案する。 我々の評価では、CLAIR-Aは従来のメトリクスと比較して品質の人的判断を良く予測する。
  論文  参考訳（メタデータ） (2024-09-19T17:59:52Z)
• Self-Alignment: Improving Alignment of Cultural Values in LLMs via In-Context Learning [13.034603322224548]
  In-context Learning(ICL)とヒューマンサーベイデータを組み合わせた簡易で安価な手法を提案する。 本手法は、英語以外のテスト言語で有用であることが証明され、文化的に多種多様な国に対応する文化的価値との整合性を向上させることができる。
  論文  参考訳（メタデータ） (2024-08-29T12:18:04Z)
• CVQA: Culturally-diverse Multilingual Visual Question Answering Benchmark [68.21939124278065]
  言語と文化の豊富なセットをカバーするために設計された、文化的に多言語なビジュアル質問回答ベンチマーク。 CVQAには文化的に駆動されたイメージと、4大陸30カ国の質問が含まれ、31の言語と13のスクリプトをカバーし、合計10万の質問を提供する。 CVQA上で複数のマルチモーダル大言語モデル (MLLM) をベンチマークし、現在の最先端モデルではデータセットが困難であることを示す。
  論文  参考訳（メタデータ） (2024-06-10T01:59:00Z)
• CulturePark: Boosting Cross-cultural Understanding in Large Language Models [63.452948673344395]
  本稿では,LLMを利用した文化データ収集のためのマルチエージェント通信フレームワークであるCultureParkを紹介する。 人間の信念、規範、習慣をカプセル化した高品質な異文化対話を生成する。 我々はこれらのモデルを,コンテンツモデレーション,文化的アライメント,文化教育という3つの下流課題にまたがって評価する。
  論文  参考訳（メタデータ） (2024-05-24T01:49:02Z)
• CIVICS: Building a Dataset for Examining Culturally-Informed Values in Large Language Models [59.22460740026037]
  大規模言語モデル(LLM)の社会的・文化的変動を評価するためのデータセット「CIVICS:文化インフォームド・バリュース・インクルーシブ・コーパス・フォー・ソシエティ・インパクト」 我々は、LGBTQIの権利、社会福祉、移民、障害権利、代理など、特定の社会的に敏感なトピックに対処する、手作りの多言語プロンプトのデータセットを作成します。
  論文  参考訳（メタデータ） (2024-05-22T20:19:10Z)
• Khayyam Challenge (PersianMMLU): Is Your LLM Truly Wise to The Persian Language? [3.4812080203308984]
  ハヤム・チャレンジ(Khayyam Challenge、ペルシア語MMLU)は、ペルシアの試験から抽出された38の多様なタスクから得られた20,192の4つの質問のコレクションである。 Khayyam Challengeの主な目的は、ペルシア語をサポートするLLMの厳格な評価を促進することである。
  論文  参考訳（メタデータ） (2024-04-09T22:38:13Z)
• Benchmarking Large Language Models for Persian: A Preliminary Study Focusing on ChatGPT [4.574416868427695]
  本稿では,ペルシア語に対する大規模言語モデル(LLM)の有効性について検討する。 本稿では,ペルシャ語タスクにおけるLSMの総合的なベンチマーク研究について紹介する。
  論文  参考訳（メタデータ） (2024-04-03T02:12:29Z)
• CIF-Bench: A Chinese Instruction-Following Benchmark for Evaluating the Generalizability of Large Language Models [53.9835961434552]
  本研究では,中国語に対する大規模言語モデル(LLM)の一般化性を評価するために,中国語命令追跡ベンチマーク(CIF-Bench)を導入する。 CIF-Benchは150のタスクと15,000の入力出力ペアで構成され、複雑な推論と中国の文化的ニュアンスをテストするためにネイティブスピーカーによって開発された。 データ汚染を軽減するため、データセットの半分しか公開せず、残りは非公開であり、スコア分散を最小限に抑えるために多種多様な命令を導入する。
  論文  参考訳（メタデータ） (2024-02-20T16:02:12Z)
• CultureLLM: Incorporating Cultural Differences into Large Language Models [36.66184989869121]
  CultureLLMは、大きな言語モデルに文化的差異を組み込むためのコスト効率の良いソリューションである。 我々は、リッチで低リソースな言語をカバーする9つの文化に対して、文化固有のLLMと1つの統一モデル(CultureLLM-One)を微調整する。 我々の人間による研究は、生成されたサンプルが元のサンプルと意味的に等価であることを示している。
  論文  参考訳（メタデータ） (2024-02-09T04:02:43Z)
• AceGPT, Localizing Large Language Models in Arabic [73.39989503874634]
  本稿では,アラビア語のテキストによる事前学習,ネイティブなアラビア語命令を利用したSFT(Supervised Fine-Tuning),アラビア語のGPT-4応答を含む総合的なソリューションを提案する。 目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。
  論文  参考訳（メタデータ） (2023-09-21T13:20:13Z)
• Cultural Alignment in Large Language Models: An Explanatory Analysis Based on Hofstede's Cultural Dimensions [10.415002561977655]
  本研究は,ホフステデの文化次元の枠組みを用いて文化的アライメントを定量化する文化アライメントテスト (Hoftede's CAT) を提案する。 我々は、米国、中国、アラブ諸国といった地域の文化的側面に対して、大規模言語モデル(LLM)を定量的に評価する。 その結果, LLMの文化的アライメントを定量化し, 説明的文化的次元におけるLCMの差異を明らかにすることができた。
  論文  参考訳（メタデータ） (2023-08-25T14:50:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。