論文の概要: Progressing beyond Art Masterpieces or Touristic Clichés: how to assess your LLMs for cultural alignment?

• arxiv url: http://arxiv.org/abs/2604.25654v2
• Date: Tue, 05 May 2026 12:05:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 14:45:21.047314
• Title: Progressing beyond Art Masterpieces or Touristic Clichés: how to assess your LLMs for cultural alignment?
• Title（参考訳）: アート・マスターピースやツーリズム・クリケを超えて進歩する - 文化の整合性を評価するにはどうすればいいのか?
• Authors: António Branco, João Silva, Nuno Marques, Luis Gomes, Ricardo Campos, Raquel Sequeira, Sara Nerea, Rodrigo Silva, Miguel Marques, Rodrigo Duarte, Artur Putyato, Diogo Folques, Tiago Valente,
• Abstract要約: 本稿では,アノテータの設計ガイドラインを提案し,これらの原則に従って構築されたデータセットの構築について報告する。 結果は、我々の設計がより差別的な力を持つテストセットを産み出すことを示す。
• 参考スコア（独自算出の注目度）: 3.9253233234793394
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although the cultural (mis)alignment of Large Language Models (LLMs) has attracted increasing attention -- often framed in terms of cultural bias -- until recently there has been limited work on the design and development of datasets for cultural assessment. Here, we review existing approaches to such datasets and identify their main limitations. To address these issues, we propose design guidelines for annotators and report on the construction of a dataset built according to these principles. We further present a series of contrastive experiments conducted with this dataset. The results demonstrate that our design yields test sets with greater discriminative power, effectively distinguishing between models specialized for a given culture and those that are not, ceteris paribus.
• Abstract（参考訳）: 大規模言語モデル(LLM)の文化的(ミス)アライメント(英語版)は、文化的偏見の観点からも注目されているが、近年まで、文化的アセスメントのためのデータセットの設計と開発に限られている。 ここでは、そのようなデータセットに対する既存のアプローチをレビューし、その主な制限を特定します。 これらの課題に対処するため、アノテータの設計ガイドラインを提案し、これらの原則に基づいて構築されたデータセットの構築について報告する。 さらに,本データセットを用いて行ったコントラスト実験について述べる。 その結果、我々の設計は、特定の文化に特化しているモデルと、そうでないモデルとを効果的に区別し、より差別的なパワーでテストセットを得ることを示した。

関連論文リスト

• Appear2Meaning: A Cross-Cultural Benchmark for Structured Cultural Metadata Inference from Images [28.09239790313765]
  我々は,この課題に対する多カテゴリ・異文化間ベンチマークを導入し,視覚言語モデル(VLM)を評価する。 文化的推論を評価するため,文化地域全体での正確なマッチング,部分マッチング,属性レベルの精度について報告する。 その結果、モデルは断片化された信号をキャプチャし、文化やメタデータのタイプ間で大きなパフォーマンス変化を示し、一貫性がなく、基盤の弱い予測に繋がることがわかった。
  論文  参考訳（メタデータ） (2026-04-08T17:53:26Z)
• Do Large Language Models Truly Understand Cross-cultural Differences? [53.481048019144644]
  我々は,大規模言語モデルの異文化間理解と推論を評価するシナリオベースのベンチマークを開発した。 文化理論を基礎として、異文化の能力を9次元に分類する。 データセットは連続的な拡張をサポートし、実験は他の言語への転送可能性を確認する。
  論文  参考訳（メタデータ） (2025-12-08T01:21:58Z)
• CultureScope: A Dimensional Lens for Probing Cultural Understanding in LLMs [57.653830744706305]
  CultureScopeは、大規模な言語モデルにおける文化的理解を評価するための、これまでで最も包括的な評価フレームワークである。 文化的な氷山理論に触発されて、文化知識分類のための新しい次元スキーマを設計する。 実験結果から,文化的理解を効果的に評価できることが示唆された。
  論文  参考訳（メタデータ） (2025-09-19T17:47:48Z)
• From Surveys to Narratives: Rethinking Cultural Value Adaptation in LLMs [62.9861554207279]
  LLM(Large Language Models)における文化的価値の適応は大きな課題である。 これまでの作業は主に、World Values Survey (WVS)データを使用して、LLMをさまざまな文化的価値と整合させる。 我々は,文化価値適応のためのWVSベースのトレーニングについて検討し,調査データのみに頼って文化規範を実践し,事実知識に干渉することを発見した。
  論文  参考訳（メタデータ） (2025-05-22T09:00:01Z)
• CAReDiO: Cultural Alignment of LLM via Representativeness and Distinctiveness Guided Data Optimization [50.90288681622152]
  大規模言語モデル(LLM)は、より深く様々な地域における人間の生活に統合される。 既存のアプローチは、文化固有のコーパスを微調整することで、文化的に整合したLCMを開発する。 本稿では,新しい文化データ構築フレームワークであるCAReDiOを紹介する。
  論文  参考訳（メタデータ） (2025-04-09T13:40:13Z)
• CulturePark: Boosting Cross-cultural Understanding in Large Language Models [63.452948673344395]
  本稿では,LLMを利用した文化データ収集のためのマルチエージェント通信フレームワークであるCultureParkを紹介する。 人間の信念、規範、習慣をカプセル化した高品質な異文化対話を生成する。 我々はこれらのモデルを,コンテンツモデレーション,文化的アライメント,文化教育という3つの下流課題にまたがって評価する。
  論文  参考訳（メタデータ） (2024-05-24T01:49:02Z)
• Navigating Cultural Chasms: Exploring and Unlocking the Cultural POV of Text-To-Image Models [32.99865895211158]
  テキスト・トゥ・イメージ(TTI)モデルに埋め込まれた文化的知覚を,3層にまたがる文化を特徴付けることによって探求する。 本稿では,CLIP空間を用いた本質的な評価を含む総合的な評価手法を提案する。 我々の研究を促進するために、CulText2Iデータセットを導入しました。
  論文  参考訳（メタデータ） (2023-10-03T10:13:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。