論文の概要: Defining Cultural Capabilities for AI Evaluation: A Taxonomy Grounded in Intercultural Communication Theory
- arxiv url: http://arxiv.org/abs/2605.15990v1
- Date: Fri, 15 May 2026 14:21:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-18 21:22:26.315653
- Title: Defining Cultural Capabilities for AI Evaluation: A Taxonomy Grounded in Intercultural Communication Theory
- Title(参考訳): AI評価のための文化的能力の定義:文化間コミュニケーション理論に基づく分類学
- Abstract要約: 本稿では,AI関連文化能力の3段階分類法を提案する。
我々は,この分類を,実世界の多文化環境におけるAI評価の有効性と解釈可能性を向上させるための実践的ツールとして位置付ける。
- 参考スコア(独自算出の注目度): 6.132870531764035
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tremendous efforts have been put into evaluating the inclusivity and effectiveness of AI systems across cultures. However, the cultural capabilities considered in much of the literature remain vaguely defined, are referred to using interchangeable terminology, and are typically limited to recalling accurate information about various demographics, regions, and nationalities. To address this construct ambiguity, we draw from Intercultural Communication scholarship and propose a three-level taxonomy of AI-relevant cultural capabilities: Cultural Awareness answers "Does the model know?", Cultural Sensitivity answers "How does it frame its knowledge?", and Cultural Competence answers "Can it adapt as the interaction evolves?". Beyond conceptual clarification, we position this taxonomy as a practical tool for improving the validity and interpretability of AI evaluation in real-world, multicultural settings. Without such construct clarity, evaluation results risk overstating model capabilities and may lead to inappropriate deployment decisions in culturally sensitive contexts.
- Abstract(参考訳): 文化全体にわたるAIシステムの傾向と有効性を評価するために、厳しい努力が払われている。
しかし、多くの文献で考慮されている文化的能力はあいまいに定義されており、交換可能な用語を用いて言及されており、様々な人口統計、地域、国籍に関する正確な情報を思い出すのが普通である。
この構造的曖昧さに対処するため、我々は文化コミュニケーション奨学金から、文化意識は「モデルを知っているか?」、文化感性は「どのようにその知識をフレーム化しているのか?」、文化能力は「相互作用が進化するにつれて適応するか?」という3段階の文化能力の分類を提案した。
概念的明確化の他に、実世界の多文化的な環境におけるAI評価の有効性と解釈性を改善するための実践的なツールとして、この分類を位置づける。
このような構造的明確さがなければ、評価結果はモデルの能力を過大評価し、文化的にセンシティブな文脈における不適切なデプロイメント決定につながる可能性がある。
関連論文リスト
- CultureForest: Understanding and Evaluating Cultural Norm Grounded Reasoning in LLMs [59.09971492475217]
TextitCultural Norm Grounded ReasoningのベンチマークであるCultureForestを紹介する。
CultureForestは8つのドメインで5,378のサンプルと53の国/リージョンで構成されている。
大規模な実験では、トップ層モデルでさえ、オープンな設定で大幅に劣化していることが明らかになった。
論文 参考訳(メタデータ) (2026-06-01T08:25:12Z) - CALM: Culturally Self-Aware Language Models [22.309957211042597]
CALMは、文化的自己認識を持つ言語モデルを支援するために設計された新しいフレームワークである。
タスクのセマンティクスを、明示的な文化的概念や潜伏した文化的シグナルから切り離す。
結果として得られた統一表現は、文化的に根ざした内的アイデンティティ状態を構築するためのモデル本来の知識と融合する。
論文 参考訳(メタデータ) (2026-01-07T00:28:33Z) - 'Too much alignment; not enough culture': Re-balancing cultural alignment practices in LLMs [0.0]
本稿では、AIアライメントプラクティスへの質的なアプローチの統合へのシフトを論じる。
クリフォード・ゲールツ(Clifford Geertz)の"thick description"の概念からインスピレーションを得たAIシステムは、より深い文化的意味を反映したアウトプットを生成する必要がある。
論文 参考訳(メタデータ) (2025-09-30T12:22:53Z) - CultureScope: A Dimensional Lens for Probing Cultural Understanding in LLMs [57.653830744706305]
CultureScopeは、大規模な言語モデルにおける文化的理解を評価するための、これまでで最も包括的な評価フレームワークである。
文化的な氷山理論に触発されて、文化知識分類のための新しい次元スキーマを設計する。
実験結果から,文化的理解を効果的に評価できることが示唆された。
論文 参考訳(メタデータ) (2025-09-19T17:47:48Z) - Culture is Everywhere: A Call for Intentionally Cultural Evaluation [36.20861746863831]
文献的文化的評価について論じる: 評価のあらゆる側面に埋め込まれた文化的仮定を体系的に検証するアプローチ。
我々は、現在のベンチマークプラクティスを超えて、意味と今後の方向性について議論する。
論文 参考訳(メタデータ) (2025-09-01T09:39:21Z) - From Word to World: Evaluate and Mitigate Culture Bias in LLMs via Word Association Test [50.51344198689069]
我々は,人中心語関連テスト(WAT)を拡張し,異文化間認知による大規模言語モデルのアライメントを評価する。
文化選好に対処するために,モデルの内部表現空間に直接,文化固有の意味的関連性を直接埋め込む革新的なアプローチであるCultureSteerを提案する。
論文 参考訳(メタデータ) (2025-05-24T07:05:10Z) - CROPE: Evaluating In-Context Adaptation of Vision and Language Models to Culture-Specific Concepts [45.77570690529597]
文化固有の概念の知識を探索するための視覚的質問応答ベンチマークであるCROPEを紹介する。
いくつかの最先端のオープンビジョンと言語モデルの評価は、文化固有の概念と共通の概念の相違が大きいことを示す。
文脈知識を用いた実験は、モデルがマルチモーダル情報を効果的に活用し、文化固有の概念を描写に結びつけるのに苦労していることを示している。
論文 参考訳(メタデータ) (2024-10-20T17:31:19Z) - Extrinsic Evaluation of Cultural Competence in Large Language Models [53.626808086522985]
本稿では,2つのテキスト生成タスクにおける文化能力の評価に焦点をあてる。
我々は,文化,特に国籍の明示的なキューが,そのプロンプトに乱入している場合のモデル出力を評価する。
異なる国におけるアウトプットのテキスト類似性とこれらの国の文化的価値との間には弱い相関関係がある。
論文 参考訳(メタデータ) (2024-06-17T14:03:27Z) - Massively Multi-Cultural Knowledge Acquisition & LM Benchmarking [48.21982147529661]
本稿では,多文化知識獲得のための新しいアプローチを提案する。
本手法は,文化トピックに関するウィキペディア文書からリンクページの広範囲なネットワークへ戦略的にナビゲートする。
私たちの仕事は、AIにおける文化的格差のギャップを深く理解し、橋渡しするための重要なステップです。
論文 参考訳(メタデータ) (2024-02-14T18:16:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。