論文の概要: Culture is Everywhere: A Call for Intentionally Cultural Evaluation
- arxiv url: http://arxiv.org/abs/2509.01301v1
- Date: Mon, 01 Sep 2025 09:39:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-04 15:17:03.623633
- Title: Culture is Everywhere: A Call for Intentionally Cultural Evaluation
- Title（参考訳）: 文化は至る所にある:意図的な文化的評価の呼びかけ
- Authors: Juhyun Oh, Inha Cha, Michael Saxon, Hyunseung Lim, Shaily Bhatt, Alice Oh,
- Abstract要約: 文献的文化的評価について論じる: 評価のあらゆる側面に埋め込まれた文化的仮定を体系的に検証するアプローチ。
我々は、現在のベンチマークプラクティスを超えて、意味と今後の方向性について議論する。
- 参考スコア（独自算出の注目度）: 36.20861746863831
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The prevailing ``trivia-centered paradigm'' for evaluating the cultural alignment of large language models (LLMs) is increasingly inadequate as these models become more advanced and widely deployed. Existing approaches typically reduce culture to static facts or values, testing models via multiple-choice or short-answer questions that treat culture as isolated trivia. Such methods neglect the pluralistic and interactive realities of culture, and overlook how cultural assumptions permeate even ostensibly ``neutral'' evaluation settings. In this position paper, we argue for \textbf{intentionally cultural evaluation}: an approach that systematically examines the cultural assumptions embedded in all aspects of evaluation, not just in explicitly cultural tasks. We systematically characterize the what, how, and circumstances by which culturally contingent considerations arise in evaluation, and emphasize the importance of researcher positionality for fostering inclusive, culturally aligned NLP research. Finally, we discuss implications and future directions for moving beyond current benchmarking practices, discovering important applications that we don't know exist, and involving communities in evaluation design through HCI-inspired participatory methodologies.
- Abstract（参考訳）: 大規模言語モデル(LLM)の文化的アライメントを評価するための'トリヴィア中心パラダイム'は、これらのモデルがより高度で広くデプロイされるにつれて、ますます不十分になっている。
既存のアプローチでは、カルチャーを静的な事実や値に還元するのが一般的である。
このような手法は文化の多元的・対話的な現実を無視し、文化的前提がいかに「中性」評価設定を具体的に浸透するかを見落としている。
本稿では,評価のあらゆる側面に埋め込まれた文化的前提を体系的に検討するアプローチとして,明示的に文化的な課題に限らず論じる。
我々は,文化的に重要な考察が評価に現れる要因,方法,状況を体系的に特徴付け,包括的で文化的に整合したNLP研究を育成する研究者の立場の重要性を強調した。
最後に、現在のベンチマークプラクティスを超えて、私たちが知らない重要なアプリケーションを発見し、HCIにインスパイアされた参加的方法論による評価設計にコミュニティを巻き込むための意味と今後の方向性について議論する。
関連論文リスト
- MCEval: A Dynamic Framework for Fair Multilingual Cultural Evaluation of LLMs [25.128936333806678]
大規模な言語モデルは、文化的バイアスと限定的な文化的理解能力を示す。
動的文化的質問構築を用いた多言語評価フレームワークであるMCEvalを提案する。
論文 参考訳（メタデータ） (2025-07-13T16:24:35Z) - CulFiT: A Fine-grained Cultural-aware LLM Training Paradigm via Multilingual Critique Data Synthesis [41.261808170896686]
CulFiTは、多言語データと微粒な報酬モデリングを利用して、文化的感受性と傾きを高める新しいトレーニングパラダイムである。
本手法は,文化関連諸質問を合成し,文化関連言語における批判データを構築し,文化文献を検証可能な知識単位に分解するために,きめ細かい報酬を用いる。
論文 参考訳（メタデータ） (2025-05-26T04:08:26Z) - From Word to World: Evaluate and Mitigate Culture Bias via Word Association Test [48.623761108859085]
我々は,人中心語関連テスト(WAT)を拡張し,異文化間認知による大規模言語モデルのアライメントを評価する。
文化選好を緩和するために,カルチャー対応のステアリング機構を統合する革新的なアプローチであるCultureSteerを提案する。
論文 参考訳（メタデータ） (2025-05-24T07:05:10Z) - From Surveys to Narratives: Rethinking Cultural Value Adaptation in LLMs [57.43233760384488]
LLM(Large Language Models)における文化的価値の適応は大きな課題である。
これまでの作業は主に、World Values Survey (WVS)データを使用して、LLMをさまざまな文化的価値と整合させる。
本稿では,文化価値適応のためのWVSベースのトレーニングについて検討し,調査データのみに頼って文化規範を把握し,事実知識に干渉することを見出した。
論文 参考訳（メタデータ） (2025-05-22T09:00:01Z) - Cultural Learning-Based Culture Adaptation of Language Models [70.1063219524999]
大きな言語モデル(LLM)をさまざまな文化的価値に適用することは難しい課題です。
文化的学習に基づくLLMと文化的価値との整合性を高めるための新しい枠組みであるCLCAについて述べる。
論文 参考訳（メタデータ） (2025-04-03T18:16:26Z) - Randomness, Not Representation: The Unreliability of Evaluating Cultural Alignment in LLMs [7.802103248428407]
我々は,現在の調査に基づく評価手法の背景にある3つの仮定を特定し,検証する。
提示形式間の不安定性,評価された文化次元と保持された文化的次元間の不整合性,即時操舵時の不整合性などについて検討した。
論文 参考訳（メタデータ） (2025-03-11T17:59:53Z) - Extrinsic Evaluation of Cultural Competence in Large Language Models [53.626808086522985]
本稿では,2つのテキスト生成タスクにおける文化能力の評価に焦点をあてる。
我々は,文化,特に国籍の明示的なキューが,そのプロンプトに乱入している場合のモデル出力を評価する。
異なる国におけるアウトプットのテキスト類似性とこれらの国の文化的価値との間には弱い相関関係がある。
論文 参考訳（メタデータ） (2024-06-17T14:03:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。