論文の概要: Calibrated to Whom? Persona and Language Effects on Cultural Values in JEV
- arxiv url: http://arxiv.org/abs/2609.36399v2
- Date: Sat, 03 Oct 2026 12:16:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 04:43:28.411924
- Title: Calibrated to Whom? Persona and Language Effects on Cultural Values in JEV
- Title（参考訳）: 人格と言語がJEVの文化的価値に及ぼす影響
- Abstract要約: 決定のみの言語モデルは、テキストを生成する代わりに、すべての回答オプションの確率を返す。
このようなモデルであるTypeSafeのJEVの文化的価値を,バリューサーベイモジュール2013で監査する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decision-only language models return a probability for every answer option instead of generating text, which makes them attractive as survey respondents and as judges. We audit the cultural values of one such model, TypeSafe's JEV, with the Values Survey Module 2013. We asked it the 24 items as 12 matched Saudi and 12 matched American personas and without a persona, in English and Arabic, under eight ways of formulating the request (288,000 answers). JEV's answers were highly repeatable (ICC 0.997), and without a persona they resembled those of its own American personas. When the persona was Saudi rather than American, the answers moved in the direction of the human Saudi-US difference, reproducing 87% of its size in English but 62% in Arabic, with long-term orientation reversed. A language cross shows that the smaller difference in Arabic comes from the language of the items, not from the language of the persona description. Age shifted the profiles about as much as nationality, gender shifted them more for Saudi than for American personas, and JEV was less confident in Arabic and for Saudi personas. These patterns held in every request design, although the model never generates text.
- Abstract（参考訳）: 決定のみの言語モデルは、テキストを生成する代わりに、すべての回答オプションの確率を返します。
このようなモデルであるTypeSafeのJEVの文化的価値を,バリューサーベイモジュール2013で監査する。
サウジが12人、アメリカが12人、ペルソナが1人、英語とアラビア語が8人(回答は288,000)と一致した。
JEVの回答は高度に反復可能であり(ICC 0.997)、ペルソナなしではアメリカ人のペルソナに似ていた。
ペルソナがアメリカ人ではなくサウジアラビア人であったとき、答えは人間のサウジアラビアとアメリカの違いの方向に移動し、英語では87%、アラビア語では62%を再現し、長期的な向きは逆転した。
アラビア語の小さな違いは、ペルソナの記述の言語ではなく、項目の言語から来ていることを示している。
年齢は国籍と同じくらい、性別はアメリカ人の人格よりもサウジアラビアの人格にシフトし、JEVはアラビア語やサウジアラビアの人格にはあまり自信が無かった。
これらのパターンはすべての要求設計で保持されるが、モデルはテキストを生成することはない。
関連論文リスト
- Beyond Cultural Knowledge: Evaluating Arabic Cultural Appropriateness of Large Language Models [7.632624212809001]
AraBehave: 1,623の文化的根拠とオープンエンドアラビア語のプロンプト,29,214の文化的適切性判定。
文化的適切性は、単一の能力ではなく、主に独立した2つの構成要素(規範的スタンスと基礎的文化的正確性)に分解される。
論文 参考訳（メタデータ） (2026-07-30T07:50:10Z) - SectEval: Evaluating the Latent Sectarian Preferences of Large Language Models [0.0]
英語とヒンディー語の両方で利用可能であり,88の質問から成り立っている。
以上の結果から,言語による不整合がみられた。
先進的なモデルであるClaude-3.5は、イランのユーザーとスンニのユーザーに対して、サウジアラビアのユーザーに対して、ユーザーの国産品であるシーアの回答と一致するように回答を変更した。
論文 参考訳（メタデータ） (2026-03-13T08:12:17Z) - SaudiBERT: A Large Language Model Pretrained on Saudi Dialect Corpora [0.0]
本稿では,サウジ方言のテキストにのみ事前訓練された単言語アラビア語モデルであるSaudiBERTを紹介する。
我々は、SaurBERTを11評価データセットの6つの異なる多言語アラビア語モデルと比較した。
サウジアラビアの方言コーパスには、サウジアラビアのつぶやきMega CorpusとサウジアラビアのフォーラムCorpusという2つの新しいコーパスがある。
論文 参考訳（メタデータ） (2024-05-10T04:22:54Z) - AceGPT, Localizing Large Language Models in Arabic [73.39989503874634]
本稿では,アラビア語のテキストによる事前学習,ネイティブなアラビア語命令を利用したSFT(Supervised Fine-Tuning),アラビア語のGPT-4応答を含む総合的なソリューションを提案する。
目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。
論文 参考訳（メタデータ） (2023-09-21T13:20:13Z) - Having Beer after Prayer? Measuring Cultural Bias in Large Language Models [25.722262209465846]
多言語およびアラビア語のモノリンガルLMは、西洋文化に関連する実体に対して偏見を示すことを示す。
アラブ文化と西洋文化を対比する8つのタイプにまたがる628個の自然発生プロンプトと20,368個のエンティティからなる新しい資源であるCAMeLを紹介した。
CAMeLを用いて、物語生成、NER、感情分析などのタスクにおいて、16の異なるLMのアラビア語における異文化間性能について検討した。
論文 参考訳（メタデータ） (2023-05-23T18:27:51Z) - Graphemic Normalization of the Perso-Arabic Script [47.429213930688086]
本稿では,ペルソ・アラビア語が最良文書言語を超えて提示する課題について述べる。
自然言語処理(NLP)の状況に注目する。
ペルソ・アラビア文字ディアスポラの多言語語族8言語に対する正規化が機械翻訳および統計言語モデリングタスクに及ぼす影響を評価する。
論文 参考訳（メタデータ） (2022-10-21T21:59:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。