論文の概要: Sympathetic Framing: Evaluating AI Alignment across Sociodemographic Groups

• arxiv url: http://arxiv.org/abs/2607.27232v1
• Date: Wed, 22 Jul 2026 16:23:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.259786
• Title: Sympathetic Framing: Evaluating AI Alignment across Sociodemographic Groups
• Title（参考訳）: sympathetic Framing: ソシオドモグラフィーグループ間でAIアライメントを評価する
• Abstract要約: 大規模言語モデル(LLM)は、情報の消費方法や世界観を形成する手段をますます形成しています。 LLMはテキストフレーミングを通じて伝えられる感情的なニュアンスを把握しているのか? 我々は,LLMの配列が人間の感情的知覚とどのように一致しているかを実証的に評価した。
• 参考スコア（独自算出の注目度）: 1.9307952728103126
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) are increasingly shaping how we consume information and form our worldview. This raises concerns beyond bias in AI: do LLMs grasp the emotional nuances conveyed via textual framing? In this work, we empirically evaluate how well an array of LLMs aligns with human emotional perception. Considering news headlines covering political and geopolitical conflicts, both human participants (n = 3011, a representative sample of the U.K. adult population, via a YouGov survey) and seven LLMs answered whether headlines evoked sympathy for a specified side in a conflict. We find that the correlation between AI and human evaluations varies across models, ranging from very high (0.789, GPT-5.2) to medium (0.4 ,Mistral Large 2512). Crucially, the leading models are broadly aligned with human judgments across all demographic subgroups, including age, gender, level of education, prior geopolitical knowledge, and participants' predispositions regarding the conflict, although there are statistically significant differences between groups. This research, with its robust design and large, demographically diverse dataset, offers the most comprehensive evaluation of LLMs' comprehension of news framing to date. Findings highlight an important, often-ignored aspect of differential alignment: even when aggregate performance is high, AI alignment is not universal -- it may correspond differently with demographic features and cultural norms. Considering or ignoring the need for differential alignment may therefore have significant implications for the development of ethical and useful AI systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、情報の消費方法や世界観を形成する手段をますます形成しています。 LLMはテキストフレーミングを通じて伝えられる感情的なニュアンスを把握しているのか? 本研究では,LLMの配列が人間の感情的知覚とどのように一致しているかを実証的に評価する。 政治的・地政的な対立を報道するニュースの見出し(n = 3011)と7人のLCM(英語版)が、紛争において特定の側に対して同情を呼び起こしたかどうかを答えた。 AIと人間の評価の相関は、非常に高い (0.789, GPT-5.2) から媒体 (0.4 , Mistral Large 2512) まで、モデルによって異なる。 重要なことに、主要なモデルは、年齢、性別、教育水準、以前の地政学的な知識、紛争に関する参加者の偏見など、すべての階層的なサブグループで人間の判断と大きく一致しているが、統計的にグループ間には大きな違いがある。 この研究は、ロバストな設計と、人口統計学的に多様なデータセットによって、LLMが現在までのニュースフレーミングの理解を最も包括的に評価している。 集合的パフォーマンスが高い場合でも、AIのアライメントは普遍的ではない -- 人口動態の特徴や文化規範と異なる場合があります。 したがって、差分アライメントの必要性を考慮または無視することは、倫理的で有用なAIシステムの開発に重大な影響を及ぼす可能性がある。

関連論文リスト

• Unpacking Human Preference for LLMs: Demographically Aware Evaluation with the HUMAINE Framework [0.31497178896386996]
  HUMAINEは人間とAIの相互作用を多次元、人口統計学的に把握するフレームワークである。 我々は5つの人間中心次元にわたる28の最先端モデルを評価する。
  論文  参考訳（メタデータ） (2026-02-03T09:51:47Z)
• Towards New Benchmark for AI Alignment & Sentiment Analysis in Socially Important Issues: A Comparative Study of Human and LLMs in the Context of AGI [0.25489046505746704]
  本研究では,大規模言語モデル(LLM)と人間による人工知能(AGI)に対する感情について検討する。 GPT-4はAGIに対して最も肯定的な感情を、Bardは中立的な感情に傾いた。 この分析は、LLMの感情形成における関心と偏見の潜在的な対立を概説している。
  論文  参考訳（メタデータ） (2025-01-05T13:18:13Z)
• Robustness and Confounders in the Demographic Alignment of LLMs with Human Perceptions of Offensiveness [10.194622474615462]
  大規模言語モデル(LLM)は人口統計学的バイアスを示すことが知られているが、複数のデータセットにまたがってこれらのバイアスを体系的に評価する研究は少ない。 以上の結果から、人口統計学的特徴、特に人種、影響のアライメントはデータセット間で矛盾し、しばしば他の要因と絡み合っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-11-13T19:08:23Z)
• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Language Model Alignment in Multilingual Trolley Problems [138.5684081822807]
  Moral Machine 実験に基づいて,MultiTP と呼ばれる100以上の言語でモラルジレンマヴィグネットの言語間コーパスを開発する。 分析では、19の異なるLLMと人間の判断を一致させ、6つのモラル次元をまたいだ嗜好を捉えた。 我々は、AIシステムにおける一様道徳的推論の仮定に挑戦し、言語間のアライメントの顕著なばらつきを発見した。
  論文  参考訳（メタデータ） (2024-07-02T14:02:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。