論文の概要: Sympathetic Framing: Evaluating AI Alignment across Sociodemographic Groups
- arxiv url: http://arxiv.org/abs/2607.27232v1
- Date: Wed, 22 Jul 2026 16:23:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.259786
- Title: Sympathetic Framing: Evaluating AI Alignment across Sociodemographic Groups
- Title（参考訳）: sympathetic Framing: ソシオドモグラフィーグループ間でAIアライメントを評価する
- Abstract要約: 大規模言語モデル(LLM)は、情報の消費方法や世界観を形成する手段をますます形成しています。
LLMはテキストフレーミングを通じて伝えられる感情的なニュアンスを把握しているのか?
我々は,LLMの配列が人間の感情的知覚とどのように一致しているかを実証的に評価した。
- 参考スコア（独自算出の注目度）: 1.9307952728103126
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large Language Models (LLMs) are increasingly shaping how we consume information and form our worldview. This raises concerns beyond bias in AI: do LLMs grasp the emotional nuances conveyed via textual framing? In this work, we empirically evaluate how well an array of LLMs aligns with human emotional perception. Considering news headlines covering political and geopolitical conflicts, both human participants (n = 3011, a representative sample of the U.K. adult population, via a YouGov survey) and seven LLMs answered whether headlines evoked sympathy for a specified side in a conflict. We find that the correlation between AI and human evaluations varies across models, ranging from very high (0.789, GPT-5.2) to medium (0.4 ,Mistral Large 2512). Crucially, the leading models are broadly aligned with human judgments across all demographic subgroups, including age, gender, level of education, prior geopolitical knowledge, and participants' predispositions regarding the conflict, although there are statistically significant differences between groups. This research, with its robust design and large, demographically diverse dataset, offers the most comprehensive evaluation of LLMs' comprehension of news framing to date. Findings highlight an important, often-ignored aspect of differential alignment: even when aggregate performance is high, AI alignment is not universal -- it may correspond differently with demographic features and cultural norms. Considering or ignoring the need for differential alignment may therefore have significant implications for the development of ethical and useful AI systems.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、情報の消費方法や世界観を形成する手段をますます形成しています。
LLMはテキストフレーミングを通じて伝えられる感情的なニュアンスを把握しているのか?
本研究では,LLMの配列が人間の感情的知覚とどのように一致しているかを実証的に評価する。
政治的・地政的な対立を報道するニュースの見出し(n = 3011)と7人のLCM(英語版)が、紛争において特定の側に対して同情を呼び起こしたかどうかを答えた。
AIと人間の評価の相関は、非常に高い (0.789, GPT-5.2) から媒体 (0.4 , Mistral Large 2512) まで、モデルによって異なる。
重要なことに、主要なモデルは、年齢、性別、教育水準、以前の地政学的な知識、紛争に関する参加者の偏見など、すべての階層的なサブグループで人間の判断と大きく一致しているが、統計的にグループ間には大きな違いがある。
この研究は、ロバストな設計と、人口統計学的に多様なデータセットによって、LLMが現在までのニュースフレーミングの理解を最も包括的に評価している。
集合的パフォーマンスが高い場合でも、AIのアライメントは普遍的ではない -- 人口動態の特徴や文化規範と異なる場合があります。
したがって、差分アライメントの必要性を考慮または無視することは、倫理的で有用なAIシステムの開発に重大な影響を及ぼす可能性がある。
関連論文リスト
- Can Persona-Prompted LLMs Emulate Subgroup Values? An Empirical Analysis of Generalisability and Fairness in Cultural Alignment [75.88231994139132]
GPT-4.1のような最先端モデルでさえ、モーダル選好を予測する精度は57.4%に過ぎなかった。
モデルでは、若者、男性、中国人、キリスト教のペルソナをよりうまくエミュレートする。
論文 参考訳（メタデータ） (2026-04-14T15:06:13Z) - Sociodemographic Biases in Educational Counselling by Large Language Models [61.30199414932204]
本研究では,Large Language Models(LLMs)における社会デマトグラフィーバイアスについて検討する。
多様な状況下で生徒を記述した900のヴィグネットに関する質問に答える6つのLDMからの回答を評価した。
論文 参考訳（メタデータ） (2026-04-03T14:08:22Z) - Unpacking Human Preference for LLMs: Demographically Aware Evaluation with the HUMAINE Framework [0.31497178896386996]
HUMAINEは人間とAIの相互作用を多次元、人口統計学的に把握するフレームワークである。
我々は5つの人間中心次元にわたる28の最先端モデルを評価する。
論文 参考訳（メタデータ） (2026-02-03T09:51:47Z) - Towards New Benchmark for AI Alignment & Sentiment Analysis in Socially Important Issues: A Comparative Study of Human and LLMs in the Context of AGI [0.25489046505746704]
本研究では,大規模言語モデル(LLM)と人間による人工知能(AGI)に対する感情について検討する。
GPT-4はAGIに対して最も肯定的な感情を、Bardは中立的な感情に傾いた。
この分析は、LLMの感情形成における関心と偏見の潜在的な対立を概説している。
論文 参考訳（メタデータ） (2025-01-05T13:18:13Z) - Robustness and Confounders in the Demographic Alignment of LLMs with Human Perceptions of Offensiveness [10.194622474615462]
大規模言語モデル(LLM)は人口統計学的バイアスを示すことが知られているが、複数のデータセットにまたがってこれらのバイアスを体系的に評価する研究は少ない。
以上の結果から、人口統計学的特徴、特に人種、影響のアライメントはデータセット間で矛盾し、しばしば他の要因と絡み合っていることが明らかとなった。
論文 参考訳（メタデータ） (2024-11-13T19:08:23Z) - Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。
本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
論文 参考訳（メタデータ） (2024-10-24T04:02:30Z) - Language Model Alignment in Multilingual Trolley Problems [138.5684081822807]
Moral Machine 実験に基づいて,MultiTP と呼ばれる100以上の言語でモラルジレンマヴィグネットの言語間コーパスを開発する。
分析では、19の異なるLLMと人間の判断を一致させ、6つのモラル次元をまたいだ嗜好を捉えた。
我々は、AIシステムにおける一様道徳的推論の仮定に挑戦し、言語間のアライメントの顕著なばらつきを発見した。
論文 参考訳（メタデータ） (2024-07-02T14:02:53Z) - The Impossibility of Fair LLMs [17.812295963158714]
さまざまな技術的公正フレームワークを分析し、公正な言語モデルの開発を難易度の高いものにするために、それぞれに固有の課題を見つけます。
それぞれのフレームワークが汎用的なAIコンテキストに拡張されないか、実際には実現不可能であることを示す。
これらの固有の課題は、LLMを含む汎用AIにおいて、限られた参加入力や限られた測定方法といった経験的な課題が克服されたとしても、持続する。
論文 参考訳（メタデータ） (2024-05-28T04:36:15Z) - On the steerability of large language models toward data-driven personas [98.9138902560793]
大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。
本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-08T19:01:13Z) - Fairness meets Cross-Domain Learning: a new perspective on Models and
Metrics [80.07271410743806]
クロスドメイン学習(CD)とモデルフェアネスの関係について検討する。
いくつかの人口集団にまたがる顔画像と医療画像のベンチマークと、分類とローカライゼーションタスクについて紹介する。
本研究は,3つの最先端フェアネスアルゴリズムとともに,14のCDアプローチをカバーし,前者が後者に勝ることを示す。
論文 参考訳（メタデータ） (2023-03-25T09:34:05Z) - Improving Fairness of AI Systems with Lossless De-biasing [15.039284892391565]
AIシステムのバイアスを緩和して全体的な公正性を高めることが重要な課題となっている。
我々は,不利益グループにおけるデータの不足を対象とする情報損失のない脱バイアス手法を提案する。
論文 参考訳（メタデータ） (2021-05-10T17:38:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。