論文の概要: Veracity labels flip the emotional tone of language models but leave racial disparities intact
- arxiv url: http://arxiv.org/abs/2610.33021v1
- Date: Thu, 08 Oct 2026 18:26:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 06:06:26.139062
- Title: Veracity labels flip the emotional tone of language models but leave racial disparities intact
- Title(参考訳): Veracityのラベルは言語モデルの感情的トーンをひっくり返すが、人種格差はそのまま残す
- Abstract要約: 大規模言語モデル(LLM)はペルソナを通じて情報を提供するようになっている。
事実の正しさが、IDラベル間のフレーミングの一貫性を損なうかどうかは不明だ。
事実確認された偽の見出しと真偽の見出しに応答して4つのLCMを検査した。
- 参考スコア(独自算出の注目度): 1.585418692657445
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) increasingly deliver information through personas, but it is unclear whether correcting the facts also makes their framing consistent across identity labels. We audited four LLMs (GPT-5.4 mini, NVIDIA Nemotron 3 Nano, Llama 4 Scout, and Claude Haiku 4.5), which rated simulated affect on six dimensions (mood, anger, fear, confidence, perceived control, and mental state) in response to fact-checked false and true headlines presented without and with a veracity label. Experiment 1 evaluated 1,000 false and 1,000 true headlines without personas; Experiment 2 evaluated 300 of each under 12 personas crossing race, gender, and age. The label strongly changed the emotional tone: ordinal logistic regressions with headline-cluster bootstrap inference showed that refuting false headlines shifted ratings from mostly negative to mostly positive for GPT, Llama, and Claude (e.g., Claude's "confident" ratings rose from 22% to 99.6%), whereas Nemotron showed smaller, mixed shifts, and confirming true headlines produced only small shifts. The label did not, however, remove persona-associated disparities. The models assigned more negative simulated affect to Black than to White personas in 82 of 84 statistically significant comparisons across models and conditions, both without and with the label, and the disparity persisted on headlines unrelated to race; Asian and female personas were also predominantly assigned more negative affect, whereas age effects varied by model and condition. Factual correction and demographic consistency are therefore distinct properties of LLM behavior, and persona-conditioned systems should be audited for both before deployment in sensitive contexts.
- Abstract(参考訳): 大規模言語モデル(LLM)は、ペルソナを通じて情報を提供する傾向にあるが、事実の正しさがアイデンティティラベル間でのフレーミングの一貫性を損なうかどうかは不明である。
4つのLCM(GPT-5.4 mini, NVIDIA Nemotron 3 Nano, Llama 4 Scout, Claude Haiku 4.5)を検査した。
実験1では、1000個の偽の見出しと1000個の真の見出しをペルソナなしで評価し、実験2では、12個のペルソナを横断するレース、性別、年齢でそれぞれ300個を評価した。
ヘッドライン・クラスタ・ブートストラップの推論による経時的ロジスティック回帰は、偽の見出し評価をほとんど否定的なものから、GPT、Llama、Claude(例えば、クロードの「信頼」評価は22%から99.6%に上昇した)にシフトしたことを示し、一方ネモトロンは小さく、混合的なシフトを示し、真の見出しがわずかに変化したことを確認した。
しかし、レーベルはペルソナに関連する格差を排除しなかった。
黒人に対するより否定的な影響をシミュレートしたモデルでは、ホワイト・ペルソナの84例中82例において、ラベルのないモデルと条件の両方で統計的に有意な比較を行い、人種と無関係な見出しで相違が持続した。
したがって、実際の修正と人口動態の整合性はLLMの挙動の異なる性質であり、敏感な状況に展開する前にペルソナ条件のシステムの両方を監査すべきである。
関連論文リスト
- Which Answer Did the Seventeen-Year-Old Write? A Behavioral Case Study of Author-Age Misattribution, Miscalibrated Confidence, and Non-Corrective Self-Explanation in Six Frontier Language Models [0.0]
3人の生徒が「幸せとは何か?」と手動で同じ試験に答えた。
コレクションに記録されている年齢は17歳、28歳、45歳。
ほとんどのフロンティア言語モデルは、それを大人に自信を持って割り当てる。
私たちは1,081のAPIセッションを実行し、フレーミング、開示フォーマット、オーディエンス・アウェアネス・インストラクションを操作する6つの実験条件に対して3,225のレスポンスを記録しました。
論文 参考訳(メタデータ) (2026-10-22T21:45:19Z) - Readable, Faithful, Used: Three Dissociable Properties of Demographic Identity in a Language Model [0.0]
我々は、大きな言語モデルの中で、人口集団のアイデンティティがどこにあるのかを尋ねる。
私たちはMistral-7Bで1,089の読み出し位置を記録し、6つのタイプに因果的に介入した。
単一の頭部の128次元のプローブは、モデル自身の答えよりも21-31%近くまで到達した。
論文 参考訳(メタデータ) (2026-08-19T10:25:11Z) - From Minds to Models: The Intersection of Psychology and LLM Behaviours [0.0]
大規模言語モデル(LLM)は、意思決定が複雑で、非線形で解釈が難しいため、人間の心と比較されることが多い。
本研究は、ChatGPTが、オープンエンドテキストにおける人種的条件間での感情差を生んだかどうかを検証した。
論文 参考訳(メタデータ) (2026-07-30T01:44:00Z) - Large Language Models Reproduce Racial Stereotypes When Used for Text Annotation [0.0]
テキストに微妙なアイデンティティの手がかりが、人種的ステレオタイプを反映する方法で、体系的に偏見アノテーションの結果に埋め込まれていることが示される。
名前に基づく実験では、黒人個人に関連付けられた名前を含むテキストは、19モデル中18モデルより攻撃的であると評価され、19モデル中18モデルよりゴシップが多いと評価されている。
アラブ人の名は、対人的評価とともに認知の高揚を招き、全ての4つの少数民族は一貫して、より独学的でないと評価されている。
特筆すべき例外は、名前に基づく雇用力であり、微調整は過度に正しく、体系的に少数派の名前の応募者を好んでいるように見える。
論文 参考訳(メタデータ) (2026-03-14T10:58:22Z) - Person-Centric Annotations of LAION-400M: Auditing Bias and Its Transfer to Models [81.45743826739054]
大きな障壁は、LAION-400MのようなWebスケールデータセットにおける人口統計アノテーションの欠如である。
2億7600万以上のバウンディングボックスや、性別や人種/民族ラベルの認識、キャプションの自動生成など、完全なデータセットのための人中心アノテーションを作成します。
それらを用いて、黒人や中東と見なされる男性や個人と犯罪に関連する負のコンテンツとの不均等な結びつきなど、人口不均衡や有害な関連を明らかにする。
論文 参考訳(メタデータ) (2025-10-04T07:51:59Z) - Where Fact Ends and Fairness Begins: Redefining AI Bias Evaluation through Cognitive Biases [77.3489598315447]
事実と公正の境界を識別することは有意義な公正性評価に不可欠である,と我々は主張する。
Fact-or-Fair は (i) 客観的なクエリを記述的, 事実に基づく判断, (ii) 主観的クエリを規範的, 公平性に基づく判断に整合させたベンチマークである。
論文 参考訳(メタデータ) (2025-02-09T10:54:11Z) - What's in a Name? Auditing Large Language Models for Race and Gender Bias [45.1187517058961]
我々は、GPT-4を含む最先端の大規模言語モデルのバイアスを調査するために監査設計を採用する。
このアドバイスは、一般的に人種的マイノリティや女性に結びついている名前に系統的に不利であることがわかった。
論文 参考訳(メタデータ) (2024-02-21T18:25:25Z) - Sociodemographic Prompting is Not Yet an Effective Approach for Simulating Subjective Judgments with LLMs [13.744746481528711]
大規模言語モデル(LLM)は、様々な文脈で人間の反応をシミュレートするために広く使われている。
我々は,2つの主観的判断課題(丁寧さと攻撃性)において,人口差を理解する能力について,9つの人気のLCMを評価した。
ゼロショット設定では、両方のタスクのほとんどのモデルの予測は、アジアやブラックの参加者よりもホワイトの参加者のラベルとより密接に一致している。
論文 参考訳(メタデータ) (2023-11-16T10:02:24Z) - Bias Runs Deep: Implicit Reasoning Biases in Persona-Assigned LLMs [67.51906565969227]
LLMの基本的な推論タスクの実行能力に対するペルソナ代入の意図しない副作用について検討する。
本研究は,5つの社会デコグラフィーグループにまたがる24の推論データセット,4つのLDM,19の多様な個人(アジア人など)について検討した。
論文 参考訳(メタデータ) (2023-11-08T18:52:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。