論文の概要: Analyzing and Correcting Benevolence Bias in Large Language Models

• arxiv url: http://arxiv.org/abs/2608.24912v1
• Date: Sun, 26 Jul 2026 08:37:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 05:49:59.246436
• Title: Analyzing and Correcting Benevolence Bias in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるベネヴァレンスバイアスの分析と修正
• Abstract要約: 大規模言語モデル(LLM)は、人間の回答者のスタンドインとしてますます使われています。 ここでは、評価バイアス(benevolence bias)を識別し、測定する。これは、LLMがより親切で、より安全で、より社会的に認められた質問に対する回答に傾く傾向の小さいが、一貫性のある傾向である。 バイアスは安定なモデル特性であり、どのシステムにおいてもクォークではないことが分かる。
• 参考スコア（独自算出の注目度）: 25.94213078450494
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used as stand-ins for human respondents, from opinion polls and simulated survey participants to agent-based social simulations. These uses rest on one assumption: that conditioning a model on who a person is yields answers resembling those of real people from that group. Here we identify and measure benevolence bias, a small but consistent tendency for aligned LLMs to lean toward the kinder, safer, more socially approved answer on value-laden survey questions. Across 18 widely used models, four social-science datasets (ANES, GSS, WVS, and a cross-cultural prospect-theory replication) and six psychological categories, we find that the bias is a stable model property, not a quirk of any one system: it points the same way across models, grows with model size, and traces to the post-training stage. Prompt language and framing change its size but never its direction, and a "malicious persona" stress test shows a one-sided limit: aligned models struggle to play people who are less kind, less prosocial or more harm-tolerant than average. The issue is thus not only a shifted average, but a narrowed range of people the model can imitate. The bias sits in the middle of the answer distribution rather than its tails, and survives changes in sampling temperature and simple prompted reflection. The encouraging news is that it is easy to diagnose and straightforward to fix: a light-touch contrastive calibration, which needs no retraining and works on black-box APIs, brings all six categories back to the human baseline. Our results give researchers a clear map of where aligned LLMs can already be trusted as human stand-ins, where they need care, and a ready-to-use method for closing the gap.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、世論調査や模擬調査参加者からエージェントベースの社会シミュレーションに至るまで、人間の回答者のスタンドインとしてますます利用されている。 これは一つの前提に当てはまる: ある人が誰であるかをモデルに条件付けると、そのグループの実際の人間に似た答えが得られます。 ここでは、評価バイアス(benevolence bias)を識別し、測定する。これは、LLMがより親切で、より安全で、より社会的に認められた質問に対する回答に傾く傾向の小さいが、一貫性のある傾向である。 広く使われている18のモデル,4つの社会科学データセット(ANES, GSS, WVS, 異文化の先天理論の再現)と6つの心理学カテゴリにまたがって, バイアスは安定的なモデル特性であり, 1つのシステムのクォークではないことが判明した。 言語とフレーミングはサイズを変えるが、その方向は変わらない。"悪意のあるペルソナ(malicious persona)"ストレステストでは、一方的な制限が示される。 したがって、問題はシフト平均であるだけでなく、モデルが模倣できる範囲の狭いものである。 偏見は尾ではなく答え分布の中央に位置し、サンプリング温度や単純な刺激反射の変化を生き残る。 ライトタッチのコントラストキャリブレーションは、トレーニングを必要とせず、ブラックボックスAPIで動作するため、すべての6つのカテゴリを人間のベースラインに戻します。 以上の結果から,LLMがすでに人間のスタンドインとして信頼されている場所と,そのギャップを埋める準備の整った方法の明確なマップが得られた。

関連論文リスト

• Mind the Gaps: Mixture-of-Minds for Human Simulation [1.1844977816228046]
  Anacreonは、狭い、明確に定義された領域内の個々のレベルをターゲットにしたオーディエンスシミュレーションモデルである。 人口統計、心理的特徴、調査回答を公開テキストから収集し、それぞれの記録を感情の連鎖で補強する。 応答オプションをシャッフルすることで迅速な脆さを低減し、トレーニング分布のバランスをとることで正のバイアスを低減します。
  論文  参考訳（メタデータ） (2026-08-06T14:48:09Z)
• The Chameleon's Limit: Investigating Persona Collapse and Homogenization in Large Language Models [12.654067061944074]
  大規模言語モデル(LLM)に基づくアプリケーションでは,エージェント間の個体数の多様性が要求される。 エージェントはそれぞれ異なるプロファイルを割り当てるが、それでも狭い行動モードに収束し、均質なシミュレートされた人口を生み出す。
  論文  参考訳（メタデータ） (2026-04-27T17:01:48Z)
• Surface Fairness, Deep Bias: A Comparative Study of Bias in Language Models [45.41676783204022]
  大規模言語モデル(LLM)におけるバイアスの様々なプロキシ尺度について検討する。 MMLU (Multi-subject benchmark) を用いた人格評価モデルでは, スコアの無作為かつ大半がランダムな差が生じることがわかった。 LLMアシスタントメモリとパーソナライゼーションの最近の傾向により、これらの問題は異なる角度から開かれている。
  論文  参考訳（メタデータ） (2025-06-12T08:47:40Z)
• The Devil is in the Neurons: Interpreting and Mitigating Social Biases in Pre-trained Language Models [78.69526166193236]
  プレトレーニング言語モデル(PLM)は、社会的バイアスのような有害な情報を含むことが認識されている。 我々は,社会バイアスなどの望ましくない行動に起因する言語モデルにおいて,正確に単位(すなわちニューロン)を特定するために,sc Social Bias Neuronsを提案する。 StereoSetの以前の測定値からわかるように、我々のモデルは、低コストで言語モデリング能力を維持しながら、より高い公平性を達成する。
  論文  参考訳（メタデータ） (2024-06-14T15:41:06Z)
• Large Language Models Show Human-like Social Desirability Biases in Survey Responses [12.767606361552684]
  人格評価が推定された場合,Large Language Models (LLMs) が特徴次元の望ましい端に向かってスコアを歪めていることを示す。 このバイアスは、GPT-4/3.5、Claude 3、Llama 3、PaLM-2を含む全ての試験モデルに存在する。 すべての質問のリバースコーディングはバイアスレベルを低下させるが、それらを取り除くことはできず、この効果はアクセプションバイアスによるものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-05-09T19:02:53Z)
• Self-Debiasing Large Language Models: Zero-Shot Recognition and Reduction of Stereotypes [73.12947922129261]
  ステレオタイピングを減らすために,大規模言語モデルのゼロショット機能を活用している。 自己嫌悪は、9つの異なる社会集団におけるステレオタイピングの度合いを著しく低下させることが示される。 この研究が、バイアス軽減のための他のゼロショット技術に関する調査をオープンにすることを願っている。
  論文  参考訳（メタデータ） (2024-02-03T01:40:11Z)
• ROBBIE: Robust Bias Evaluation of Large Generative Language Models [27.864027322486375]
  異なるプロンプトベースのデータセットを使用して、複数のテキストドメインと人口統計軸にわたる社会的バイアスを測定することができる。 我々は,12の人口動態軸と5のジェネレーションLLMの家系の6つの異なるプロンプトベースのバイアスと毒性の指標を比較した。 3つのバイアス/毒性の緩和技術が、我々の一連の測定においていかにうまく機能するかを包括的に研究する。
  論文  参考訳（メタデータ） (2023-11-29T23:03:04Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
  データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。 異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。 このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
  論文  参考訳（メタデータ） (2023-03-30T17:30:42Z)
• Spuriosity Rankings: Sorting Data to Measure and Mitigate Biases [62.54519787811138]
  本稿では,突発的手がかりに依存したモデルバイアスを簡易かつ効果的に測定・緩和する手法を提案する。 我々は,解釈可能なネットワークの深部神経的特徴をベースとして,それらのクラス内の画像のランク付けを行う。 以上の結果から,素早い特徴依存によるモデルバイアスは,モデルがどのようにトレーニングされたかよりも,モデルがトレーニングされていることの影響がはるかに大きいことが示唆された。
  論文  参考訳（メタデータ） (2022-12-05T23:15:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。