論文の概要: Measuring Human-Like Bias in LLMs? A Critique of Human-Derived Bias Constructs in LLM Evaluation

• arxiv url: http://arxiv.org/abs/2610.00070v1
• Date: Fri, 04 Sep 2026 22:44:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.346773
• Title: Measuring Human-Like Bias in LLMs? A Critique of Human-Derived Bias Constructs in LLM Evaluation
• Title（参考訳）: LLMにおけるヒト様バイアスの測定 : LLM評価におけるヒト由来バイアスコンストラクトの批判
• Abstract要約: 本稿では,Large Language Models(LLMs)における人中心バイアス評価を批判する。 このギャップは、人間由来の構造、人-モデルの違い、評価コンテキストに関するミスマッチから生じることを示す。
• 参考スコア（独自算出の注目度）: 7.708670900212635
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Researchers increasingly use human-derived bias constructs to study Large Language Models (LLMs), including social-cognitive constructs such as implicit bias and stereotype activation, and cognitive biases such as anchoring, framing effects, and confirmation bias. Such approaches offer alternatives to overt bias probes, particularly when direct questioning may obscure bias or when model behaviour appears normatively acceptable. However, adapting human bias constructs to LLMs introduces an inferential gap. Psychological instruments were developed to study human cognition and social behaviour, whereas LLM evaluations rely on probabilities, text completions, rankings, or simulated decisions. This paper critiques human-centered bias evaluation in LLMs. We show how this gap arises from mismatches pertaining to human-derived constructs, human-model differences, and evaluation contexts, which can blur distinct interpretations of model bias. We then introduce a framework providing an analytical lens for relating these elements to warranted interpretations, with attention to target constructs, operationalizations, scope of inference, and limits of human analogy.
• Abstract（参考訳）: 研究者は大規模言語モデル(LLM)の研究に、暗黙のバイアスやステレオタイプアクティベーションのような社会的認知的構造、アンカーリング、フレーミング効果、確認バイアスなどの認知的バイアスなど、人間由来のバイアス構造をますます利用している。 このようなアプローチは、特に直接質問がバイアスを曖昧にしたり、モデル行動が規範的に許容される場合に、過度なバイアスプローブに代わる手段を提供する。 しかし、人間のバイアス構造をLSMに適応させると、推論ギャップが生じる。 心理学機器は人間の認知と社会的行動を研究するために開発されたが、LCMの評価は確率、テキストの完成、ランキング、シミュレートされた決定に依存する。 本稿では,LLMにおける人中心バイアス評価を批判する。 このギャップは、人由来の構造、人-モデルの違い、評価コンテキストに関するミスマッチから生じるものであり、モデルバイアスの異なる解釈を曖昧にすることができることを示す。 次に、これらの要素を保証された解釈に関連付けるための分析レンズを提供するフレームワークを導入する。

関連論文リスト

• Emulating Aggregate Human Choice Behavior and Biases with GPT Conversational Agents [0.48439699124726004]
  大規模言語モデル(LLM)は、よく知られたバイアスを再現することが示されている。 我々は,3つの確立された意思決定シナリオを会話環境に適応させ,人間の実験を行った。 人間の行動をどのように整合させるかという点において,モデル間に顕著な違いが認められた。
  論文  参考訳（メタデータ） (2026-02-05T12:33:05Z)
• Inference-Time Reasoning Selectively Reduces Implicit Social Bias in Large Language Models [0.0]
  大規模言語モデル(LLM)における推論可能な推論が暗黙のバイアスに与える影響について検討する。 提案手法により,15のステレオタイプを対象とするモデルクラスに対するIAT型評価における暗黙バイアスが有意に低減されることが判明した。 この研究は、認知科学と心理学の理論が、方法論的および解釈的なフレームワークを提供することで、AI評価研究を補完する方法について強調する。
  論文  参考訳（メタデータ） (2026-02-04T16:44:23Z)
• Evaluate Bias without Manual Test Sets: A Concept Representation Perspective for LLMs [25.62533031580287]
  大規模言語モデル(LLM)のバイアスは、その信頼性と公平性を著しく損なう。 モデルベクトル空間の構造に基づくテストセットのないバイアス分析フレームワークであるBiasLensを提案する。
  論文  参考訳（メタデータ） (2025-05-21T13:50:23Z)
• The African Woman is Rhythmic and Soulful: An Investigation of Implicit Biases in LLM Open-ended Text Generation [3.9945212716333063]
  大規模言語モデル(LLM)による決定に影響を与えるため、暗黙のバイアスは重要である。 伝統的に、明示的なバイアステストや埋め込みベースの手法はバイアスを検出するために使用されるが、これらのアプローチはより微妙で暗黙的なバイアスの形式を見落としることができる。 提案手法は, 暗黙の偏見を明らかにするために, 即発的, 意思決定的タスクによる2つの新しい心理学的手法を導入している。
  論文  参考訳（メタデータ） (2024-07-01T13:21:33Z)
• Cognitive Bias in Decision-Making with LLMs [19.87475562475802]
  大規模言語モデル(LLM)は、幅広い意思決定タスクをサポートするツールとして大きな可能性を秘めている。 LLMは保護されたグループに対する社会的バイアスを継承し、認知バイアスと機能的に類似している。 私たちの研究は、LLMの認知バイアスを発見し、評価し、緩和するために設計されたフレームワークであるBiasBusterを紹介します。
  論文  参考訳（メタデータ） (2024-02-25T02:35:56Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。