論文の概要: Invisibilization as a Source of Probability Bias in Language Models

• arxiv url: http://arxiv.org/abs/2610.30785v1
• Date: Thu, 22 Oct 2026 06:03:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.231088
• Title: Invisibilization as a Source of Probability Bias in Language Models
• Title（参考訳）: 言語モデルにおける確率バイアスの源泉としての可視化
• Abstract要約: ベイズ解答を正確に行う2日制ゲームにおいて,情報量減少のコストを計測する。 先導的なモデルでは、証拠ではなく、説明によって設定されたレートで情報を無価値に扱うことで、レポーターを評価するためにしばしば減少することを示す。 最も広い範囲では、黒字の記者が46%、白字の記者が9%減少している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models are aligned to avoid using protected attributes such as race, ethnicity, and gender to inform their responses. Therefore, they increasingly refuse or hedge when such attributes appear in a prompt. However, if a system must decide how much to learn from what people tell it, it is costly to refuse valuable information because of its source. In this article, we measure the cost of declining information in a two-urn game with an exact Bayesian answer. We present leading LLM models from two developers (OpenAI and Anthropic) with a prompt that requires them to decide how far to trust an unverifiable report from a participant whose description we randomize across ten configurations (6,600 sessions). We show that leading models often decline to assess the reporter, treating information as worthless at rates set by the description rather than by the evidence. At its widest, models decline a Black-described reporter 46% of the time and a white-described reporter 9%; yet, when they do assess the information, the Black-described reporter receives slightly more trust. The bias is invisible to audits that compare average trust or look only at assessed cases. It grows with reasoning effort, follows words rather than categories (models invoke race for "Black" but not for its Spanish translation negro, and never for "Indigenous"), and worsens under warning instructions a practitioner would try first. We also present a scoring option that reduces the refusal rate bias. When a model's trust is scored against revealed truth over repeated rounds, it credits identical records equally. In four of five configurations from Anthropic and OpenAI, the racial gap in trust falls below 0.02 by the last rounds.
• Abstract（参考訳）: 言語モデルは、人種、民族、性別などの保護された属性を使用して反応を知らせることを避けるように調整されている。 そのため、このような属性がプロンプトに現れると、次第に拒否されるか、ヘッジされる。 しかし、もしシステムが、人々が話すことからどのくらい学ぶべきかを判断しなければならないなら、その情報源のため、貴重な情報を拒絶するのはコストがかかる。 本稿では,ベイズ回答の正確な2日制ゲームにおいて,情報量減少のコストを計測する。 2人の開発者 (OpenAI と Anthropic) からリードする LLM モデルを提示し,10 つの構成 (6,600 セッション) にまたがって記述をランダム化する参加者から,検証不可能なレポートをどの程度信頼するかを決定するプロンプトを提示する。 先導的なモデルでは、証拠ではなく、説明によって設定されたレートで情報を無価値に扱うことで、レポーターを評価するためにしばしば減少することを示す。 最も広い範囲では、黒字の記者が46%、白字の記者が9%減少している。 このバイアスは、平均的な信頼を比較する監査や、評価されたケースのみを見る監査には見えない。 推論の努力によって成長し、カテゴリーではなく言葉に従う(モデルは「黒」を呼ぶが、スペイン語訳の黒人を呼ぶのではなく、「先住民」を呼ぶことはない)。 また、拒絶率バイアスを低減するスコアリングオプションも提示する。 モデルの信頼が繰り返しのラウンドで明らかに真実に対してスコア付けされた場合、同じ記録を平等に記録する。 AnthropicとOpenAIの5つの構成のうち、信頼の人種的ギャップは、前回のラウンドで0.02未満になる。

関連論文リスト

• Easy to Catch a Liar, Hard to Clear an Honest One: Language Models Diagnosing a Corrupted Reward Channel from a Verified Record [0.0]
  我々は、そのデータを正確に手渡した凍結した言語モデルがそれを使用するかどうかを尋ねる。 ペイアウトスワップと嘘つきのレポーターがバイテ・アイデンティティ・ヒストリーを制作する2つのオプションゲームを構築した。 2つの家族から3つの大きなモデルに1つの質問に1つの手紙で答えるように求めます。
  論文  参考訳（メタデータ） (2026-09-15T14:10:20Z)
• Guardrail-Agnostic Societal Bias Evaluation in Large Vision-Language Models [46.12812175336961]
  大規模視覚言語モデル(LVLM)のための社会的バイアス評価手法を提案する。 本手法はガードレール付きLVLMであっても拒絶を回避し,信頼性の高いバイアス測定を可能にする。 最新の20のLVLMに適用すると、すべてのモデルが、人間に関係のないタスクにおいて、ユーザー人口統計情報を好ましくは使わないことが分かる。
  論文  参考訳（メタデータ） (2026-08-30T06:22:16Z)
• Scale Can't Overcome Pragmatics: The Impact of Reporting Bias on Vision-Language Reasoning [79.95774256444956]
  ビジョンランゲージモデルにおける推論能力の欠如は研究談話の最前線に留まっている。 実用理論のレンズを用いて, 一般的なVLMのOpenCLIP, LLaVA-1.5, Molmoの基盤となるデータについて検討した。
  論文  参考訳（メタデータ） (2026-02-26T18:54:06Z)
• Surface Fairness, Deep Bias: A Comparative Study of Bias in Language Models [45.41676783204022]
  大規模言語モデル(LLM)におけるバイアスの様々なプロキシ尺度について検討する。 MMLU (Multi-subject benchmark) を用いた人格評価モデルでは, スコアの無作為かつ大半がランダムな差が生じることがわかった。 LLMアシスタントメモリとパーソナライゼーションの最近の傾向により、これらの問題は異なる角度から開かれている。
  論文  参考訳（メタデータ） (2025-06-12T08:47:40Z)
• Where Fact Ends and Fairness Begins: Redefining AI Bias Evaluation through Cognitive Biases [77.3489598315447]
  事実と公正の境界を識別することは有意義な公正性評価に不可欠である,と我々は主張する。 Fact-or-Fair は (i) 客観的なクエリを記述的, 事実に基づく判断, (ii) 主観的クエリを規範的, 公平性に基づく判断に整合させたベンチマークである。
  論文  参考訳（メタデータ） (2025-02-09T10:54:11Z)
• What's in a Name? Auditing Large Language Models for Race and Gender Bias [45.1187517058961]
  我々は、GPT-4を含む最先端の大規模言語モデルのバイアスを調査するために監査設計を採用する。 このアドバイスは、一般的に人種的マイノリティや女性に結びついている名前に系統的に不利であることがわかった。
  論文  参考訳（メタデータ） (2024-02-21T18:25:25Z)
• What Do Llamas Really Think? Revealing Preference Biases in Language Model Representations [62.91799637259657]
  大規模言語モデル(LLMs)は、応答を辞退しても、社会的な偏見を示すか? 本研究は,文脈的埋め込みを探索し,このバイアスが潜在表現にエンコードされているかどうかを探索することによって検討する。 単語の隠れベクトルからLLMの単語ペア選好を予測するロジスティックなBradley-Terryプローブを提案する。
  論文  参考訳（メタデータ） (2023-11-30T18:53:13Z)
• "I'm sorry to hear that": Finding New Biases in Language Models with a Holistic Descriptor Dataset [12.000335510088648]
  新しい包括的バイアス測定データセットであるHollisticBiasを紹介します。 HolisticBiasは、これらの用語の生きた経験を持つ専門家やコミュニティメンバーを含む参加的なプロセスで組み立てられた。 我々は,HolisticBiasが,言語モデルからトークンの確率において,検出不能なバイアスを測定するのに有効であることを実証した。
  論文  参考訳（メタデータ） (2022-05-18T20:37:25Z)
• The World of an Octopus: How Reporting Bias Influences a Language Model's Perception of Color [73.70233477125781]
  報告バイアスがテキストのみのトレーニングに悪影響を及ぼし、本質的に制限されていることを示す。 次に、マルチモーダルモデルが視覚的トレーニングを利用してこれらの効果を緩和できることを実証する。
  論文  参考訳（メタデータ） (2021-10-15T16:28:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。