論文の概要: Effects of Answer Format Variation on Gender Bias in Large Language Models

• arxiv url: http://arxiv.org/abs/2608.17516v1
• Date: Tue, 18 Aug 2026 08:41:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.271722
• Title: Effects of Answer Format Variation on Gender Bias in Large Language Models
• Title（参考訳）: 大規模言語モデルのジェンダーバイアスに対する回答形式変化の影響
• Abstract要約: 回答形式の変化が、大きな言語モデルにおける性別バイアスの測定に与える影響について検討する。 回答形式は, 順位の逆転を含む, 測定結果を大きく変化させることがわかった。
• 参考スコア（独自算出の注目度）: 5.457386921498268
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gender bias or other social biases in large language models (LLMs) are frequently evaluated with question answering or survey benchmarks where the LLM needs to give a response in a predefined answer format. It is well known in survey science that the answer format has a substantial impact on answers, just as LLMs are sensitive to the prompt wording. However, to our knowledge it has not been studied yet how changes in answer format impact the measurement of gender bias in LLMs and their alignment with human response distributions. We evaluate three instruction-tuned models on the BBQ benchmark and OpinionQA survey data across closed-ended, Likert-scaled and open-ended formats, comparing bias measurement and distributional alignment under otherwise identical conditions. We find that answer format does substantially alter measured outcomes, including reversals in order rankings. These differences arise because each format elicits distinct response behaviours, such as forced-choice selection, scale-based distributions and refusal in free-text generation. Our findings highlight the importance of treating answer format as a substantive component of LLM evaluation and motivate multi-format designs for more robust model assessment.
• Abstract（参考訳）: 大規模言語モデル(LLM)における性バイアスやその他の社会的バイアスは、LLMが事前に定義された回答形式で回答をする必要がある場合の質問応答や調査ベンチマークによって頻繁に評価される。 LLMが素早い文言に敏感であるように、回答形式が回答に重大な影響を与えることは、サーベイサイエンスでよく知られている。 しかし、我々の知る限り、回答形式の変化がLDMの性別バイアスの測定と人間の反応分布との整合性にどのように影響するかは、まだ研究されていない。 BBQベンチマークとオピニオンQAサーベイデータを用いた3つの命令調整モデルの評価を行い,他の条件下でのバイアス測定と分布アライメントを比較した。 回答形式は, 順位の逆転を含む, 測定結果を大きく変化させることがわかった。 これらの違いは、各フォーマットが、強制選択、スケールベース分布、自由テキスト生成の拒絶など、異なる応答行動を引き起こすために生じる。 本研究は,LLM評価の実体的要素として回答形式を扱うことの重要性を強調し,より堅牢なモデル評価のためのマルチフォーマット設計を動機付けるものである。

関連論文リスト

• A Consensus-Based Framework for Relative Preference Evaluation of Large Language Models [0.0]
  本稿では,絶対的正当性ではなく,モデル生成応答間の相対的嗜好を測定する,コンセンサスに基づく評価フレームワークを提案する。 我々は、プログラミング、一般知識、安全性、論理的推論、数学を含む、複数の領域にわたる最先端のLLMを用いて、制御された研究を行う。 スコアはリレーショナルインテリジェンス指数(RII)に集約され、モデルの反応が他のモデルでどれだけ頻繁に好まれるかを表す。
  論文  参考訳（メタデータ） (2026-07-19T08:59:19Z)
• Prompt Robustness Is Task-Dependent: Comparing Objective and Belief-Style Questions in LLM Evaluation [1.7613484075466104]
  我々は,主観的質問と主観的質問との間に,素早い頑健さが相違するかどうかを問う。 3つの目的データセットと3つの主観的データセットから4つの命令調整モデルファミリを評価する。 二項一般化推定方程式を用いて、モデル、データセット、プロンプトカテゴリ、およびそれらの相互作用の有意な影響を見出す。
  論文  参考訳（メタデータ） (2026-07-06T18:47:47Z)
• Not What, But How: A Framework for Auditing LLM Responses across Positioning, Generalization, Anthromorphism, and Maxims [54.31707479192195]
  大規模言語モデル(LLM)は、主観的、情報探索的な疑問に答えるためにますます使われている。 既存の主観的文化的クエリの評価は、応答のフレーム化を無視して、事実の正しさに重点を置いている。 FRANZ(FRAmework for respoNse characteriZation)を導入し、4次元のLLM応答のコミュニケーション監査を行う。
  論文  参考訳（メタデータ） (2026-06-01T17:01:31Z)
• On the Credibility of Evaluating LLMs using Survey Questions [0.42061757959666934]
  近年,大規模言語モデル(LLM)の価値指向を適応型社会調査を用いて評価している。 本稿では, 正確な設定に依存して, 値配向の類似性を過小評価し, 過度に見積もることの限界を明らかにする。 5か国3ヶ国における世界価値調査(World Value Survey)を用いて、直接対思考の連鎖(direct vs. chain-of-thinkt)と復号戦略(greedy vs. sample)が結果に有意な影響を及ぼすことを示した。
  論文  参考訳（メタデータ） (2026-02-03T21:45:43Z)
• Prompt Perturbations Reveal Human-Like Biases in Large Language Model Survey Responses [2.3112192919085826]
  大規模言語モデル (LLMs) は、社会科学調査において、人間の被験者のプロキシとしてますます使われている。 既知のヒトのような反応バイアスに対する信頼性と感受性は理解されていない。 本研究は, 標準調査文脈におけるLCMの応答ロバスト性について検討する。
  論文  参考訳（メタデータ） (2025-07-09T18:01:50Z)
• Do LLMs have a Gender (Entropy) Bias? [3.2225437367979763]
  我々は,LLMが生み出す情報の量と,ユーザが質問した実際の質問に対する相違点として,エントロピーバイアスを定義し,研究する。 分析の結果,男女のLDM反応に有意な偏りは認められなかったことが示唆された。 2つの性別の反応を反復的にマージして最終的な結果を得る単純な偏りのアプローチを提案する。
  論文  参考訳（メタデータ） (2025-05-24T23:06:41Z)
• Right Answer, Wrong Score: Uncovering the Inconsistencies of LLM Evaluation in Multiple-Choice Question Answering [78.89231943329885]
  大規模言語モデル(LLM)の評価には,MCQA(Multiple-Choice Question Answering)が広く用いられている。 報告されたLCMの性能には,複数の要因が大きな影響を及ぼす可能性が示唆された。 既存の回答抽出手法が人間の判断と一致しているかどうかを解析する。
  論文  参考訳（メタデータ） (2025-03-19T08:45:03Z)
• LLMs Are Biased Towards Output Formats! Systematically Evaluating and Mitigating Output Format Bias of LLMs [69.40865293066885]
  本稿では,大規模言語モデル(LLM)の性能評価において,形式バイアスを考慮した最初の体系的評価を提案する。 本稿では,複数の質問回答,ラッピング,リスト,マッピングの4つのカテゴリにまたがる経験的形式バイアス評価について述べる。
  論文  参考訳（メタデータ） (2024-08-16T10:45:45Z)
• From Distributional to Overton Pluralism: Investigating Large Language Model Alignment [82.99849359892112]
  適応後の応答多様性の低下を以前報告した再検査を行った。 分析の結果,応答の多様性の明らかな低下は,品質管理と情報集約によって大きく説明できることがわかった。 発見は、現在のアライメント技術はキャプチャーされるが、アシスタントライクなベースLLM動作の有用なサブセットを拡張するものではないことを示している。
  論文  参考訳（メタデータ） (2024-06-25T16:32:33Z)
• Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
  我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。 強制されない場合、モデルが実質的に異なる答えを与えることを示す。 我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
  論文  参考訳（メタデータ） (2024-02-26T18:00:49Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。