論文の概要: Rethinking LLM Bias Probing Using Lessons from the Social Sciences

• arxiv url: http://arxiv.org/abs/2503.00093v1
• Date: Fri, 28 Feb 2025 16:53:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 18:50:37.211224
• Title: Rethinking LLM Bias Probing Using Lessons from the Social Sciences
• Title（参考訳）: 社会科学の教訓を用いたLCMバイアス探索の再考
• Authors: Kirsten N. Morehouse, Siddharth Swaroop, Weiwei Pan,
• Abstract要約: EcoLevelsは、(a)適切なバイアスプローブの決定、(b)プローブ間の競合する発見の調整、(c)バイアス一般化に関する予測を生成するフレームワークである。 全体として、LLMプローブは人間のプローブの直接的な応用であるため、社会科学研究において分析を基礎としており、これらの分野は人間の社会バイアスを研究する際にも同様の課題に直面している。
• 参考スコア（独自算出の注目度）: 6.791335362991619
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The proliferation of LLM bias probes introduces three significant challenges: (1) we lack principled criteria for choosing appropriate probes, (2) we lack a system for reconciling conflicting results across probes, and (3) we lack formal frameworks for reasoning about when (and why) probe results will generalize to real user behavior. We address these challenges by systematizing LLM social bias probing using actionable insights from social sciences. We then introduce EcoLevels - a framework that helps (a) determine appropriate bias probes, (b) reconcile conflicting findings across probes, and (c) generate predictions about bias generalization. Overall, we ground our analysis in social science research because many LLM probes are direct applications of human probes, and these fields have faced similar challenges when studying social bias in humans. Based on our work, we suggest how the next generation of LLM bias probing can (and should) benefit from decades of social science research.
• Abstract（参考訳）: LLMバイアスプローブの普及は,(1)適切なプローブを選択するための原則的基準の欠如,(2)プローブ間での競合する結果の整合性の欠如,(3)プローブ結果がいつ(そしてなぜ)実際のユーザの行動に一般化されるのかを推論するための公式な枠組みの欠如,という3つの大きな課題をもたらす。 社会科学からの実用的な洞察を用いて, LLM の社会的バイアス探索を体系化することで, これらの課題に対処する。 次に、EcoLevelsというフレームワークを紹介します。 a)適切なバイアスプローブを決定する ロ 調査員間で相反する結果の調整及び (c)バイアス一般化に関する予測を生成する。 全体として、LLMプローブは人間のプローブの直接的な応用であるため、社会科学研究において分析を基礎としており、これらの分野は人間の社会バイアスを研究する際にも同様の課題に直面している。 我々の研究に基づいて、次世代のLLMバイアス探索が何十年にもわたる社会科学研究の恩恵を享受できる(そしてすべき)かを提案する。

関連論文リスト

• Evaluating the Bias in LLMs for Surveying Opinion and Decision Making in Healthcare [7.075750841525739]
  大きな言語モデル(LLM)によって駆動されるシリコの人間の振る舞いをシミュレートするために、生成剤がますます使われてきた 本研究は、医療意思決定に関する理解アメリカ研究(UAS)の調査データと、生成エージェントからのシミュレーション応答を比較した。 人口統計に基づくプロンプトエンジニアリングを用いて、調査回答者のデジタルツインを作成し、異なるLLMが現実世界の振る舞いをいかにうまく再現するかを分析する。
  論文  参考訳（メタデータ） (2025-04-11T05:11:40Z)
• Implicit Bias in LLMs: A Survey [2.07180164747172]
  本稿では,大規模言語モデルにおける暗黙バイアスに関する既存の文献を包括的にレビューする。 まず、心理学における暗黙の偏見に関連する重要な概念、理論、方法を紹介する。 検出方法は,単語関連,タスク指向テキスト生成,意思決定の3つの主要なアプローチに分類する。
  論文  参考訳（メタデータ） (2025-03-04T16:49:37Z)
• Specializing Large Language Models to Simulate Survey Response Distributions for Global Populations [49.908708778200115]
  我々は,調査応答分布をシミュレートする大規模言語モデル (LLM) を最初に開発した。 テストベッドとして、我々は2つの世界文化調査の国レベルの結果を使用します。 予測された応答分布と実際の応答分布のばらつきを最小限に抑えるために, ファースト・ツーケン確率に基づく微調整法を提案する。
  論文  参考訳（メタデータ） (2025-02-10T21:59:27Z)
• Towards Implicit Bias Detection and Mitigation in Multi-Agent LLM Interactions [25.809599403713506]
  大規模言語モデル(LLM)は、社会をシミュレートし、多様な社会的タスクを実行するために、多くの研究で採用されている。 LLMは、人為的なデータに曝されるため、社会的偏見に影響を受けやすい。 本研究では,多エージェントLDM相互作用における性バイアスの存在について検討し,これらのバイアスを軽減するための2つの方法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T15:28:05Z)
• United in Diversity? Contextual Biases in LLM-Based Predictions of the 2024 European Parliament Elections [42.72938925647165]
  大規模言語モデル(LLM)に基づく「合成サンプル」は、人間の調査の効率的な代替手段として有効であると議論されている。 合成サンプル」は、訓練データや微調整プロセスが多様な文脈を表わさないため偏見を呈する可能性がある。 本研究は, LLM生成合成試料を公衆の意見予測に利用できるか, どのような条件で利用できるかを検討する。
  論文  参考訳（メタデータ） (2024-08-29T16:01:06Z)
• Large Language Models Show Human-like Social Desirability Biases in Survey Responses [12.767606361552684]
  人格評価が推定された場合,Large Language Models (LLMs) が特徴次元の望ましい端に向かってスコアを歪めていることを示す。 このバイアスは、GPT-4/3.5、Claude 3、Llama 3、PaLM-2を含む全ての試験モデルに存在する。 すべての質問のリバースコーディングはバイアスレベルを低下させるが、それらを取り除くことはできず、この効果はアクセプションバイアスによるものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-05-09T19:02:53Z)
• Generative Echo Chamber? Effects of LLM-Powered Search Systems on Diverse Information Seeking [49.02867094432589]
  大規模言語モデル(LLM)を利用した対話型検索システムは、すでに数億人の人々が利用している。 評価バイアスのあるLCMが, ユーザの視点を補強したり, 異議を申し立てたりすることで, 効果が変化するか, どのように変化するかを検討する。
  論文  参考訳（メタデータ） (2024-02-08T18:14:33Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Can ChatGPT Assess Human Personalities? A General Evaluation Framework [70.90142717649785]
  大きな言語モデル(LLM)は、様々な分野で印象的な成果を上げてきたが、その潜在的な人間のような心理学はいまだに研究されていない。 本稿では,Mers Briggs Type Indicator (MBTI) テストに基づく人格評価のための総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-01T06:16:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。