論文の概要: BiasCause: Evaluate Socially Biased Causal Reasoning of Large Language Models
- arxiv url: http://arxiv.org/abs/2504.07997v1
- Date: Tue, 08 Apr 2025 20:00:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-14 14:19:22.334144
- Title: BiasCause: Evaluate Socially Biased Causal Reasoning of Large Language Models
- Title（参考訳）: BiasCause: 大規模言語モデルの社会的バイアスによる因果推論の評価
- Authors: Tian Xie, Tongxin Yin, Vaishakh Keshava, Xueru Zhang, Siddhartha Reddy Jonnalagadda,
- Abstract要約: 大規模言語モデル(LLM)は、特定のセンシティブなグループに対する社会的バイアスを含むコンテンツを生成する。
本稿では, LLMの因果推論過程を評価するために, 社会的偏見を提起する質問に回答する。
- 参考スコア（独自算出の注目度）: 8.368810576899556
- License:
- Abstract: While large language models (LLMs) already play significant roles in society, research has shown that LLMs still generate content including social bias against certain sensitive groups. While existing benchmarks have effectively identified social biases in LLMs, a critical gap remains in our understanding of the underlying reasoning that leads to these biased outputs. This paper goes one step further to evaluate the causal reasoning process of LLMs when they answer questions eliciting social biases. We first propose a novel conceptual framework to classify the causal reasoning produced by LLMs. Next, we use LLMs to synthesize $1788$ questions covering $8$ sensitive attributes and manually validate them. The questions can test different kinds of causal reasoning by letting LLMs disclose their reasoning process with causal graphs. We then test 4 state-of-the-art LLMs. All models answer the majority of questions with biased causal reasoning, resulting in a total of $4135$ biased causal graphs. Meanwhile, we discover $3$ strategies for LLMs to avoid biased causal reasoning by analyzing the "bias-free" cases. Finally, we reveal that LLMs are also prone to "mistaken-biased" causal reasoning, where they first confuse correlation with causality to infer specific sensitive group names and then incorporate biased causal reasoning.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、すでに社会において重要な役割を担っているが、研究によると、LLMは特定のセンシティブなグループに対する社会的偏見を含むコンテンツを生成する。
既存のベンチマークでは、LLMの社会的偏見を効果的に特定しているが、これらの偏見のあるアウトプットにつながる根底にある推論の理解には、重大なギャップが残っている。
本稿では, LLMの因果推論過程を評価するために, 社会的偏見を提起する質問に回答する。
まず,LLMが生成する因果推論を分類する新しい概念的枠組みを提案する。
次に、LLMを使用して、機密性の高い属性をカバーする1788ドルの質問を合成し、それらを手作業で検証します。
これらの質問は、LLMが因果グラフで推論プロセスを公開することによって、様々な種類の因果推論をテストすることができる。
次に、4つの最先端LCMをテストします。
すべてのモデルは、バイアス付き因果推論でほとんどの質問に答え、結果として合計4,135ドルのバイアス付き因果グラフが得られる。
一方、我々は「バイアスフリー」ケースを分析して因果推論のバイアスを避けるために、LSMの3ドル戦略を発見した。
最後に、LLMは因果推論を「ミススタンスバイアス」しやすく、まず因果関係と相関関係を混乱させ、特定のセンシティブなグループ名を推測し、バイアス付き因果推論を組み込む。
関連論文リスト
- Critical-Questions-of-Thought: Steering LLM reasoning with Argumentative Querying [0.3659498819753633]
State-of-the-art Large Language Model (LLM) は論理的および数学的推論を行う際にも苦戦している。
本稿では、議論論に関する文献からの批判的質問の概念を利用し、特にトゥールミンの議論モデルに焦点を当てる。
これらの重要な質問を取り入れることで,LLMの推論能力が向上することを示す。
論文 参考訳（メタデータ） (2024-12-19T18:51:30Z) - Failure Modes of LLMs for Causal Reasoning on Narratives [51.19592551510628]
本研究では,大言語モデル(LLM)の因果推論能力について,物語から因果関係を推定する代表的な問題から検討する。
最新の言語モデルでさえ、物語の提示とパラメトリック知識の両方において、信頼できないショートカットに依存していることがわかった。
論文 参考訳（メタデータ） (2024-10-31T12:48:58Z) - Self-Preference Bias in LLM-as-a-Judge [13.880151307013321]
大規模言語モデル(LLM)における自己参照バイアスを測定するための新しい指標を提案する。
以上の結果から, GPT-4は自己選好バイアスがかなり高いことが示唆された。
このことは、偏見の本質は難易度にあることを示唆し、自己選好バイアスは LLM がより親しみやすいテキストを好むため存在することを示唆している。
論文 参考訳（メタデータ） (2024-10-29T07:42:18Z) - Not All LLM Reasoners Are Created Equal [58.236453890457476]
小学校数学におけるLLMの解答能力の深さについて検討する。
既存の数式語問題に対して,それらの性能を併用して評価する。
論文 参考訳（メタデータ） (2024-10-02T17:01:10Z) - Social Bias Evaluation for Large Language Models Requires Prompt Variations [38.91306092184724]
大規模言語モデル(LLM)は、かなりの社会的偏見を示す。
本稿では,高速変動変化におけるLDMの感度について検討する。
LLMは、そのプロンプトによって引き起こされる社会的偏見と性能のトレードオフがあることが示される。
論文 参考訳（メタデータ） (2024-07-03T14:12:04Z) - A Peek into Token Bias: Large Language Models Are Not Yet Genuine Reasoners [58.15511660018742]
本研究では,大規模言語モデル (LLM) が真の推論能力を持つかどうかを評価するための仮説検証フレームワークを提案する。
我々は,相補的な誤りとシロジカルな問題を特徴とする,注意深く制御された合成データセットを開発した。
論文 参考訳（メタデータ） (2024-06-16T19:22:53Z) - LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。
しかし、それらは自然言語に対して本当に「理性」があるのだろうか?
この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
論文 参考訳（メタデータ） (2024-04-23T21:08:49Z) - Prompting Fairness: Integrating Causality to Debias Large Language Models [19.76215433424235]
大規模言語モデル(LLM)は偏見や差別的な反応を生じさせる可能性がある。
社会的偏見に対処するための因果性誘導型脱バイアスフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-13T17:46:28Z) - CLadder: Assessing Causal Reasoning in Language Models [82.8719238178569]
我々は,大言語モデル (LLM) が因果関係をコヒーレントに説明できるかどうかを検討する。
ユデア・パールらによって仮定された「因果推論エンジン」にインスパイアされた、自然言語における因果推論という新たなNLPタスクを提案する。
論文 参考訳（メタデータ） (2023-12-07T15:12:12Z) - Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。
本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。
観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
論文 参考訳（メタデータ） (2023-11-15T00:02:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。