論文の概要: Are LLMs (Really) Ideological? An IRT-based Analysis and Alignment Tool for Perceived Socio-Economic Bias in LLMs

• arxiv url: http://arxiv.org/abs/2503.13149v1
• Date: Mon, 17 Mar 2025 13:20:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 16:00:58.407123
• Title: Are LLMs (Really) Ideological? An IRT-based Analysis and Alignment Tool for Perceived Socio-Economic Bias in LLMs
• Title（参考訳）: LLMはイデオロギー的か? LLMにおける社会経済的バイアスを知覚するためのIRTベースの分析・アライメントツール
• Authors: Jasmin Wachter, Michael Radloff, Maja Smolej, Katharina Kinder-Kurlanda,
• Abstract要約: 大規模言語モデル(LLM)における社会経済的バイアスを検知・定量化するための項目応答理論(IRT)に基づくフレームワークを提案する。 IRTは項目の難易度を考慮し、イデオロギー的バイアス推定を改善する。 この実証的に検証されたフレームワークは、AIアライメントの研究を強化し、より公平なAIガバナンスを促進する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We introduce an Item Response Theory (IRT)-based framework to detect and quantify socioeconomic bias in large language models (LLMs) without relying on subjective human judgments. Unlike traditional methods, IRT accounts for item difficulty, improving ideological bias estimation. We fine-tune two LLM families (Meta-LLaMa 3.2-1B-Instruct and Chat- GPT 3.5) to represent distinct ideological positions and introduce a two-stage approach: (1) modeling response avoidance and (2) estimating perceived bias in answered responses. Our results show that off-the-shelf LLMs often avoid ideological engagement rather than exhibit bias, challenging prior claims of partisanship. This empirically validated framework enhances AI alignment research and promotes fairer AI governance.
• Abstract（参考訳）: 本研究では,大規模言語モデル(LLM)における社会経済的バイアスを主観的人間の判断に頼らずに検出・定量化するための項目応答理論(IRT)に基づくフレームワークを提案する。 従来の方法とは異なり、IRTはアイテムの難易度を考慮し、イデオロギー的バイアス推定を改善する。 我々は,2つのLDMファミリー(Meta-LLaMa 3.2-1B-InstructとChat-GPT 3.5)を微調整し,異なるイデオロギー的位置を表す。 以上の結果から,既成のLCMは,偏見よりもイデオロギー的関与を回避し,党派主義の主張に異議を唱えることが多いことが示唆された。 この実証的に検証されたフレームワークは、AIアライメントの研究を強化し、より公平なAIガバナンスを促進する。

関連論文リスト

• What Makes In-context Learning Effective for Mathematical Reasoning: A Theoretical Analysis [81.15503859645149]
  本稿では,大規模言語モデルの推論性能に及ぼす文脈内実演の影響を理論的に解析することを目的とする。 本稿では, LMS3 という, 単純で一般化可能な, 低複雑さな実演選択法を提案する。
  論文  参考訳（メタデータ） (2024-12-11T11:38:11Z)
• Bias in Large Language Models: Origin, Evaluation, and Mitigation [4.606140332500086]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、バイアスへの感受性は大きな課題となっている。 本総説では, LLMの発端から現在の緩和戦略まで, バイアスの背景を概観する。 偏りのあるLLMの倫理的および法的含意について論じ、医療や刑事司法のような現実の応用における潜在的な害を強調した。
  論文  参考訳（メタデータ） (2024-11-16T23:54:53Z)
• Gender Bias of LLM in Economics: An Existentialism Perspective [1.024113475677323]
  本稿では,大言語モデル(LLM)における性別バイアスについて検討する。 LLMは、明示的なジェンダーマーカーなしでもジェンダーステレオタイプを補強する。 LLMのバイアスは意図しない欠陥ではなく、合理的な処理の体系的な結果であると主張する。
  論文  参考訳（メタデータ） (2024-10-14T01:42:01Z)
• A Multi-LLM Debiasing Framework [85.17156744155915]
  大規模言語モデル(LLM)は、社会に多大な利益をもたらす可能性がある強力なツールであるが、社会的不平等を持続するバイアスを示す。 近年,マルチLLM手法への関心が高まっており,推論の質向上に有効であることが示されている。 LLMのバイアス低減を目的としたマルチLLMデバイアスフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-20T20:24:50Z)
• The African Woman is Rhythmic and Soulful: An Investigation of Implicit Biases in LLM Open-ended Text Generation [3.9945212716333063]
  大規模言語モデル(LLM)による決定に影響を与えるため、暗黙のバイアスは重要である。 伝統的に、明示的なバイアステストや埋め込みベースの手法はバイアスを検出するために使用されるが、これらのアプローチはより微妙で暗黙的なバイアスの形式を見落としることができる。 提案手法は, 暗黙の偏見を明らかにするために, 即発的, 意思決定的タスクによる2つの新しい心理学的手法を導入している。
  論文  参考訳（メタデータ） (2024-07-01T13:21:33Z)
• Evaluating Implicit Bias in Large Language Models by Attacking From a Psychometric Perspective [66.34066553400108]
  我々は、ある人口層に対する大きな言語モデルの暗黙の偏見を厳格に評価する。 心理測定の原則にインスパイアされた我々は,3つの攻撃的アプローチ,すなわち,軽視,軽視,指導を提案する。 提案手法は,LLMの内部バイアスを競合ベースラインよりも効果的に引き出すことができる。
  論文  参考訳（メタデータ） (2024-06-20T06:42:08Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Prompting Fairness: Integrating Causality to Debias Large Language Models [19.76215433424235]
  大規模言語モデル(LLM)は偏見や差別的な反応を生じさせる可能性がある。 社会的偏見に対処するための因果性誘導型脱バイアスフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-13T17:46:28Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。