論文の概要: Decoding the Mind of Large Language Models: A Quantitative Evaluation of Ideology and Biases

• arxiv url: http://arxiv.org/abs/2505.12183v1
• Date: Sun, 18 May 2025 00:52:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.07765
• Title: Decoding the Mind of Large Language Models: A Quantitative Evaluation of Ideology and Biases
• Title（参考訳）: 大規模言語モデルの心をデコードする:イデオロギーとバイアスの定量的評価
• Authors: Manari Hirose, Masato Uchida,
• Abstract要約: 大規模言語モデル(LLM)を評価するための新しいフレームワークを提案する。 このフレームワークをChatGPTとGeminiに適用することにより、LLMは一般的に多くのトピックについて一貫した意見を保っているが、そのイデオロギーはモデルや言語によって異なることがわかった。 どちらのモデルも問題のある偏見、非倫理的または不公平な主張を示しており、社会に悪影響を及ぼす可能性がある。
• 参考スコア（独自算出の注目度）: 0.276240219662896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The widespread integration of Large Language Models (LLMs) across various sectors has highlighted the need for empirical research to understand their biases, thought patterns, and societal implications to ensure ethical and effective use. In this study, we propose a novel framework for evaluating LLMs, focusing on uncovering their ideological biases through a quantitative analysis of 436 binary-choice questions, many of which have no definitive answer. By applying our framework to ChatGPT and Gemini, findings revealed that while LLMs generally maintain consistent opinions on many topics, their ideologies differ across models and languages. Notably, ChatGPT exhibits a tendency to change their opinion to match the questioner's opinion. Both models also exhibited problematic biases, unethical or unfair claims, which might have negative societal impacts. These results underscore the importance of addressing both ideological and ethical considerations when evaluating LLMs. The proposed framework offers a flexible, quantitative method for assessing LLM behavior, providing valuable insights for the development of more socially aligned AI systems.
• Abstract（参考訳）: 様々な分野にわたる大規模言語モデル(LLM)の広範な統合は、倫理的かつ効果的な使用を保証するために、彼らのバイアス、思考パターン、社会的意味を理解するための実証的研究の必要性を強調している。 本研究では, LLM 評価のための新しい枠組みを提案し, 436 の2進選択質問を定量的に分析することで, そのイデオロギー的バイアスを明らかにすることに焦点を当てた。 このフレームワークをChatGPTとGeminiに適用することにより、LLMは一般的に多くのトピックについて一貫した意見を保っているが、そのイデオロギーはモデルや言語によって異なることがわかった。 特にChatGPTは、質問者の意見に合うように意見を変える傾向がある。 どちらのモデルも問題のある偏見、非倫理的または不公平な主張を示しており、社会に悪影響を及ぼす可能性がある。 これらの結果は、LCMの評価において、イデオロギーと倫理的考察の両方に対処することの重要性を浮き彫りにした。 提案したフレームワークは、LLMの振る舞いを評価するための柔軟で定量的な方法を提供し、より社会的に整合したAIシステムの開発に有用な洞察を提供する。

関連論文リスト

• Are LLMs (Really) Ideological? An IRT-based Analysis and Alignment Tool for Perceived Socio-Economic Bias in LLMs [0.0]
  大規模言語モデル(LLM)における社会経済的バイアスを検知・定量化するための項目応答理論(IRT)に基づくフレームワークを提案する。 IRTは項目の難易度を考慮し、イデオロギー的バイアス推定を改善する。 この実証的に検証されたフレームワークは、AIアライメントの研究を強化し、より公平なAIガバナンスを促進する。
  論文  参考訳（メタデータ） (2025-03-17T13:20:09Z)
• Normative Evaluation of Large Language Models with Everyday Moral Dilemmas [0.0]
  Reddit 上の "Am I the Asshole" (AITA) コミュニティから得られた複雑で日常的な道徳的ジレンマに基づいて,大規模言語モデル (LLM) を評価する。 以上の結果から,AITAサブレディットにおける人的評価とは大きく異なる,大きな言語モデルでは道徳的判断のパターンが異なることが示唆された。
  論文  参考訳（メタデータ） (2025-01-30T01:29:46Z)
• Bias in Large Language Models: Origin, Evaluation, and Mitigation [4.606140332500086]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、バイアスへの感受性は大きな課題となっている。 本総説では, LLMの発端から現在の緩和戦略まで, バイアスの背景を概観する。 偏りのあるLLMの倫理的および法的含意について論じ、医療や刑事司法のような現実の応用における潜在的な害を強調した。
  論文  参考訳（メタデータ） (2024-11-16T23:54:53Z)
• Language Model Alignment in Multilingual Trolley Problems [138.5684081822807]
  Moral Machine 実験に基づいて,MultiTP と呼ばれる100以上の言語でモラルジレンマヴィグネットの言語間コーパスを開発する。 分析では、19の異なるLLMと人間の判断を一致させ、6つのモラル次元をまたいだ嗜好を捉えた。 我々は、AIシステムにおける一様道徳的推論の仮定に挑戦し、言語間のアライメントの顕著なばらつきを発見した。
  論文  参考訳（メタデータ） (2024-07-02T14:02:53Z)
• Categorical Syllogisms Revisited: A Review of the Logical Reasoning Abilities of LLMs for Analyzing Categorical Syllogism [62.571419297164645]
  本稿では,分類的シロジズムを解析するための大規模言語モデルの論理的推論能力に関する先行研究を体系的に概説する。 まず、純粋に論理的な観点から分類的シロジズムの可能なバリエーションについて検討する。 次に、既存のデータセットでテストされた基本的な設定(ムードとフィギュア)を調べます。
  論文  参考訳（メタデータ） (2024-06-26T21:17:20Z)
• MoralBench: Moral Evaluation of LLMs [34.43699121838648]
  本稿では,大規模言語モデル(LLM)の道徳的推論能力の測定と比較を目的とした新しいベンチマークを提案する。 LLMの出力の道徳的次元を探索するために特別に計算された最初の包括的データセットを示す。 本手法は, 定量的分析と倫理学者の質的洞察を組み合わせることで, モデル性能の徹底的な評価を確実にする多面的手法である。
  論文  参考訳（メタデータ） (2024-06-06T18:15:01Z)
• MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation [60.65820977963331]
  大規模言語モデル(LLM)のための新しい評価パラダイムを導入する。 このパラダイムは、しばしば推論プロセスを無視する結果指向の評価から、より包括的な評価へと重点を移す。 GSM8Kデータセットにこのパラダイムを適用し,MR-GSM8Kベンチマークを開発した。
  論文  参考訳（メタデータ） (2023-12-28T15:49:43Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Post Turing: Mapping the landscape of LLM Evaluation [22.517544562890663]
  本稿では,アラン・チューリングによる基礎的疑問からAI研究の現代まで,大規模言語モデル (LLM) 評価の歴史的軌跡を追究する。 これらのモデルのより広範な社会的意味を考慮し、統一的な評価システムの必要性を強調した。 この作業は、AIコミュニティがLLM評価の課題に協力して対処し、信頼性、公正性、社会的な利益を保証するために役立ちます。
  論文  参考訳（メタデータ） (2023-11-03T17:24:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。