論文の概要: Through the LLM Looking Glass: A Socratic Self-Assessment of Donkeys, Elephants, and Markets

• arxiv url: http://arxiv.org/abs/2503.16674v1
• Date: Thu, 20 Mar 2025 19:40:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:57:23.514986
• Title: Through the LLM Looking Glass: A Socratic Self-Assessment of Donkeys, Elephants, and Markets
• Title（参考訳）: LLM Looking Glass:ドンキー、エレファント、市場のソクラテス的自己評価
• Authors: Molly Kennedy, Ayyoob Imani, Timo Spinde, Hinrich Schütze,
• Abstract要約: この研究は、外部解釈に頼るのではなく、モデルのバイアスを直接測定することを目的としている。 我々の結果は、あらゆるモデルで共和党の立場よりも民主党を一貫して好んでいることを示している。 偏見は西洋のLLMによって異なるが、中国で開発されたものは社会主義に強く依存している。
• 参考スコア（独自算出の注目度）: 42.55423041662188
• License:
• Abstract: While detecting and avoiding bias in LLM-generated text is becoming increasingly important, media bias often remains subtle and subjective, making it particularly difficult to identify and mitigate. In this study, we assess media bias in LLM-generated content and LLMs' ability to detect subtle ideological bias. We conduct this evaluation using two datasets, PoliGen and EconoLex, covering political and economic discourse, respectively. We evaluate eight widely used LLMs by prompting them to generate articles and analyze their ideological preferences via self-assessment. By using self-assessment, the study aims to directly measure the models' biases rather than relying on external interpretations, thereby minimizing subjective judgments about media bias. Our results reveal a consistent preference of Democratic over Republican positions across all models. Conversely, in economic topics, biases vary among Western LLMs, while those developed in China lean more strongly toward socialism.
• Abstract（参考訳）: LLM生成テキストにおけるバイアスの検出と回避がますます重要になっているが、メディアバイアスはしばしば微妙で主観的であり、特に識別と緩和が困難である。 本研究では, LLM生成コンテンツにおけるメディアバイアスと, LLMが微妙なイデオロギーバイアスを検出する能力について検討した。 この評価はPoliGenとEconoLexの2つのデータセットを用いて行われ、それぞれ政治と経済の議論をカバーしている。 論文作成と自己評価によるイデオロギー的嗜好の分析により,広く利用されている8つのLCMを評価した。 この研究は、自己評価を用いて、外部解釈に頼るのではなく、モデルのバイアスを直接測定し、メディアバイアスに関する主観的判断を最小化することを目的としている。 我々の結果は、あらゆるモデルで共和党の立場よりも民主党を一貫して好んでいることを示している。 逆に、経済の話題では、西洋のLLMには偏見があるが、中国で発展したものは社会主義に強く依存している。

関連論文リスト

• Unpacking Political Bias in Large Language Models: A Cross-Model Comparison on U.S. Politics [6.253258189994455]
  人間社会における普遍的な現象としての政治的偏見は、大規模言語モデルに移される可能性がある。 政治バイアスは、モデルスケールとリリース日とともに進化し、LLMの地域要因にも影響される。
  論文  参考訳（メタデータ） (2024-12-21T19:42:40Z)
• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Bias in the Mirror: Are LLMs opinions robust to their own adversarial attacks ? [22.0383367888756]
  大規模言語モデル(LLM)は、トレーニングデータとアライメントプロセスからバイアスを受け継ぎ、微妙な方法で応答に影響を与える。 LLMの2つのインスタンスが自己議論を行う新しいアプローチを導入し、反対の視点でモデルの中立バージョンを説得する。 我々は、モデルがどのようにしっかりとバイアスを保ち、誤った情報を強化するか、有害な視点に移行するかを評価する。
  論文  参考訳（メタデータ） (2024-10-17T13:06:02Z)
• Bias in LLMs as Annotators: The Effect of Party Cues on Labelling Decision by Large Language Models [0.0]
  我々は、Large Language Models (LLMs) において同様のバイアスをアノテーションとしてテストする。 人間とは違い、極端に左派や右派からの発言を誘発しても、LSMは顕著な偏見を呈する。
  論文  参考訳（メタデータ） (2024-08-28T16:05:20Z)
• Evaluating Implicit Bias in Large Language Models by Attacking From a Psychometric Perspective [66.34066553400108]
  我々は、ある人口層に対する大きな言語モデルの暗黙の偏見を厳格に評価する。 心理測定の原則にインスパイアされた我々は,3つの攻撃的アプローチ,すなわち,軽視,軽視,指導を提案する。 提案手法は,LLMの内部バイアスを競合ベースラインよりも効果的に引き出すことができる。
  論文  参考訳（メタデータ） (2024-06-20T06:42:08Z)
• Assessing Political Bias in Large Language Models [0.624709220163167]
  我々は、ドイツの有権者の視点から、欧州連合(EU)内の政治問題に関するオープンソースのLarge Language Models(LLMs)の政治的バイアスを評価する。 Llama3-70Bのような大型モデルは、左派政党とより緊密に連携する傾向にあるが、小さなモデルは中立であることが多い。
  論文  参考訳（メタデータ） (2024-05-17T15:30:18Z)
• Investigating Bias in LLM-Based Bias Detection: Disparities between LLMs and Human Perception [13.592532358127293]
  大規模言語モデル(LLM)におけるバイアスの存在と性質について検討する。 LLMが特に政治的バイアス予測やテキスト継続タスクにおいてバイアスを示すかどうかを調査する。 我々は,素早い工学とモデル微調整を含む脱バイアス戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-22T00:59:48Z)
• Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
  大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。 我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。 この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T04:02:24Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。