論文の概要: When Neutral Summaries are not that Neutral: Quantifying Political Neutrality in LLM-Generated News Summaries
- arxiv url: http://arxiv.org/abs/2410.09978v1
- Date: Sun, 13 Oct 2024 19:44:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 03:53:37.595736
- Title: When Neutral Summaries are not that Neutral: Quantifying Political Neutrality in LLM-Generated News Summaries
- Title（参考訳）: ニュートラル・サマリーがニュートラルでないとき--LLM生成ニューズ・サマリーにおける政治中立性の定量化
- Authors: Supriti Vijay, Aman Priyanshu, Ashique R. KhudaBukhsh,
- Abstract要約: 本研究では, LLMの政治的中立性を定量化するための新たな視点を示す。
我々は、中絶、銃規制/権利、医療、移民、LGBTQ+の権利という、現在のアメリカの政治における5つの迫る問題について検討する。
我々の研究は、いくつかのよく知られたLLMにおいて、民主的偏見に対する一貫した傾向を明らかにした。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In an era where societal narratives are increasingly shaped by algorithmic curation, investigating the political neutrality of LLMs is an important research question. This study presents a fresh perspective on quantifying the political neutrality of LLMs through the lens of abstractive text summarization of polarizing news articles. We consider five pressing issues in current US politics: abortion, gun control/rights, healthcare, immigration, and LGBTQ+ rights. Via a substantial corpus of 20,344 news articles, our study reveals a consistent trend towards pro-Democratic biases in several well-known LLMs, with gun control and healthcare exhibiting the most pronounced biases (max polarization differences of -9.49% and -6.14%, respectively). Further analysis uncovers a strong convergence in the vocabulary of the LLM outputs for these divisive topics (55% overlap for Democrat-leaning representations, 52% for Republican). Being months away from a US election of consequence, we consider our findings important.
- Abstract（参考訳）: アルゴリズム的キュレーションによって社会的な物語がますます形作られる時代において、LLMの政治的中立性の調査は重要な研究課題である。
本研究では, ニュース記事の抽象的要約によるLLMの政治的中立性の定量化について, 新たな視点を提示する。
我々は、中絶、銃規制/権利、医療、移民、LGBTQ+の権利という、現在のアメリカの政治における5つの迫る問題について検討する。
20,344のニュース記事の実質的なコーパスから、我々の研究は、いくつかの有名なLLMにおいて、民主主義支持バイアスに対する一貫した傾向を示し、銃規制と医療は最も顕著なバイアスを示す(最大偏極差は-9.49%と-6.14%)。
さらなる分析により、これらの異なるトピックに対するLLMのアウトプットの語彙の強い収束が明らかになった(民主党寄りの表現では55%が重複し、共和党では52%が重複している)。
米国の選挙結果から数ヶ月遅れているので、我々の発見は重要だと考えています。
関連論文リスト
- Hidden Persuaders: LLMs' Political Leaning and Their Influence on Voters [42.80511959871216]
我々はまず、共和党候補よりも民主党候補を優先する18のオープン・クローズド・ウェイト LLM の政治的好意を示す。
教育訓練モデルでは、民主党候補への傾きがより顕著になることを示す。
さらに、米国登録有権者935名を対象に、LLMが有権者選択に与える影響について検討する。
論文 参考訳（メタデータ） (2024-10-31T17:51:00Z) - Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。
異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
論文 参考訳（メタデータ） (2024-10-24T04:02:30Z) - Assessing Political Bias in Large Language Models [0.624709220163167]
我々は、ドイツの有権者の視点から、欧州連合(EU)内の政治問題に関するオープンソースのLarge Language Models(LLMs)の政治的バイアスを評価する。
Llama3-70Bのような大型モデルは、左派政党とより緊密に連携する傾向にあるが、小さなモデルは中立であることが多い。
論文 参考訳（メタデータ） (2024-05-17T15:30:18Z) - Measuring Political Bias in Large Language Models: What Is Said and How It Is Said [46.1845409187583]
政治問題に関するコンテンツの内容とスタイルの両方を分析し,LLMにおける政治的偏見を測定することを提案する。
提案尺度は, 生殖権や気候変動などの異なる政治課題を, それらのバイアスの内容(世代的物質)と様式(語彙的極性)の両方で考察する。
論文 参考訳（メタデータ） (2024-03-27T18:22:48Z) - Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。
我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。
この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2024-03-15T04:02:24Z) - Beyond prompt brittleness: Evaluating the reliability and consistency of political worldviews in LLMs [13.036825846417006]
政治声明に対する大規模言語モデルの姿勢の信頼性と整合性を評価するための一連のテストを提案する。
本研究では, 7B から 70B までの大きさのモデルについて検討し, パラメータ数によって信頼性が向上することを確認した。
より大きなモデルは、左派政党との全体的な整合性を示すが、政策プログラムによって異なる。
論文 参考訳（メタデータ） (2024-02-27T16:19:37Z) - The Political Preferences of LLMs [0.0]
私は、テストテイカーの政治的嗜好を特定するために、11の政治的指向テストを実行し、24の最先端の会話型LLMを実行します。
ほとんどの会話型LLMは、ほとんどの政治的テスト機器によって、中心の視点の好みを示すものとして認識される応答を生成する。
LLMは、スーパービジョンファインチューニングを通じて、政治スペクトルの特定の場所に向けて操れることを実証します。
論文 参考訳（メタデータ） (2024-02-02T02:43:10Z) - Whose Opinions Do Language Models Reflect? [88.35520051971538]
質の高い世論調査と関連する人的反応を利用して,言語モデル(LM)に反映された意見を検討する。
我々は、現在のLMが反映している見解と、アメリカの人口集団の見解の間にかなりの不一致を見出した。
我々の分析は、人間のフィードバック調整されたLMの左利き傾向に関する事前の観察を裏付けるものである。
論文 参考訳（メタデータ） (2023-03-30T17:17:08Z) - Bias or Diversity? Unraveling Fine-Grained Thematic Discrepancy in U.S.
News Headlines [63.52264764099532]
われわれは、2014年から2022年までの米国の主要メディアから、180万件のニュース記事の大規模なデータセットを使用している。
我々は、国内政治、経済問題、社会問題、外交の4つの主要なトピックに関連する、きめ細かいテーマの相違を定量化する。
以上の結果から,国内政治や社会問題においては,一定のメディア偏見が原因であることが示唆された。
論文 参考訳（メタデータ） (2023-03-28T03:31:37Z) - NeuS: Neutral Multi-News Summarization for Mitigating Framing Bias [54.89737992911079]
様々な政治スペクトルの複数のニュース見出しから中立的な要約を生成する新しい課題を提案する。
最も興味深い観察の1つは、生成モデルは、事実的に不正確なコンテンツや検証不可能なコンテンツだけでなく、政治的に偏ったコンテンツにも幻覚を与えることができることである。
論文 参考訳（メタデータ） (2022-04-11T07:06:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。