論文の概要: Examining the Influence of Political Bias on Large Language Model Performance in Stance Classification

• arxiv url: http://arxiv.org/abs/2407.17688v2
• Date: Fri, 26 Jul 2024 12:47:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-29 12:30:11.163137
• Title: Examining the Influence of Political Bias on Large Language Model Performance in Stance Classification
• Title（参考訳）: スタンス分類における大規模言語モデル性能に対する政治的バイアスの影響の検討
• Authors: Lynnette Hui Xian Ng, Iain Cruickshank, Roy Ka-Wei Lee,
• Abstract要約: 大規模言語モデル(LLM)が、政治的にチャージされたスタンスをより正確に分類する傾向を示すかを検討する。 本研究は,様々な政治的指向性姿勢分類課題において,LSMの性能に統計的に有意な差が認められた。 LLMは、ステートメントが指示されるターゲットにあいまいさがある場合、位置分類の精度が劣る。
• 参考スコア（独自算出の注目度）: 5.8229466650067065
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities in executing tasks based on natural language queries. However, these models, trained on curated datasets, inherently embody biases ranging from racial to national and gender biases. It remains uncertain whether these biases impact the performance of LLMs for certain tasks. In this study, we investigate the political biases of LLMs within the stance classification task, specifically examining whether these models exhibit a tendency to more accurately classify politically-charged stances. Utilizing three datasets, seven LLMs, and four distinct prompting schemes, we analyze the performance of LLMs on politically oriented statements and targets. Our findings reveal a statistically significant difference in the performance of LLMs across various politically oriented stance classification tasks. Furthermore, we observe that this difference primarily manifests at the dataset level, with models and prompting schemes showing statistically similar performances across different stance classification datasets. Lastly, we observe that when there is greater ambiguity in the target the statement is directed towards, LLMs have poorer stance classification accuracy. Code & Dataset: http://doi.org/10.5281/zenodo.12938478
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語クエリに基づいてタスクを実行する際、顕著な能力を示した。 しかし、これらのモデルは訓練されたデータセットに基づいて訓練され、本質的に人種的から民族的、性別的バイアスまで幅広いバイアスを具現化している。 これらのバイアスが特定のタスクにおけるLLMの性能に影響を及ぼすかどうかは不明である。 本研究では,姿勢分類課題におけるLCMの政治的バイアスについて検討し,これらのモデルが政治的に補充された姿勢をより正確に分類する傾向を示すかを検討した。 3つのデータセットと7つのLCMと4つの異なるプロンプトスキームを用いて、政治的に指向したステートメントとターゲット上でのLCMの性能を分析した。 本研究は,様々な政治的指向性姿勢分類課題において,LSMの性能に統計的に有意な差が認められた。 さらに、この差はデータセットレベルで主に現れており、異なるスタンス分類データセット間で統計的に類似したパフォーマンスを示すモデルとプロンプトスキームがある。 最後に、文が目的とする対象にあいまいさがある場合、LCMは分類精度が低くなることを観察する。 Code & Dataset: http://doi.org/10.5281/zenodo.12938478

関連論文リスト

• Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
  ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。 追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
  論文  参考訳（メタデータ） (2024-10-03T16:43:17Z)
• Unboxing Occupational Bias: Grounded Debiasing of LLMs with U.S. Labor Data [9.90951705988724]
  大規模言語モデル(LLM)は、社会的バイアスを継承し増幅する傾向がある。 LLMバイアスは、不公平な慣行をもたらし、社会的不平等を悪化させる。
  論文  参考訳（メタデータ） (2024-08-20T23:54:26Z)
• LLM-Select: Feature Selection with Large Language Models [64.5099482021597]
  大規模言語モデル(LLM)は、データサイエンスの標準ツールに匹敵するパフォーマンスで、最も予測可能な機能を選択することができる。 以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-02T22:23:40Z)
• CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。 我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:31:37Z)
• Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
  大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。 我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。 この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T04:02:24Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• How Robust are LLMs to In-Context Majority Label Bias? [3.3577727874594654]
  本研究では,Large Language Models (LLMs) における文脈内学習のロバスト性について検討する。 また,モデルサイズの影響と,モデルの堅牢性に寄与する指導プロンプトの豊かさを強調した。
  論文  参考訳（メタデータ） (2023-12-27T12:20:12Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Selecting Shots for Demographic Fairness in Few-Shot Learning with Large Language Models [14.772568847965408]
  NLP分類システムとしての大規模言語モデル(LLM)の公平性に及ぼすショットの影響について検討する。 既存のものと、新しい人口統計学的に敏感な方法の両方において、異なるショット選択戦略が、3つの標準フェアネスデータセットのモデルフェアネスにどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2023-11-14T19:02:03Z)
• Confronting LLMs with Traditional ML: Rethinking the Fairness of Large Language Models in Tabular Classifications [23.963586791210414]
  大規模言語モデル (LLM) は, 学習データから社会的偏見を継承する傾向にあり, 分類作業における公平性に大きな影響を及ぼすことを示した。 この観察は、社会的バイアスがLSM自体に固有のものであり、事前学習されたコーパスから継承されていることを強調している。
  論文  参考訳（メタデータ） (2023-10-23T06:31:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。