論文の概要: Examining Alignment of Large Language Models through Representative Heuristics: The Case of Political Stereotypes
- arxiv url: http://arxiv.org/abs/2501.14294v2
- Date: Mon, 27 Jan 2025 20:56:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-29 13:21:39.466035
- Title: Examining Alignment of Large Language Models through Representative Heuristics: The Case of Political Stereotypes
- Title(参考訳): 代表的ヒューリスティックスによる大規模言語モデルのアライメントの検討--政治ステレオタイプの場合
- Authors: Sullam Jeoung, Yubin Ge, Haohan Wang, Jana Diesner,
- Abstract要約: 本研究では,大規模言語モデルと人間の意図と価値の整合性について考察する。
これまでの研究は、LLMが政治的傾向を示すことの正当性を強調してきた。
これらの偏差を定量化し、それらを引き起こす条件を特定します。
- 参考スコア(独自算出の注目度): 20.407518082067437
- License:
- Abstract: Examining the alignment of large language models (LLMs) has become increasingly important, particularly when these systems fail to operate as intended. This study explores the challenge of aligning LLMs with human intentions and values, with specific focus on their political inclinations. Previous research has highlighted LLMs' propensity to display political leanings, and their ability to mimic certain political parties' stances on various issues. However, the extent and conditions under which LLMs deviate from empirical positions have not been thoroughly examined. To address this gap, our study systematically investigates the factors contributing to LLMs' deviations from empirical positions on political issues, aiming to quantify these deviations and identify the conditions that cause them. Drawing on cognitive science findings related to representativeness heuristics -- where individuals readily recall the representative attribute of a target group in a way that leads to exaggerated beliefs -- we scrutinize LLM responses through this heuristics lens. We conduct experiments to determine how LLMs exhibit stereotypes by inflating judgments in favor of specific political parties. Our results indicate that while LLMs can mimic certain political parties' positions, they often exaggerate these positions more than human respondents do. Notably, LLMs tend to overemphasize representativeness to a greater extent than humans. This study highlights the susceptibility of LLMs to representativeness heuristics, suggeseting potential vulnerabilities to political stereotypes. We propose prompt-based mitigation strategies that demonstrate effectiveness in reducing the influence of representativeness in LLM responses.
- Abstract(参考訳): 大規模言語モデル(LLM)のアライメントを調べることは、特に意図したように動作しないシステムにおいて、ますます重要になっている。
本研究では、LLMを人間の意図や価値観と整合させることの課題について、政治的傾向に特に焦点をあてて検討する。
これまでの研究では、LLMが政治的傾向を示すことの正当性や、様々な問題に対する政党のスタンスを模倣する能力を強調してきた。
しかし, LLMが経験的位置から逸脱する程度と条件については, 十分に検討されていない。
このギャップに対処するために,本稿では,LLMの政治的問題に対する経験的立場からの逸脱に寄与する要因を体系的に検討し,これらの逸脱を定量化し,それらの原因となる条件を特定することを目的とした。
代表性ヒューリスティックスに関連する認知科学の知見に基づいて、個人はこのヒューリスティックスレンズを通してLSM反応を精査する。
我々は、特定の政党に有利な判断をし、LCMがいかにステレオタイプを示すかを決定する実験を行う。
以上の結果から, LLMは特定の政党の立場を模倣できるが, これらの立場を人間よりも誇張することが多いことが示唆された。
特に、LDMは人間よりも代表性をはるかに強調する傾向がある。
本研究は、政治的ステレオタイプに対する潜在的な脆弱性を示唆する代表性ヒューリスティックスに対するLSMの感受性を強調した。
LLM応答における代表性の影響を低減させる効果を示すプロンプトベースの緩和戦略を提案する。
関連論文リスト
- Persuasion with Large Language Models: a Survey [49.86930318312291]
大規模言語モデル (LLM) は説得力のあるコミュニケーションに新たな破壊的可能性を生み出している。
政治、マーケティング、公衆衛生、電子商取引、慈善事業などの分野では、LLMシステムズは既に人間レベルや超人的説得力を達成している。
LLMをベースとした説得の現在と将来の可能性は、倫理的・社会的リスクを著しく引き起こす可能性が示唆された。
論文 参考訳(メタデータ) (2024-11-11T10:05:52Z) - PRISM: A Methodology for Auditing Biases in Large Language Models [9.751718230639376]
PRISMは、大規模言語モデルを監査するための柔軟な調査ベースの方法論である。
優先事項を直接調査するのではなく、タスクベースの調査を通じて間接的にこれらのポジションを照会しようとする。
論文 参考訳(メタデータ) (2024-10-24T16:57:20Z) - Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。
異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
論文 参考訳(メタデータ) (2024-10-24T04:02:30Z) - Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。
追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
論文 参考訳(メタデータ) (2024-10-03T16:43:17Z) - Transforming Scholarly Landscapes: Influence of Large Language Models on Academic Fields beyond Computer Science [77.31665252336157]
大規模言語モデル (LLM) は自然言語処理 (NLP) において転換期を迎えた。
本研究は,NLP以外の分野におけるLLMの影響と利用について実験的に検討する。
論文 参考訳(メタデータ) (2024-09-29T01:32:35Z) - Examining the Influence of Political Bias on Large Language Model Performance in Stance Classification [5.8229466650067065]
大規模言語モデル(LLM)が、政治的にチャージされたスタンスをより正確に分類する傾向を示すかを検討する。
本研究は,様々な政治的指向性姿勢分類課題において,LSMの性能に統計的に有意な差が認められた。
LLMは、ステートメントが指示されるターゲットにあいまいさがある場合、位置分類の精度が劣る。
論文 参考訳(メタデータ) (2024-07-25T01:11:38Z) - Assessing Political Bias in Large Language Models [0.624709220163167]
我々は、ドイツの有権者の視点から、欧州連合(EU)内の政治問題に関するオープンソースのLarge Language Models(LLMs)の政治的バイアスを評価する。
Llama3-70Bのような大型モデルは、左派政党とより緊密に連携する傾向にあるが、小さなモデルは中立であることが多い。
論文 参考訳(メタデータ) (2024-05-17T15:30:18Z) - Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。
我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。
この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2024-03-15T04:02:24Z) - Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。
価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
論文 参考訳(メタデータ) (2024-02-16T18:28:43Z) - Inducing Political Bias Allows Language Models Anticipate Partisan
Reactions to Controversies [5.958974943807783]
本研究では,Large Language Models (LLMs) を用いたデジタル談話における政治的偏見の理解の課題に対処する。
本稿では,Partisan Bias Divergence AssessmentとPartisan Class Tendency Predictionからなる包括的分析フレームワークを提案する。
以上の結果から,感情的・道徳的ニュアンスを捉えたモデルの有効性が明らかとなった。
論文 参考訳(メタデータ) (2023-11-16T08:57:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。