Fugu-MT 論文翻訳(概要): Bias in LLMs as Annotators: The Effect of Party Cues on Labelling Decision by Large Language Models

論文の概要: Bias in LLMs as Annotators: The Effect of Party Cues on Labelling Decision by Large Language Models

arxiv url: http://arxiv.org/abs/2408.15895v1
Date: Wed, 28 Aug 2024 16:05:20 GMT
ステータス: 処理完了
システム内更新日: 2024-08-29 15:31:11.259416
Title: Bias in LLMs as Annotators: The Effect of Party Cues on Labelling Decision by Large Language Models
Title（参考訳）: アノテーションとしてのLLMのバイアス:大規模言語モデルによるラベリング決定に及ぼすパーティキューの影響
Authors: Sebastian Vallejo Vera, Hunter Driggers,
Abstract要約: 我々は、Large Language Models (LLMs) において同様のバイアスをアノテーションとしてテストする。人間とは違い、極端に左派や右派からの発言を誘発しても、LSMは顕著な偏見を呈する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Human coders are biased. We test similar biases in Large Language Models (LLMs) as annotators. By replicating an experiment run by Ennser-Jedenastik and Meyer (2018), we find evidence that LLMs use political information, and specifically party cues, to judge political statements. Not only do LLMs use relevant information to contextualize whether a statement is positive, negative, or neutral based on the party cue, they also reflect the biases of the human-generated data upon which they have been trained. We also find that unlike humans, who are only biased when faced with statements from extreme parties, LLMs exhibit significant bias even when prompted with statements from center-left and center-right parties. The implications of our findings are discussed in the conclusion.
Abstract（参考訳）: 人間のコーダーはバイアスを受けています。我々は、Large Language Models (LLMs) において同様のバイアスをアノテーションとしてテストする。 2018年にEnnser-Jedenastik and Meyerが行った実験を再現することで、LLMが政治的情報、特に政党的手がかりを使って政治的発言を判断する証拠が見つかった。 LLMは、声明が肯定的、否定的、中立的であるかどうかを文脈的に判断するために関連する情報を使用するだけでなく、トレーニングされた人為的なデータのバイアスも反映している。また、極端な当事者の発言に対してしか偏見を示さない人間とは異なり、中道左派や中道右派からの発言に対してもLLMは大きな偏見を示す。本研究の結論は以下の通りである。

関連論文リスト

Bias in the Mirror: Are LLMs opinions robust to their own adversarial attacks ? [22.0383367888756]
大規模言語モデル(LLM)は、トレーニングデータとアライメントプロセスからバイアスを受け継ぎ、微妙な方法で応答に影響を与える。 LLMの2つのインスタンスが自己議論を行う新しいアプローチを導入し、反対の視点でモデルの中立バージョンを説得する。我々は、モデルがどのようにしっかりとバイアスを保ち、誤った情報を強化するか、有害な視点に移行するかを評価する。
論文参考訳（メタデータ） (2024-10-17T13:06:02Z)
Unboxing Occupational Bias: Grounded Debiasing of LLMs with U.S. Labor Data [9.90951705988724]
大規模言語モデル(LLM)は、社会的バイアスを継承し増幅する傾向がある。 LLMバイアスは、不公平な慣行をもたらし、社会的不平等を悪化させる。
論文参考訳（メタデータ） (2024-08-20T23:54:26Z)
Evaluating Implicit Bias in Large Language Models by Attacking From a Psychometric Perspective [66.34066553400108]
我々は,大規模言語モデルが特定のグループに対する暗黙の偏見を厳格に評価する。我々は,4つの共通のバイアス型の評価データセットを構築した3つのアタックアプローチ,すなわちDguise,Deception,Teachingを提案する。
論文参考訳（メタデータ） (2024-06-20T06:42:08Z)
Assessing Political Bias in Large Language Models [0.624709220163167]
我々は、ドイツの有権者の視点から、欧州連合(EU)内の政治問題に関するオープンソースのLarge Language Models(LLMs)の政治的バイアスを評価する。 Llama3-70Bのような大型モデルは、左派政党とより緊密に連携する傾向にあるが、小さなモデルは中立であることが多い。
論文参考訳（メタデータ） (2024-05-17T15:30:18Z)
Investigating Bias in LLM-Based Bias Detection: Disparities between LLMs and Human Perception [13.592532358127293]
大規模言語モデル(LLM)におけるバイアスの存在と性質について検討する。 LLMが特に政治的バイアス予測やテキスト継続タスクにおいてバイアスを示すかどうかを調査する。我々は,素早い工学とモデル微調整を含む脱バイアス戦略を提案する。
論文参考訳（メタデータ） (2024-03-22T00:59:48Z)
Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
論文参考訳（メタデータ） (2024-03-15T04:02:24Z)
Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
論文参考訳（メタデータ） (2024-02-16T18:28:43Z)
Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
論文参考訳（メタデータ） (2023-11-15T00:02:25Z)
Bias Runs Deep: Implicit Reasoning Biases in Persona-Assigned LLMs [67.51906565969227]
LLMの基本的な推論タスクの実行能力に対するペルソナ代入の意図しない副作用について検討する。本研究は,5つの社会デコグラフィーグループにまたがる24の推論データセット,4つのLDM,19の多様な個人(アジア人など)について検討した。
論文参考訳（メタデータ） (2023-11-08T18:52:17Z)
"Kelly is a Warm Person, Joseph is a Role Model": Gender Biases in LLM-Generated Reference Letters [97.11173801187816]
大規模言語モデル(LLM)は、個人が様々な種類のコンテンツを書くのを支援する効果的なツールとして最近登場した。本稿では, LLM 生成した参照文字の性別バイアスについて批判的に検討する。
論文参考訳（メタデータ） (2023-10-13T16:12:57Z)
Gender bias and stereotypes in Large Language Models [0.6882042556551611]
本稿では,ジェンダーステレオタイプに関する大規模言語モデルの振る舞いについて考察する。我々は、WinoBiasとは違って、性別バイアスの存在をテストするための単純なパラダイムを用いています。 a) LLMは、人の性別とステレオタイプ的に一致した職業を選択する確率が3～6倍、(b) これらの選択は、公務員の統計に反映された基礎的真実よりも人々の知覚に適合し、(d) LLMは、我々の研究項目の95%の時間において重要な曖昧さを無視する。
論文参考訳（メタデータ） (2023-08-28T22:32:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。