Fugu-MT 論文翻訳(概要): Investigating Bias in LLM-Based Bias Detection: Disparities between LLMs and Human Perception

論文の概要: Investigating Bias in LLM-Based Bias Detection: Disparities between LLMs and Human Perception

arxiv url: http://arxiv.org/abs/2403.14896v1
Date: Fri, 22 Mar 2024 00:59:48 GMT
ステータス: 処理完了
システム内更新日: 2024-03-25 18:57:02.140804
Title: Investigating Bias in LLM-Based Bias Detection: Disparities between LLMs and Human Perception
Title（参考訳）: LLMに基づくバイアス検出におけるバイアスの探索--LLMと人間の知覚の相違
Authors: Luyang Lin, Lingzhi Wang, Jinsong Guo, Kam-Fai Wong,
Abstract要約: 大規模言語モデル(LLM)におけるバイアスの存在と性質について検討する。 LLMが特に政治的バイアス予測やテキスト継続タスクにおいてバイアスを示すかどうかを調査する。我々は,素早い工学とモデル微調整を含む脱バイアス戦略を提案する。
参考スコア（独自算出の注目度）: 13.592532358127293
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The pervasive spread of misinformation and disinformation in social media underscores the critical importance of detecting media bias. While robust Large Language Models (LLMs) have emerged as foundational tools for bias prediction, concerns about inherent biases within these models persist. In this work, we investigate the presence and nature of bias within LLMs and its consequential impact on media bias detection. Departing from conventional approaches that focus solely on bias detection in media content, we delve into biases within the LLM systems themselves. Through meticulous examination, we probe whether LLMs exhibit biases, particularly in political bias prediction and text continuation tasks. Additionally, we explore bias across diverse topics, aiming to uncover nuanced variations in bias expression within the LLM framework. Importantly, we propose debiasing strategies, including prompt engineering and model fine-tuning. Extensive analysis of bias tendencies across different LLMs sheds light on the broader landscape of bias propagation in language models. This study advances our understanding of LLM bias, offering critical insights into its implications for bias detection tasks and paving the way for more robust and equitable AI systems
Abstract（参考訳）: ソーシャルメディアにおける偽情報の拡散と偽情報の拡散は、メディアバイアスを検出することの重要性を浮き彫りにしている。堅牢なLarge Language Models (LLM) はバイアス予測の基本的なツールとして登場したが、これらのモデルに固有のバイアスに関する懸念は続いている。本研究では, LLMにおけるバイアスの有無と, メディアバイアス検出への影響について検討する。メディアコンテンツのバイアス検出にのみ焦点をあてる従来のアプローチとは別に、LLMシステム自体のバイアスを掘り下げる。特に政治バイアス予測やテキスト継続タスクにおいて,LLMがバイアスを示すかどうかを精査して検討する。さらに,LLMフレームワーク内でのバイアス表現の微妙なバリエーションを明らかにすることを目的として,多様なトピックにまたがるバイアスについて検討する。重要なことは、迅速なエンジニアリングとモデル微調整を含むデバイアスング戦略を提案することである。異なるLLM間でのバイアス傾向の広範囲な解析は、言語モデルにおけるより広いバイアス伝播の風景に光を当てる。この研究は、LLMバイアスの理解を深め、バイアス検出タスクにおけるその意味に関する重要な洞察を提供し、より堅牢で公平なAIシステムへの道を開く。

関連論文リスト

Explicit vs. Implicit: Investigating Social Bias in Large Language Models through Self-Reflection [5.800102484016876]
大規模言語モデル(LLM)は、生成されたコンテンツに様々なバイアスとステレオタイプを示すことが示されている。本稿では, LLMにおける明示的, 暗黙的な偏見を解明するために, 社会心理学理論に基づく体系的枠組みを提案する。
論文参考訳（メタデータ） (2025-01-04T14:08:52Z)
How far can bias go? -- Tracing bias from pretraining data to alignment [54.51310112013655]
本研究では, 事前学習データにおける性別占有バイアスと, LLMにおける性別占有バイアスの相関について検討した。その結果,事前学習データに存在するバイアスがモデル出力に増幅されることが判明した。
論文参考訳（メタデータ） (2024-11-28T16:20:25Z)
Distance between Relevant Information Pieces Causes Bias in Long-Context LLMs [50.40165119718928]
LongPiBenchは、複数の関連する情報を含む位置バイアスを評価するために設計されたベンチマークである。これらの実験によると、現在のほとんどのモデルは「中間の失われた」問題に対して堅牢であるが、関連する情報片の間隔に関する重大なバイアスが存在する。
論文参考訳（メタデータ） (2024-10-18T17:41:19Z)
Cognitive Biases in Large Language Models for News Recommendation [68.90354828533535]
本稿では,認知バイアスが大規模言語モデル(LLM)に基づくニュースレコメンデータシステムに与える影響について検討する。データ拡張、エンジニアリングと学習アルゴリズムの側面を通じて、これらのバイアスを軽減する戦略について議論する。
論文参考訳（メタデータ） (2024-10-03T18:42:07Z)
Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
論文参考訳（メタデータ） (2024-10-03T17:53:30Z)
A Comprehensive Survey of Bias in LLMs: Current Landscape and Future Directions [0.0]
大規模言語モデル(LLM)は、前例のないテキスト生成、翻訳、理解能力を提供することで、自然言語処理(NLP)の様々な応用に革命をもたらした。彼らの広範な展開は、これらのモデルに埋め込まれたバイアスに関して、重大な懸念をもたらしました。本稿では, LLMにおけるバイアスの包括的調査を行い, これらのバイアスに関するタイプ, ソース, 影響, 緩和戦略について, 広範なレビューを行うことを目的としている。
論文参考訳（メタデータ） (2024-09-24T19:50:38Z)
A Multi-LLM Debiasing Framework [85.17156744155915]
大規模言語モデル(LLM)は、社会に多大な利益をもたらす可能性がある強力なツールであるが、社会的不平等を持続するバイアスを示す。近年,マルチLLM手法への関心が高まっており,推論の質向上に有効であることが示されている。 LLMのバイアス低減を目的としたマルチLLMデバイアスフレームワークを提案する。
論文参考訳（メタデータ） (2024-09-20T20:24:50Z)
Unboxing Occupational Bias: Grounded Debiasing of LLMs with U.S. Labor Data [9.90951705988724]
大規模言語モデル(LLM)は、社会的バイアスを継承し増幅する傾向がある。 LLMバイアスは、不公平な慣行をもたらし、社会的不平等を悪化させる。
論文参考訳（メタデータ） (2024-08-20T23:54:26Z)
The African Woman is Rhythmic and Soulful: An Investigation of Implicit Biases in LLM Open-ended Text Generation [3.9945212716333063]
大規模言語モデル(LLM)による決定に影響を与えるため、暗黙のバイアスは重要である。伝統的に、明示的なバイアステストや埋め込みベースの手法はバイアスを検出するために使用されるが、これらのアプローチはより微妙で暗黙的なバイアスの形式を見落としることができる。提案手法は, 暗黙の偏見を明らかにするために, 即発的, 意思決定的タスクによる2つの新しい心理学的手法を導入している。
論文参考訳（メタデータ） (2024-07-01T13:21:33Z)
Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
論文参考訳（メタデータ） (2023-11-15T00:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。