論文の概要: ChatGPT v.s. Media Bias: A Comparative Study of GPT-3.5 and Fine-tuned Language Models
- arxiv url: http://arxiv.org/abs/2403.20158v1
- Date: Fri, 29 Mar 2024 13:12:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 15:34:34.158905
- Title: ChatGPT v.s. Media Bias: A Comparative Study of GPT-3.5 and Fine-tuned Language Models
- Title（参考訳）: ChatGPT対メディアバイアス: GPT-3.5と微調整言語モデルの比較研究
- Authors: Zehao Wen, Rabih Younes,
- Abstract要約: 本研究は,メディアバイアス識別ベンチマーク(MBIB)を活用して,この問題に答えようとするものである。
メディアバイアスの6つのカテゴリを区別し、BART、ConvBERT、GPT-2などの微調整されたモデルに差をつけ、ChatGPTの能力を評価する。
ChatGPTはヘイトスピーチとテキストレベルの文脈バイアスを検出するために微調整されたモデルと同等に機能するが、他のバイアス検出の微妙な要素で困難に直面している。
- 参考スコア（独自算出の注目度）: 0.276240219662896
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In our rapidly evolving digital sphere, the ability to discern media bias becomes crucial as it can shape public sentiment and influence pivotal decisions. The advent of large language models (LLMs), such as ChatGPT, noted for their broad utility in various natural language processing (NLP) tasks, invites exploration of their efficacy in media bias detection. Can ChatGPT detect media bias? This study seeks to answer this question by leveraging the Media Bias Identification Benchmark (MBIB) to assess ChatGPT's competency in distinguishing six categories of media bias, juxtaposed against fine-tuned models such as BART, ConvBERT, and GPT-2. The findings present a dichotomy: ChatGPT performs at par with fine-tuned models in detecting hate speech and text-level context bias, yet faces difficulties with subtler elements of other bias detections, namely, fake news, racial, gender, and cognitive biases.
- Abstract（参考訳）: 急速に進化するデジタル分野において、メディアバイアスを識別する能力は、大衆の感情を形作り、重要な決定に影響を及ぼすことができるため、不可欠である。
ChatGPTのような大規模言語モデル(LLM)の出現は、様々な自然言語処理(NLP)タスクにおける幅広い実用性で有名であり、メディアバイアス検出におけるその有効性を探究することを奨励している。
ChatGPTはメディアバイアスを検出するか?
本研究は,メディアバイアス同定ベンチマーク(MBIB)を用いて,BART,ConvBERT,GPT-2などの微調整モデルに対して,メディアバイアスの6つのカテゴリを識別するChatGPTの能力を評価することを目的とする。
ChatGPTはヘイトスピーチやテキストレベルの文脈バイアスの検出において、微調整されたモデルと同等に機能するが、他のバイアス検出、すなわちフェイクニュース、人種、性別、認知バイアスの微妙な要素で困難に直面している。
関連論文リスト
- Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。
多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。
これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
論文 参考訳（メタデータ） (2024-08-14T16:55:06Z) - Quite Good, but Not Enough: Nationality Bias in Large Language Models -- A Case Study of ChatGPT [4.998396762666333]
本研究では,テキスト生成のための大規模言語モデルであるChatGPT(GPT-3.5)の国籍バイアスについて検討する。
この研究は、195カ国、4つの温度設定、3つの異なるプロンプトタイプをカバーし、中国語と英語の国籍記述に関する4,680の談話を生み出している。
論文 参考訳（メタデータ） (2024-05-11T12:11:52Z) - GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language
Models [83.30078426829627]
大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。
既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。
本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-11T12:02:14Z) - Introducing MBIB -- the first Media Bias Identification Benchmark Task
and Dataset Collection [24.35462897801079]
我々は,メディアバイアス識別ベンチマーク(MBIB)を導入し,メディアバイアスを共通の枠組みの下でグループ化する。
115のデータセットをレビューした後、9つのタスクを選択し、メディアバイアス検出技術を評価するために、22の関連するデータセットを慎重に提案する。
我々の結果は、ヘイトスピーチ、人種的偏見、性別的偏見は検出しやすいが、モデルが認知や政治的偏見といった特定のバイアスタイプを扱うのに苦労していることを示唆している。
論文 参考訳（メタデータ） (2023-04-25T20:49:55Z) - Can ChatGPT Understand Too? A Comparative Study on ChatGPT and
Fine-tuned BERT [103.57103957631067]
チャットGPTは、人間の質問に対する流動的で高品質な応答を生成できるため、大きな注目を集めている。
そこで我々は,ChatGPTの理解能力を,最も人気のあるGLUEベンチマークで評価し,より詳細な4種類のBERTスタイルのモデルと比較した。
2)ChatGPTは,感情分析や質問応答タスクにおいて,BERTと同等のパフォーマンスを達成している。
論文 参考訳（メタデータ） (2023-02-19T12:29:33Z) - Unveiling the Hidden Agenda: Biases in News Reporting and Consumption [59.55900146668931]
イタリアのワクチン論争に関する6年間のデータセットを構築し、物語と選択バイアスを特定するためにベイジアン潜在空間モデルを採用する。
バイアスとエンゲージメントの間に非線形な関係が見られ、極端な位置へのエンゲージメントが高くなった。
Twitter上でのニュース消費の分析は、同様のイデオロギー的な立場のニュースメディアの間で、一般的なオーディエンスを明らかにしている。
論文 参考訳（メタデータ） (2023-01-14T18:58:42Z) - Exploiting Transformer-based Multitask Learning for the Detection of
Media Bias in News Articles [21.960154864540282]
メディアバイアスを検出するために,マルチタスク学習を用いて学習したトランスフォーマーに基づくディープラーニングアーキテクチャを提案する。
我々の最高のパフォーマンス実装は、マクロ$F_1$の0.776を実現しています。
論文 参考訳（メタデータ） (2022-11-07T12:22:31Z) - Neural Media Bias Detection Using Distant Supervision With BABE -- Bias
Annotations By Experts [24.51774048437496]
本稿ではメディアバイアス研究のための頑健で多様なデータセットであるBABEについて述べる。
トピックとアウトレットの間でバランスが取れた3,700の文で構成されており、単語と文のレベルにメディアバイアスラベルが含まれている。
また,本データに基づいて,ニュース記事中のバイアス文を自動的に検出する手法も導入した。
論文 参考訳（メタデータ） (2022-09-29T05:32:55Z) - A Domain-adaptive Pre-training Approach for Language Bias Detection in
News [3.7238620986236373]
本稿ではメディアバイアス領域に適応した新しい最先端トランスフォーマーモデルであるDA-RoBERTaを提案する。
また、バイアス領域に適応した2つのトランスフォーマーモデルであるDA-BERTとDA-BARTをトレーニングします。
提案したドメイン適応モデルは同じデータ上で事前バイアス検出手法より優れている。
論文 参考訳（メタデータ） (2022-05-22T08:18:19Z) - Viable Threat on News Reading: Generating Biased News Using Natural
Language Models [49.90665530780664]
公開されている言語モデルは、入力されたオリジナルニュースに基づいてバイアスのあるニュースコンテンツを確実に生成できることを示す。
また、制御可能なテキスト生成を用いて、多数の高品質な偏りのあるニュース記事を生成することができることを示す。
論文 参考訳（メタデータ） (2020-10-05T16:55:39Z) - Towards Controllable Biases in Language Generation [87.89632038677912]
本研究では、特定の人口集団の言及を含む入力プロンプトによって生成されたテキストの社会的バイアスを誘導する手法を開発した。
1 つの人口統計学において負のバイアスを誘発し、もう1 つの人口統計学において正のバイアスを誘導し、2 つのシナリオを分析する。
論文 参考訳（メタデータ） (2020-05-01T08:25:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。