論文の概要: Quantifying Generative Media Bias with a Corpus of Real-world and Generated News Articles

• arxiv url: http://arxiv.org/abs/2406.10773v1
• Date: Sun, 16 Jun 2024 01:32:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 20:51:13.861354
• Title: Quantifying Generative Media Bias with a Corpus of Real-world and Generated News Articles
• Title（参考訳）: 実世界のニュース記事のコーパスによる生成メディアバイアスの定量化
• Authors: Filip Trhlik, Pontus Stenetorp,
• Abstract要約: 大規模言語モデル(LLM)は、タスクやドメインにまたがってますます活用されてきている。 本研究では、政治バイアスに着目し、教師付きモデルとLLMの両方を用いて検出する。 ジャーナリストの領域内ではじめて、この研究は定量化実験の枠組みを概説した。
• 参考スコア（独自算出の注目度）: 12.356251871670011
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly being utilised across a range of tasks and domains, with a burgeoning interest in their application within the field of journalism. This trend raises concerns due to our limited understanding of LLM behaviour in this domain, especially with respect to political bias. Existing studies predominantly focus on LLMs undertaking political questionnaires, which offers only limited insights into their biases and operational nuances. To address this gap, our study establishes a new curated dataset that contains 2,100 human-written articles and utilises their descriptions to generate 56,700 synthetic articles using nine LLMs. This enables us to analyse shifts in properties between human-authored and machine-generated articles, with this study focusing on political bias, detecting it using both supervised models and LLMs. Our findings reveal significant disparities between base and instruction-tuned LLMs, with instruction-tuned models exhibiting consistent political bias. Furthermore, we are able to study how LLMs behave as classifiers, observing their display of political bias even in this role. Overall, for the first time within the journalistic domain, this study outlines a framework and provides a structured dataset for quantifiable experiments, serving as a foundation for further research into LLM political bias and its implications.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ジャーナリズムの分野における彼らの応用への関心が高まり、様々なタスクや領域でますます活用されている。 この傾向は、特に政治的偏見に関して、この領域におけるLLMの振る舞いを限定的に理解することによる懸念を提起する。 現存する研究は、主に政治調査を行うLCMに焦点をあてており、そのバイアスや運用上のニュアンスについての限られた洞察しか提供していない。 このギャップに対処するため,本研究では,2,100個の人文記事を含む新たなキュレートデータセットを構築し,その記述を利用して,9個のLSMを用いて56,700個の合成記事を生成する。 本研究は, 政治的偏見に着目し, 教師付きモデルとLLMの両方を用いて, その特性変化を解析する。 本研究は, 基礎学習モデルと指導学習モデルとの相違を顕著に示し, 政治的偏見が一貫した指導学習モデルについて検討した。 さらに、LLMが分類器としてどのように振る舞うかを研究でき、この役割においても政治的偏見の表示を観察することができる。 全体として、ジャーナリストの領域内ではじめて、この研究は、LLMの政治的偏見とその意味に関するさらなる研究の基盤となる、定量化実験のための構造化されたデータセットを概説した。

関連論文リスト

• The LLM Effect: Are Humans Truly Using LLMs, or Are They Being Influenced By Them Instead? [60.01746782465275]
  大規模言語モデル(LLM)は、様々な分析タスクにおいて、人間のパフォーマンスに近い能力を示している。 本稿では,Human-LLMパートナーシップに着目した構造化ユーザスタディにより,特殊作業におけるLLMの効率と精度について検討する。
  論文  参考訳（メタデータ） (2024-10-07T02:30:18Z)
• Transforming Scholarly Landscapes: Influence of Large Language Models on Academic Fields beyond Computer Science [77.31665252336157]
  大規模言語モデル (LLM) は自然言語処理 (NLP) において転換期を迎えた。 本研究は,NLP以外の分野におけるLLMの影響と利用について実験的に検討する。
  論文  参考訳（メタデータ） (2024-09-29T01:32:35Z)
• A Comprehensive Survey of Bias in LLMs: Current Landscape and Future Directions [0.0]
  大規模言語モデル(LLM)は、前例のないテキスト生成、翻訳、理解能力を提供することで、自然言語処理(NLP)の様々な応用に革命をもたらした。 彼らの広範な展開は、これらのモデルに埋め込まれたバイアスに関して、重大な懸念をもたらしました。 本稿では, LLMにおけるバイアスの包括的調査を行い, これらのバイアスに関するタイプ, ソース, 影響, 緩和戦略について, 広範なレビューを行うことを目的としている。
  論文  参考訳（メタデータ） (2024-09-24T19:50:38Z)
• Unboxing Occupational Bias: Grounded Debiasing of LLMs with U.S. Labor Data [9.90951705988724]
  大規模言語モデル(LLM)は、社会的バイアスを継承し増幅する傾向がある。 LLMバイアスは、不公平な慣行をもたらし、社会的不平等を悪化させる。
  論文  参考訳（メタデータ） (2024-08-20T23:54:26Z)
• Interpreting Bias in Large Language Models: A Feature-Based Approach [0.0]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクで顕著なパフォーマンスを示した。 本稿では, 特徴量に基づく新しい解析手法により, LLM内のバイアスの伝播について検討する。
  論文  参考訳（メタデータ） (2024-06-18T07:28:15Z)
• Investigating Bias in LLM-Based Bias Detection: Disparities between LLMs and Human Perception [13.592532358127293]
  大規模言語モデル(LLM)におけるバイアスの存在と性質について検討する。 LLMが特に政治的バイアス予測やテキスト継続タスクにおいてバイアスを示すかどうかを調査する。 我々は,素早い工学とモデル微調整を含む脱バイアス戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-22T00:59:48Z)
• Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
  大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。 我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。 この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T04:02:24Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。