論文の概要: Profiling News Media for Factuality and Bias Using LLMs and the Fact-Checking Methodology of Human Experts

• arxiv url: http://arxiv.org/abs/2506.12552v1
• Date: Sat, 14 Jun 2025 15:49:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:46.423097
• Title: Profiling News Media for Factuality and Bias Using LLMs and the Fact-Checking Methodology of Human Experts
• Title（参考訳）: LLMを用いた人物・バイアスに関するニュースメディアのプロファイリングと専門家のファクトチェッキング手法
• Authors: Zain Muhammad Mujahid, Dilshod Azizov, Maha Tufail Agro, Preslav Nakov,
• Abstract要約: 本稿では,プロのファクトチェッカーがアウトレット全体の事実と政治的偏見を評価するために使用する基準をエミュレートする新しい手法を提案する。 メディアの人気と地域がモデル性能に与える影響を詳細に分析する。
• 参考スコア（独自算出の注目度）: 29.95198868148809
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In an age characterized by the proliferation of mis- and disinformation online, it is critical to empower readers to understand the content they are reading. Important efforts in this direction rely on manual or automatic fact-checking, which can be challenging for emerging claims with limited information. Such scenarios can be handled by assessing the reliability and the political bias of the source of the claim, i.e., characterizing entire news outlets rather than individual claims or articles. This is an important but understudied research direction. While prior work has looked into linguistic and social contexts, we do not analyze individual articles or information in social media. Instead, we propose a novel methodology that emulates the criteria that professional fact-checkers use to assess the factuality and political bias of an entire outlet. Specifically, we design a variety of prompts based on these criteria and elicit responses from large language models (LLMs), which we aggregate to make predictions. In addition to demonstrating sizable improvements over strong baselines via extensive experiments with multiple LLMs, we provide an in-depth error analysis of the effect of media popularity and region on model performance. Further, we conduct an ablation study to highlight the key components of our dataset that contribute to these improvements. To facilitate future research, we released our dataset and code at https://github.com/mbzuai-nlp/llm-media-profiling.
• Abstract（参考訳）: オンラインでの誤情報や偽情報の拡散を特徴とする時代には、読者に読み上げている内容を理解させることが重要である。 この方向の重要な取り組みは、手動または自動の事実チェックに依存しており、限られた情報を持つ新規のクレームにとって困難である可能性がある。 このようなシナリオは、クレームの出所の信頼性と政治的偏見、すなわち個々のクレームや記事ではなく、報道機関全体を特徴づけることによって処理することができる。 これは重要な研究の方向性である。 これまでの研究は言語的・社会的文脈を考察してきたが、ソーシャルメディアにおける個々の記事や情報の分析は行っていない。 代わりに、プロのファクトチェッカーが、アウトレット全体の事実と政治的偏見を評価するために使用する基準をエミュレートする新しい手法を提案する。 具体的には、これらの基準に基づいて様々なプロンプトを設計し、大言語モデル(LLM)からの応答を抽出し、それを集約して予測を行う。 複数のLDMを用いた広範囲な実験により,強いベースラインに対する大幅な改善が示されたことに加えて,メディアの人気と地域がモデル性能に与える影響について,詳細な誤差解析を行った。 さらに、これらの改善に寄与するデータセットの重要なコンポーネントを強調するために、アブレーション調査を実施します。 将来の研究を容易にするため、私たちはhttps://github.com/mbzuai-nlp/llm-media-profiling.comでデータセットとコードを公開しました。

関連論文リスト

• Decoding News Bias: Multi Bias Detection in News Articles [1.433758865948252]
  我々は、ニュース記事に存在する様々なバイアスを調査し、大きな言語モデル(LLM)を用いたデータセットを構築した。 提案手法は広スペクトルバイアス検出の重要性を強調し,ニュース記事の完全性向上のための新たな洞察を提供する。
  論文  参考訳（メタデータ） (2025-01-05T09:09:53Z)
• A Comprehensive Survey of Bias in LLMs: Current Landscape and Future Directions [0.0]
  大規模言語モデル(LLM)は、前例のないテキスト生成、翻訳、理解能力を提供することで、自然言語処理(NLP)の様々な応用に革命をもたらした。 彼らの広範な展開は、これらのモデルに埋め込まれたバイアスに関して、重大な懸念をもたらしました。 本稿では, LLMにおけるバイアスの包括的調査を行い, これらのバイアスに関するタイプ, ソース, 影響, 緩和戦略について, 広範なレビューを行うことを目的としている。
  論文  参考訳（メタデータ） (2024-09-24T19:50:38Z)
• ThatiAR: Subjectivity Detection in Arabic News Sentences [10.334164786614696]
  本研究では,アラビア語における主観性検出のための最初の大規模データセットを提案する。 3.6K の注釈付き文と GPT-4o に基づく説明で構成されている。 データセット、アノテーションプロセス、および広範なベンチマーク結果を詳細に分析する。
  論文  参考訳（メタデータ） (2024-06-08T19:24:17Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Data-Augmented and Retrieval-Augmented Context Enrichment in Chinese Media Bias Detection [16.343223974292908]
  我々は、新たに設計されたシステムによって注釈付けされた新型コロナウイルスに関する中国のニュースと共にデータセットを構築します。 データ拡張コンテキストエンリッチメント(DACE)では、トレーニングデータを拡大し、Retrieval-Augmentedコンテキストエンリッチメント(RACE)では、貴重な情報を選択するための情報検索方法を改善する。 以上の結果から, RACE法の方が効率が高く, 可能性も高いことがわかった。
  論文  参考訳（メタデータ） (2023-11-02T16:29:49Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• ManiTweet: A New Benchmark for Identifying Manipulation of News on Social Media [74.93847489218008]
  ソーシャルメディア上でのニュースの操作を識別し,ソーシャルメディア投稿の操作を検出し,操作された情報や挿入された情報を特定することを目的とした,新しいタスクを提案する。 この課題を研究するために,データ収集スキーマを提案し,3.6K対のツイートとそれに対応する記事からなるManiTweetと呼ばれるデータセットをキュレートした。 我々の分析では、このタスクは非常に難しいことを示し、大きな言語モデル(LLM)は不満足なパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2023-05-23T16:40:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。