論文の概要: On Detecting Cherry-picking in News Coverage Using Large Language Models
- arxiv url: http://arxiv.org/abs/2401.05650v1
- Date: Thu, 11 Jan 2024 04:03:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-12 19:55:34.355327
- Title: On Detecting Cherry-picking in News Coverage Using Large Language Models
- Title（参考訳）: 大規模言語モデルを用いたニュース記事のチェリーピッキング検出について
- Authors: Israa Jaradat, Haiqi Zhang, Chengkai Li
- Abstract要約: 本研究は,ニュース記事中のチェリーピック文を自動的に検出する革新的な手法であるチェリーを紹介した。
チェリーは、複数のソースからのニュース報道を分析して、チェリーピッキングの事例を特定する。
我々の最高のパフォーマンスモデルは、未確認のニュース記事のセットでテストした場合に重要文を検出する際のF-1スコアを約89パーセント達成する。
- 参考スコア（独自算出の注目度）: 1.6030870916053663
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cherry-picking refers to the deliberate selection of evidence or facts that
favor a particular viewpoint while ignoring or distorting evidence that
supports an opposing perspective. Manually identifying instances of
cherry-picked statements in news stories can be challenging, particularly when
the opposing viewpoint's story is absent. This study introduces Cherry, an
innovative approach for automatically detecting cherry-picked statements in
news articles by finding missing important statements in the target news story.
Cherry utilizes the analysis of news coverage from multiple sources to identify
instances of cherry-picking. Our approach relies on language models that
consider contextual information from other news sources to classify statements
based on their importance to the event covered in the target news story.
Furthermore, this research introduces a novel dataset specifically designed for
cherry-picking detection, which was used to train and evaluate the performance
of the models. Our best performing model achieves an F-1 score of about %89 in
detecting important statements when tested on unseen set of news stories.
Moreover, results show the importance incorporating external knowledge from
alternative unbiased narratives when assessing a statement's importance.
- Abstract（参考訳）: チェリーピッキング(Cherry-picking)とは、特定の視点を好んだ証拠や事実を意図的に選び、反対の視点を支持する証拠を無視したり歪んだりすることを指す。
ニュース記事中のチェリー選択文のインスタンスを手動で識別することは、特に相手の視点がない場合、難しい。
本研究は, ニュース記事中の重要文の欠落を検知して, ニュース記事中のサクラ抽出文を自動的に検出する, 革新的なアプローチであるCherryを紹介する。
cherryは、複数のソースからのニュースカバレッジの分析を使用して、チェリーピッキングのインスタンスを識別する。
我々のアプローチは、他のニュースソースからの文脈情報を考慮して、ターゲットのニュースストーリーでカバーされるイベントの重要性に基づいて文を分類する言語モデルに依存している。
さらに,モデルの性能を訓練し評価するために,チェリーピッキング検出用に特別に設計された新しいデータセットを提案する。
我々の最高のパフォーマンスモデルは、未確認のニュース記事のセットでテストした場合に重要文を検出する際のF-1スコアを約89パーセント達成する。
さらに,論文の重要度を評価する際に,他の物語から外部知識を取り入れることの重要性が示唆された。
関連論文リスト
- Causal Micro-Narratives [62.47217054314046]
テキストから因果マイクロナラティブを分類する新しい手法を提案する。
これらの物語は、対象対象の因果関係と/または効果の文レベルの説明である。
論文 参考訳（メタデータ） (2024-10-07T17:55:10Z) - Examining the Limitations of Computational Rumor Detection Models Trained on Static Datasets [30.315424983805087]
本稿では,コンテンツとコンテキストベースモデルのパフォーマンスギャップを詳細に評価する。
我々の経験的結果は、コンテキストベースのモデルは、まだ噂のソース投稿から得られた情報に過度に依存していることを示している。
実験結果に基づき,静的データセットにおける時間的概念ドリフトの影響を最小限に抑えるための実践的な提案を行った。
論文 参考訳（メタデータ） (2023-09-20T18:27:19Z) - Interpretable Detection of Out-of-Context Misinformation with Neural-Symbolic-Enhanced Large Multimodal Model [16.348950072491697]
誤報の作者は、ニュース検出システムや偽ニュースを騙すために、マルチメディア以外のコンテンツを使う傾向が強まっている。
この新たなタイプの誤報は、検出だけでなく、個々のモダリティが真の情報に十分近いため、明確化の難しさも増す。
本稿では,不一致のペアと相互の矛盾を同時に識別する,解釈可能なクロスモーダル・デコンテクスト化検出を実現する方法について検討する。
論文 参考訳（メタデータ） (2023-04-15T21:11:55Z) - Towards Corpus-Scale Discovery of Selection Biases in News Coverage:
Comparing What Sources Say About Entities as a Start [65.28355014154549]
本稿では,大規模ニュースコーパスにおけるニュースコンテンツから直接メディア選択バイアスのパターンを発見するために,スケーラブルなNLPシステムを構築する上での課題について検討する。
我々は,世界519のニュースソースから180万件のニュース記事のコーパスであるNELA-2020のケーススタディを通じて,フレームワークの能力を示す。
論文 参考訳（メタデータ） (2023-04-06T23:36:45Z) - Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。
また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。
我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
論文 参考訳（メタデータ） (2023-03-14T16:11:47Z) - Contextual information integration for stance detection via
cross-attention [59.662413798388485]
スタンス検出は、著者の目標に対する姿勢を特定することを扱う。
既存のスタンス検出モデルの多くは、関連するコンテキスト情報を考慮していないため、制限されている。
文脈情報をテキストとして統合する手法を提案する。
論文 参考訳（メタデータ） (2022-11-03T15:04:29Z) - A Coarse-to-fine Cascaded Evidence-Distillation Neural Network for
Explainable Fake News Detection [15.517424861844317]
既存のフェイクニュース検出手法は、ニュースの一部を真または偽と分類し、説明を提供することを目的としており、優れたパフォーマンスを達成している。
あるニュースが事実確認され、あるいは公表されていない場合、関連する生のレポートは、通常、様々なメディアに散発的に配信される。
そこで本稿では, 偽ニュース検出のためのニューラルネットワークCofCED(Coarse-to-fine Cascaded Evidence-Distillation)を提案する。
論文 参考訳（メタデータ） (2022-09-29T09:05:47Z) - Probing via Prompting [71.7904179689271]
本稿では,探索をプロンプトタスクとして定式化することで,新しいモデルフリーな探索手法を提案する。
我々は5つの探索課題について実験を行い、我々のアプローチが診断プローブよりも情報抽出に優れていることを示す。
次に,その特性に不可欠な頭部を除去し,言語モデリングにおけるモデルの性能を評価することにより,事前学習のための特定の言語特性の有用性を検討する。
論文 参考訳（メタデータ） (2022-07-04T22:14:40Z) - Automated Evidence Collection for Fake News Detection [11.324403127916877]
本稿では,現在行われている偽ニュース検出手法を改良した新しい手法を提案する。
提案手法は,Web記事からエビデンスを抽出し,エビデンスとして扱うための適切なテキストを選択する。
我々の実験は、機械学習とディープラーニングに基づく手法の両方を用いて、我々のアプローチを広範囲に評価するのに役立つ。
論文 参考訳（メタデータ） (2021-12-13T09:38:41Z) - Machine Learning Explanations to Prevent Overtrust in Fake News
Detection [64.46876057393703]
本研究では、ニュースレビュープラットフォームに組み込んだ説明可能なAIアシスタントが、フェイクニュースの拡散と戦う効果について検討する。
我々は、ニュースレビューと共有インターフェースを設計し、ニュース記事のデータセットを作成し、4つの解釈可能なフェイクニュース検出アルゴリズムを訓練する。
説明可能なAIシステムについてより深く理解するために、説明プロセスにおけるユーザエンゲージメント、メンタルモデル、信頼、パフォーマンス対策の相互作用について議論する。
論文 参考訳（メタデータ） (2020-07-24T05:42:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。