論文の概要: Reliability Estimation of News Media Sources: Birds of a Feather Flock Together

• arxiv url: http://arxiv.org/abs/2404.09565v1
• Date: Mon, 15 Apr 2024 08:27:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 13:00:02.006294
• Title: Reliability Estimation of News Media Sources: Birds of a Feather Flock Together
• Title（参考訳）: ニュースメディアソースの信頼性評価:Father Flock を併用した鳥
• Authors: Sergio Burdisso, Dairazalia Sánchez-Cortés, Esaú Villatoro-Tello, Petr Motlicek,
• Abstract要約: 本稿では,強化学習戦略を活用した情報源信頼度推定手法を提案する。 本手法を,既存データセットよりも桁違いに大きいニュースメディア信頼性データセット上で検証した。 我々は、情報検証に取り組んでいるNLPコミュニティにとって貴重なリソースを提供することを目的として、実装とデータセットをリリースする。
• 参考スコア（独自算出の注目度）: 0.7249731529275342
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating the reliability of news sources is a routine task for journalists and organizations committed to acquiring and disseminating accurate information. Recent research has shown that predicting sources' reliability represents an important first-prior step in addressing additional challenges such as fake news detection and fact-checking. In this paper, we introduce a novel approach for source reliability estimation that leverages reinforcement learning strategies for estimating the reliability degree of news sources. Contrary to previous research, our proposed approach models the problem as the estimation of a reliability degree, and not a reliability label, based on how all the news media sources interact with each other on the Web. We validated the effectiveness of our method on a news media reliability dataset that is an order of magnitude larger than comparable existing datasets. Results show that the estimated reliability degrees strongly correlates with journalists-provided scores (Spearman=0.80) and can effectively predict reliability labels (macro-avg. F$_1$ score=81.05). We release our implementation and dataset, aiming to provide a valuable resource for the NLP community working on information verification.
• Abstract（参考訳）: ニュースソースの信頼性を評価することは、ジャーナリストや組織が正確な情報を取得し、広めることを約束する日常的なタスクである。 近年の研究では、情報源の信頼性を予測することは、フェイクニュースの検出やファクトチェックといった新たな課題に対処する上で、重要な第一歩であることが示されている。 本稿では,ニュースソースの信頼性度を推定するための強化学習戦略を活用する,新たな信頼性推定手法を提案する。 従来の研究とは対照的に,提案手法では,すべてのニュースメディアソースがWeb上でどのように相互作用するかに基づいて,信頼性の度合いを推定し,信頼性ラベルではなく,その問題をモデル化する。 提案手法の有効性を,既存データセットよりも桁違いに大きいニュースメディア信頼性データセット上で検証した。 その結果、推定信頼性度はジャーナリストが提供するスコア(Spearman=0.80)と強く相関し、信頼性ラベル(macro-avg. F$_1$ score=81.05)を効果的に予測できることがわかった。 我々は,情報検証に取り組んでいるNLPコミュニティにとって貴重なリソースを提供することを目的として,実装とデータセットをリリースする。

関連論文リスト

• A Survey on Automatic Credibility Assessment of Textual Credibility Signals in the Era of Large Language Models [6.538395325419292]
  信頼性評価は基本的に、信頼性信号の集約に基づくものである。 信頼性信号はより粒度が高く、説明が容易で、広く活用可能な情報を提供する。 信頼性の自動評価と信頼性信号の検出に関する研究の活発化は、高度に断片化され相互相互接続が欠如しているとして特徴付けられる。
  論文  参考訳（メタデータ） (2024-10-28T17:51:08Z)
• RELIANCE: Reliable Ensemble Learning for Information and News Credibility Evaluation [0.0]
  ReLIANCEは、堅牢な情報と偽ニュース信頼性評価のために設計された、先駆的なアンサンブル学習システムである。 サポートベクトルマシン(SVM)、ナイーブベイズ(英語版)、ロジスティック回帰(英語版)、ランダムフォレスト(英語版)、双方向長短期記憶ネットワーク(BiLSTM)を含む5つの多様なベースモデルが組み込まれている。 実験では、個々のモデルよりもRELIANCEの方が優れていることが示され、信頼できない情報ソースと信頼できない情報ソースを区別する効果が示された。
  論文  参考訳（メタデータ） (2024-01-17T13:11:09Z)
• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)
• Trust, but Verify: Using Self-Supervised Probing to Improve Trustworthiness [29.320691367586004]
  我々は、訓練されたモデルに対する自信の過剰な問題をチェックおよび緩和することのできる、自己教師型探索の新しいアプローチを導入する。 既存の信頼性関連手法に対して,プラグイン・アンド・プレイ方式で柔軟に適用可能な,シンプルで効果的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-02-06T08:57:20Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Interpretable Fake News Detection with Topic and Deep Variational Models [2.15242029196761]
  我々は,解釈可能な特徴と手法を用いた偽ニュース検出に焦点をあてる。 我々は,テキストニュースの高密度表現を統合した深層確率モデルを開発した。 我々のモデルは最先端の競合モデルに匹敵する性能を達成する。
  論文  参考訳（メタデータ） (2022-09-04T05:31:00Z)
• DeepTrust: A Reliable Financial Knowledge Retrieval Framework For Explaining Extreme Pricing Anomalies [0.0]
  DeepTrustは、Twitter上の信頼できる金融知識検索フレームワークで、極端な価格変動を高速で説明する。 提案するフレームワークは,異常検出,情報検索,信頼性評価のための3つのモジュールから構成される。 このフレームワークは2021年4月29日と30日の2つの自己注釈付き金融異常、すなわちTwitterとFacebookの株価で評価されている。
  論文  参考訳（メタデータ） (2022-03-11T06:29:22Z)
• Investigating Crowdsourcing Protocols for Evaluating the Factual Consistency of Summaries [59.27273928454995]
  要約に適用される現在の事前学習モデルは、ソーステキストを誤って表現したり、外部情報を導入したりする事実上の矛盾がちである。 評価ベースのLikertスケールとランキングベースのBest-Worst Scalingプロトコルを用いた,事実整合性のためのクラウドソーシング評価フレームワークを構築した。 ランキングベースのプロトコルは、データセット間の要約品質をより信頼性の高い尺度を提供するのに対して、Likertレーティングの信頼性はターゲットデータセットと評価設計に依存する。
  論文  参考訳（メタデータ） (2021-09-19T19:05:00Z)
• Hidden Biases in Unreliable News Detection Datasets [60.71991809782698]
  データ収集中の選択バイアスがデータセットの望ましくないアーティファクトにつながることを示す。 クリーンスプリットでテストされたすべてのモデルに対して,列車/テストソースの重なりが無く,精度が大幅に低下した(>10%)。 将来的なデータセット生成には、困難/バイアスプローブとしての単純なモデルと、クリーンな非重複サイトと日付分割を使用する将来のモデル開発が含まれることを提案する。
  論文  参考訳（メタデータ） (2021-04-20T17:16:41Z)
• Learning from Similarity-Confidence Data [94.94650350944377]
  類似度信頼性(Sconf)データから学習する新しい弱監督学習問題について検討する。 本研究では,Sconfデータのみから計算可能な分類リスクの非バイアス推定器を提案し,推定誤差境界が最適収束率を達成することを示す。
  論文  参考訳（メタデータ） (2021-02-13T07:31:16Z)
• Fair Densities via Boosting the Sufficient Statistics of Exponential Families [72.34223801798422]
  フェアネスのためのデータ前処理にブースティングアルゴリズムを導入する。 私たちのアプローチは、最小限の公平性を確保しながら、より良いデータフィッティングへとシフトします。 実世界のデータに結果の質を示す実験結果が提示される。
  論文  参考訳（メタデータ） (2020-12-01T00:49:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。