論文の概要: From Articles to Publishers: Aggregating Language Model Predictions for News Source Reliability Inference

• arxiv url: http://arxiv.org/abs/2609.24219v1
• Date: Mon, 21 Sep 2026 07:36:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.183986
• Title: From Articles to Publishers: Aggregating Language Model Predictions for News Source Reliability Inference
• Title（参考訳）: 記事から出版者へ:ニュースソース信頼性推論のための言語モデル予測の集約
• Abstract要約: 本稿では,まずトランスフォーマーに基づく言語モデルを用いて,個々の記事の信頼性を推定する2段階のフレームワークを提案する。 そして、記事レベルの予測を集約して、以前は目に見えなかった出版社の信頼性を推測します。 NewsGuardの信頼性評価をラベル付けした439社の政治ニュース記事19,476件の実験は、集約が堅牢性とパフォーマンスを大幅に改善していることを示している。
• 参考スコア（独自算出の注目度）: 0.4666493857924358
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Traditionally, the reliability of news publishers is assessed by expert organisations that evaluate editorial practices, transparency and factual standards at source. When this process is translated into a computational approach, the problem is often formulated at the level of individual articles, with models being trained on a set of pre-labelled articles and their performance being evaluated in a test phase. In this work, we investigate news source reliability inference as a source-level prediction problem. We propose a two-stage framework in which transformer-based language models first estimate the reliability of individual articles and subsequently aggregate article-level predictions to infer the reliability of previously unseen publishers. To approximate realistic deployment conditions, we enforce a strict publisher-disjoint evaluation protocol, ensuring that no publisher appears in both training and test sets. Experiments on 19,476 political news articles from 439 English-language publishers labeled with NewsGuard reliability ratings show that aggregation substantially improves robustness and performance, increasing accuracy from approximately 0.60 at the article level to 0.69 at the publisher level. Finally, we analyze how prediction errors vary across political orientations, revealing statistically significant associations between political leaning and misclassification patterns. Overall, our findings show that publisher reliability can be inferred from aggregated textual signals alone, supporting scalable and content-based approaches to automated news source assessment.
• Abstract（参考訳）: 伝統的に、ニュース出版社の信頼性は、編集慣行、透明性、事実基準を情報源として評価する専門家組織によって評価される。 このプロセスが計算手法に変換されると、問題はしばしば個々の記事のレベルで定式化され、モデルが事前学習された記事のセットで訓練され、それらの性能がテストフェーズで評価される。 本研究では,情報源レベルの予測問題として,ニュースソースの信頼性推定について検討する。 本稿では,トランスフォーマーに基づく言語モデルを用いて,まず個々の記事の信頼性を推定し,その後に記事レベルの予測を集約し,未確認の出版社の信頼性を推定する2段階フレームワークを提案する。 現実的な展開条件を近似するために、我々は厳密なパブリッシャー不随行評価プロトコルを適用し、トレーニングセットとテストセットの両方にパブリッシャが存在しないことを保証します。 NewsGuardの信頼性評価でラベル付けされた439社の政治ニュース記事19,476件の実験では、アグリゲーションはロバスト性とパフォーマンスを大幅に改善し、記事レベルで約0.60からパブリッシャレベルで約0.69まで精度が向上した。 最後に、政治的傾向によって予測誤差がどう変化するかを分析し、政治的傾向と誤分類パターンの間に統計的に有意な関連があることを明らかにする。 全体として,出版社の信頼性は,集計されたテキスト信号のみから推定でき,スケーラブルでコンテンツベースのアプローチによる自動ニュースソース評価を支援することが示唆された。

関連論文リスト

• Conformal Reliability: A New Evaluation Metric for Conditional Generation [62.761166941396844]
  条件付き生成モデルは、近年、様々な応用において顕著な成功を収めている。 本稿では,信頼度を事前に設定した予測値に基づいて,信頼度という新たな評価指標を提案する。 本稿では, 予測セットの構築と, (ii) 構築した予測セット内の信頼性スコアを正確に最適化するフレームワークであるConformal Reliability(CReL)を紹介する。
  論文  参考訳（メタデータ） (2026-05-29T03:52:44Z)
• From Perceptions To Evidence: Detecting AI-Generated Content In Turkish News Media With A Fine-Tuned Bert Classifier [0.0]
  本研究では,トルコの大手メディア3社から3,600項目のラベル付きデータセット上で,トルコ固有のBERTモデルを微調整した。 これは一貫したクロスソースおよび時間的に安定な分類パターンを示し、平均予測信頼度は0.96を超えている。 トルコのニュースメディアにおいて、自己報告されたジャーナリストの認識を越えて、経験的、データ駆動によるAI使用率の測定へと移行した最初の研究である。
  論文  参考訳（メタデータ） (2026-02-13T22:29:00Z)
• Explaining News Bias Detection: A Comparative SHAP Analysis of Transformer Model Decision Mechanisms [0.2538209532048867]
  本稿では,BABEデータセットに微調整されたバイアス検出モデルと,BABEデータセットに微調整されたドメイン適応型RoBERTaモデルとの2つのバイアス検出モデルの比較解釈可能性について述べる。 モデルアーキテクチャの違いが言語バイアスをどう操作するかを特徴付けるために、正しい予測と不正確な予測にまたがる単語レベルの属性を分析する。
  論文  参考訳（メタデータ） (2025-12-29T19:58:11Z)
• Identifying and Mitigating Social Bias Knowledge in Language Models [52.52955281662332]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• Reliability Estimation of News Media Sources: Birds of a Feather Flock Together [0.7249731529275342]
  本稿では,強化学習戦略を活用した情報源信頼度推定手法を提案する。 本手法を,既存データセットよりも桁違いに大きいニュースメディア信頼性データセット上で検証した。 我々は、情報検証に取り組んでいるNLPコミュニティにとって貴重なリソースを提供することを目的として、実装とデータセットをリリースする。
  論文  参考訳（メタデータ） (2024-04-15T08:27:47Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Interpretable Fake News Detection with Topic and Deep Variational Models [2.15242029196761]
  我々は,解釈可能な特徴と手法を用いた偽ニュース検出に焦点をあてる。 我々は,テキストニュースの高密度表現を統合した深層確率モデルを開発した。 我々のモデルは最先端の競合モデルに匹敵する性能を達成する。
  論文  参考訳（メタデータ） (2022-09-04T05:31:00Z)
• Investigating Crowdsourcing Protocols for Evaluating the Factual Consistency of Summaries [59.27273928454995]
  要約に適用される現在の事前学習モデルは、ソーステキストを誤って表現したり、外部情報を導入したりする事実上の矛盾がちである。 評価ベースのLikertスケールとランキングベースのBest-Worst Scalingプロトコルを用いた,事実整合性のためのクラウドソーシング評価フレームワークを構築した。 ランキングベースのプロトコルは、データセット間の要約品質をより信頼性の高い尺度を提供するのに対して、Likertレーティングの信頼性はターゲットデータセットと評価設計に依存する。
  論文  参考訳（メタデータ） (2021-09-19T19:05:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。