論文の概要: NewsBench: Expert-Grounded Evaluation of Epistemic Quality in AI News Reporting
- arxiv url: http://arxiv.org/abs/2610.33240v1
- Date: Fri, 23 Oct 2026 19:43:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.279859
- Title: NewsBench: Expert-Grounded Evaluation of Epistemic Quality in AI News Reporting
- Title（参考訳）: NewsBench:AIニュースレポートにおける専門知識によるてんかんの評価
- Abstract要約: NewsBenchはソース品質、事実性、中立性の3次元にわたって品質を運用する。
我々は,人間の専門家間の信頼関係と,3次元にわたるAI判断-人間合意の両方を報告する。
- 参考スコア（独自算出の注目度）: 3.390056800586011
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As frontier AI systems increasingly serve as sources of political and current-events information, evaluating the epistemic quality of their responses is now especially consequential. Existing evaluations often focus narrowly on ideological alignment, rely on measures not validated for this setting, or depend on reference labels derived from public opinion or non-expert annotation, potentially producing misleading or miscalibrated results. To address these limitations, we introduce NewsBench, an expert-grounded benchmark that reframes evaluation around editorial standards developed by senior practitioners in journalism, policy, and intelligence analysis. NewsBench operationalizes quality across three dimensions, source quality, factuality, and neutrality, using a two-phase pipeline in which domain experts first define and calibrate evaluation guidelines, which are then transferred to automated AI judges validated against expert-adjudicated gold labels. The benchmark includes approximately $3,000$ evaluation prompts, with roughly $500$ refreshed monthly to capture emerging current events, roughly $2,500$ human expert-annotated items for calibration and validation, and a suite of AI judges designed to enable scalable evaluation. To validate our methodology, we report both inter-rater reliability among human experts and AI judge--human agreement across all three dimensions. Finally, we apply NewsBench to four frontier models, revealing distinct and non-overlapping failure profiles in sourcing, factuality, and neutrality.
- Abstract（参考訳）: 最前線のAIシステムは、政治的および現在の情報源としてますます役立っているため、彼らの反応の疫学的な品質を評価することは、現在特に重要になっている。
既存の評価は、イデオロギー的アライメントに狭く焦点を合わせ、この設定に対して検証されていない措置に頼り、あるいは世論や非専門家の注釈から派生した基準ラベルに頼り、誤解を招く結果や誤解を招く可能性がある。
これらの制限に対処するため,我々は,ジャーナリズム,政策,インテリジェンス分析の上級実践者が開発する編集基準に関する評価を再構成する専門家によるベンチマークであるNewsBenchを紹介した。
NewsBenchは、ソース品質、事実性、中立性の3次元にわたる品質を運用する2フェーズパイプラインを使用して、ドメインの専門家がまず評価ガイドラインを定義し、校正し、その後、専門家が指定したゴールドラベルに対して検証された自動AI判断に転送する。
このベンチマークには、およそ3000ドルの評価プロンプトが含まれており、新興のイベントを捉えるために月500ドルのリフレッシュと、キャリブレーションとバリデーションのために人間専門家がアノテートした約2500ドルのアイテム、スケーラブルな評価を可能にするように設計されたAI審査員のスイートが含まれている。
提案手法を検証するために,人間の専門家間の相互信頼度と,3次元すべてにわたるAI判断-人間合意を報告した。
最後に、NewsBenchを4つのフロンティアモデルに適用し、ソーシング、事実性、中立性の異なる、重複しない障害プロファイルを明らかにします。
関連論文リスト
- Distilling Expert Judgment at Scale [3.390056800586011]
本稿では,専門家の判断を大規模に行う自動評価システムに蒸留する方法を提案する。
提案手法はドメインエキスパートのネットワークを集約し,結論だけでなく推論プロセスも抽出する手法を開発する。
第1のアプリケーションドメインとして,AIニュースレポートの方法論を検証する。
論文 参考訳（メタデータ） (2026-10-23T19:36:34Z) - How People Evaluate AI-, Expert-, and Peer-Style Financial Advice [12.349824122116688]
専門家のアドバイスは10の結果の9つについて、AIのアドバイスよりも好意的に評価された。
専門家のアドバイスが最も反応が高く、AIラベルの下ではアドバイススタイルの違いが最も目立った。
これらの結果から,ファイナンシャル・アドバイザ・アセスメントは,属性とメッセージレベルのコミュニケーション手段によって共同で形成されていることが示唆された。
論文 参考訳（メタデータ） (2026-08-10T02:19:03Z) - Frontier Financial Judgement: Can agents tell what might move a stock? [0.45446037335732087]
Frontier Financial Judgement(フロンティア・ファイナンシャル・ジャッジメント)は、専門家の人間の判断を再現するエージェントの能力を評価するために開発された新しいベンチマークである。
人造・ラベル付けされた合成記事と生のニュース記事と歴史資料を組み合わせて656項目のアセスメントを作成した。
GPT-5.6 Solは1%、Claude Sonnet 4.6は32%であった。
論文 参考訳（メタデータ） (2026-07-22T18:15:12Z) - Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。
本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。
提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
論文 参考訳（メタデータ） (2026-04-21T14:21:15Z) - DEER: A Comprehensive and Reliable Benchmark for Deep-Research Expert Reports [49.217247659479476]
ディープリサーチシステムは、多段階の推論とエビデンスベースの合成を通じて専門家レベルのレポートを生成することができる。
既存のベンチマークは、エキスパートレポートの体系的な基準を欠いていることが多い。
専門家レベルのディープリサーチレポートを評価するためのベンチマークであるDEERを紹介する。
論文 参考訳（メタデータ） (2025-12-19T16:46:20Z) - Towards Real-Time Fake News Detection under Evidence Scarcity [66.58597356379907]
本稿では,リアルタイムフェイクニュース検出のための新しいフレームワークである評価アウェア・セレクション・オブ・エキスパートズ(EASE)を提案する。
EASEは、利用可能な証拠の十分性を評価した意思決定プロセスに適合する。
本稿では,新興ニュースのモデル一般化を限られた証拠で評価するための新しいベンチマークであるRealTimeNews-25を紹介する。
論文 参考訳（メタデータ） (2025-10-13T11:11:46Z) - Benchmarking is Broken -- Don't Let AI be its Own Judge [22.93026946593552]
私たちは、AIを評価するための現在のlaissez-faireアプローチは持続不可能である、と論じます。
PeerBenchは、コミュニティが管理し、熟達した評価青写真である。
私たちのゴールは、完全性を回復し、真に信頼できるAI進歩の手段を提供するための評価の道を開くことです。
論文 参考訳（メタデータ） (2025-10-08T21:41:37Z) - AILuminate: Introducing v1.0 of the AI Risk and Reliability Benchmark from MLCommons [62.374792825813394]
本稿ではAI製品リスクと信頼性を評価するための業界標準ベンチマークとして,AIluminate v1.0を紹介する。
このベンチマークは、危険、違法、または望ましくない行動を12の危険カテゴリーで引き起こすように設計されたプロンプトに対するAIシステムの抵抗を評価する。
論文 参考訳（メタデータ） (2025-02-19T05:58:52Z) - Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。
本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。
本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
論文 参考訳（メタデータ） (2021-01-24T05:40:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。