論文の概要: Can temporal article-level credibility signals improve domain-level credibility prediction?
- arxiv url: http://arxiv.org/abs/2607.04560v1
- Date: Mon, 06 Jul 2026 00:21:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.980332
- Title: Can temporal article-level credibility signals improve domain-level credibility prediction?
- Title（参考訳）: 時間的記事レベルの信頼性信号はドメインレベルの信頼性予測を改善することができるか?
- Abstract要約: 専門的な評価を基礎としたドメイン信頼性評価のための時間的フレームワークである、ドメイン信頼性評価フレームワーク(DCEF)を紹介します。
DCEFにより、専門家のファクトチェッカーのワークフローに従って、公開記事からWebドメインの信頼性を評価することができるかどうかを調査できる。
- 参考スコア（独自算出の注目度）: 7.242712564607927
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Web domain credibility evaluation is vital for combating misinformation. It is conducted by examining factors such as domain type, transparency, and overall reputation. However, assessing the credibility of newly emerging web domains remains challenging since they have no reputation yet. Expert fact-checkers evaluate the credibility of domains by analyzing the content of their articles, including the presence of misinformation, bias, or propaganda. Yet, the ease of large-scale content generation enabled by LLMs has accelerated the creation of new content, rendering manual assessment insufficient and underscoring the need for automated approaches to domain credibility evaluation. In this paper, we introduce our Domain Credibility Evaluation Framework (DCEF), a temporal framework for domain credibility evaluation grounded in expert ratings. DCEF enables us to investigate whether the credibility of web domains can be assessed from their published articles following the workflow of expert fact-checkers, without any prior knowledge of the source domains themselves.
- Abstract（参考訳）: Web ドメインの信頼性評価は誤情報に対処するために不可欠である。
ドメインタイプ、透明性、全体的な評価などの要因を調べて実施する。
しかし、新しいWebドメインの信頼性を評価することは、まだ評判がないため、依然として困難である。
専門家のファクトチェックは、誤った情報、偏見、プロパガンダの存在を含む記事の内容を分析することによって、ドメインの信頼性を評価する。
しかし,LLMによる大規模コンテンツ生成の容易化により,新たなコンテンツ作成が促進され,手作業による評価が不十分になり,ドメイン信頼性評価への自動アプローチの必要性が強調された。
本稿では,専門家評価に基づくドメイン信頼性評価のための時間的フレームワークである,ドメイン信頼性評価フレームワーク(DCEF)を紹介する。
DCEFは、専門家のファクトチェッカーのワークフローに従って、Webドメインの信頼性を、ソースドメイン自体の事前の知識なしに、公開記事から評価できるかどうかを調査することを可能にする。
関連論文リスト
- Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。
本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。
提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
論文 参考訳（メタデータ） (2026-04-21T14:21:15Z) - Towards Real-Time Fake News Detection under Evidence Scarcity [66.58597356379907]
本稿では,リアルタイムフェイクニュース検出のための新しいフレームワークである評価アウェア・セレクション・オブ・エキスパートズ(EASE)を提案する。
EASEは、利用可能な証拠の十分性を評価した意思決定プロセスに適合する。
本稿では,新興ニュースのモデル一般化を限られた証拠で評価するための新しいベンチマークであるRealTimeNews-25を紹介する。
論文 参考訳（メタデータ） (2025-10-13T11:11:46Z) - Benchmarking is Broken -- Don't Let AI be its Own Judge [22.93026946593552]
私たちは、AIを評価するための現在のlaissez-faireアプローチは持続不可能である、と論じます。
PeerBenchは、コミュニティが管理し、熟達した評価青写真である。
私たちのゴールは、完全性を回復し、真に信頼できるAI進歩の手段を提供するための評価の道を開くことです。
論文 参考訳（メタデータ） (2025-10-08T21:41:37Z) - LiRA: A Multi-Agent Framework for Reliable and Readable Literature Review Generation [66.09346158850308]
文献レビュープロセスをエミュレートする多エージェント協調ワークフローLiRA(Literature Review Agents)を提案する。
LiRAは、コンテンツアウトライン、サブセクションの執筆、編集、レビュー、コヒーシブで包括的なレビュー記事の作成に特殊エージェントを使用している。
実世界のシナリオにおいて文書検索を用いてLiRAを評価し,そのロバスト性を評価する。
論文 参考訳（メタデータ） (2025-10-01T12:14:28Z) - Automatic Reviewers Fail to Detect Faulty Reasoning in Research Papers: A New Counterfactual Evaluation Framework [55.078301794183496]
我々は、高品質なピアレビューを支えるコアレビュースキル、すなわち欠陥のある研究ロジックの検出に注力する。
これは、論文の結果、解釈、クレームの間の内部の一貫性を評価することを含む。
本稿では,このスキルを制御条件下で分離し,テストする,完全自動対物評価フレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-29T08:48:00Z) - Hallucination to Truth: A Review of Fact-Checking and Factuality Evaluation in Large Language Models [2.0861090421004937]
大規模言語モデル(LLM)は、不正確なコンテンツや誤解を招くコンテンツを含む多種多様なインターネットコーパスで訓練されている。
本総説では,LLM生成したコンテンツが現実の精度でどのように評価されるかを系統的に分析する。
論文 参考訳（メタデータ） (2025-08-05T19:20:05Z) - Aurora: Are Android Malware Classifiers Reliable and Stable under Distribution Shift? [51.12297424766236]
AURORAは、その信頼性と運用上のレジリエンスに基づいて、マルウェア分類器を評価するためのフレームワークである。
AURORAは、ポイント・イン・タイムのパフォーマンスを超えるように設計されたメトリクスのセットによって補完される。
さまざまなドリフトのデータセットにわたるSOTAフレームワークの脆弱性は、ホワイトボードへの復帰の必要性を示唆している。
論文 参考訳（メタデータ） (2025-05-28T20:22:43Z) - OpenReview Should be Protected and Leveraged as a Community Asset for Research in the Era of Large Language Models [55.21589313404023]
OpenReviewは、研究論文、ピアレビュー、著者の反論、メタレビュー、決定結果の継続的な進化を続けるリポジトリである。
OpenReviewは、ピアレビュープロセスの品質、スケーラビリティ、説明責任の向上、真に専門家の議論に根ざした有意義でオープンなベンチマークの実現、専門家の評価、意図、科学的価値を反映した現実世界のインタラクションによるアライメント研究の支援という、ユニークな貢献が可能な3つの領域を強調します。
コミュニティは、OpenReviewに関する標準化されたベンチマークと利用ガイドラインを共同で検討し、責任あるデータの使用、倫理的考慮、集団スチュワードシップに関するより広範な対話を招待することを提案します。
論文 参考訳（メタデータ） (2025-05-24T09:07:13Z) - DomainDynamics: Lifecycle-Aware Risk Timeline Construction for Domain Names [2.6217304977339473]
DomainDynamicsは、ライフサイクル段階を考慮してドメイン名のリスクを予測するように設計された新しいシステムである。
マルウェアやフィッシングインシデントから85,000以上の実際の悪意のあるドメインを含む実験で、DomainDynamicsは82.58%の検出率を獲得し、偽陽性率は0.41%だった。
論文 参考訳（メタデータ） (2024-10-02T23:33:13Z) - TrustScore: Reference-Free Evaluation of LLM Response Trustworthiness [58.721012475577716]
大規模言語モデル(LLM)は、様々な領域にまたがる印象的な能力を示しており、その実践的応用が急増している。
本稿では,行動整合性の概念に基づくフレームワークであるTrustScoreを紹介する。
論文 参考訳（メタデータ） (2024-02-19T21:12:14Z) - Linked Credibility Reviews for Explainable Misinformation Detection [1.713291434132985]
本稿では,誤情報検出に協力する分散ボットのネットワーク構築に使用できるCR(Credibility Reviews)のコアコンセプトに基づくアーキテクチャを提案する。
CRは、(i)Webコンテンツのグラフを構成するためのビルディングブロックとして機能し、(ii)既存の信頼性信号 --fact-checked claimsとWebサイトの評判評価 -- を構成し、(iii)自動的に計算されたレビューを生成する。
このアーキテクチャは、.orgへの軽量な拡張と、意味的類似性と姿勢検出のための汎用的なNLPタスクを提供するサービスの上に実装されている。
論文 参考訳（メタデータ） (2020-08-28T16:55:43Z) - Information Credibility in the Social Web: Contexts, Approaches, and
Open Issues [2.2133187119466116]
信頼性(英語: Cliability)とは、個人によって認識される品質であり、必ずしも自分の認知能力と偽の情報とを区別できるわけではない。
ソーシャルメディアにおける信頼性を自動的に評価するためのいくつかのアプローチが提案されている。
論文 参考訳（メタデータ） (2020-01-26T15:42:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。