論文の概要: WebTrust: An AI-Driven Data Scoring System for Reliable Information Retrieval
- arxiv url: http://arxiv.org/abs/2506.12072v1
- Date: Thu, 05 Jun 2025 01:48:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-22 23:32:14.624029
- Title: WebTrust: An AI-Driven Data Scoring System for Reliable Information Retrieval
- Title(参考訳): WebTrust: 信頼性の高い情報検索のためのAI駆動データスコーリングシステム
- Authors: Joydeep Chandra, Aleksandr Algazinov, Satyam Kumar Navneet, Rim El Filali, Matt Laing, Andrew Hanna,
- Abstract要約: 本稿では,WebTrustについて紹介する。WebTrustは,信頼性のある情報をオンラインで検索し,判断するプロセスを簡単にするシステムである。
WebTrustは信頼性スコア(0.1から1)を処理対象の各ステートメントに割り当てる。
これは、なぜそのスコアを受け取ったのかを明確に正当化するものだ。
- 参考スコア(独自算出の注目度): 37.369136261423094
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As access to information becomes more open and widespread, people are increasingly using AI tools for assistance. However, many of these tools struggle to estimate the trustworthiness of the information. Although today's search engines include AI features, they often fail to offer clear indicators of data reliability. To address this gap, we introduce WebTrust, a system designed to simplify the process of finding and judging credible information online. Built on a fine-tuned version of IBM's Granite-1B model and trained on a custom dataset, WebTrust works by assigning a reliability score (from 0.1 to 1) to each statement it processes. In addition, it offers a clear justification for why a piece of information received that score. Evaluated using prompt engineering, WebTrust consistently achieves superior performance compared to other small-scale LLMs and rule-based approaches, outperforming them across all experiments on MAE, RMSE, and R2. User testing showed that when reliability scores are displayed alongside search results, people feel more confident and satisfied with the information they find. With its accuracy, transparency, and ease of use, WebTrust offers a practical solution to help combat misinformation and make trustworthy information more accessible to everyone.
- Abstract(参考訳): 情報へのアクセスがよりオープンになり、普及するにつれて、人々はAIツールを使って支援している。
しかし、これらのツールの多くは、情報の信頼性を見積もるのに苦労しています。
今日の検索エンジンにはAI機能が含まれているが、データ信頼性の明確な指標を提供していないことが多い。
このギャップに対処するために、WebTrustは、オンラインで信頼できる情報を見つけ、判断するプロセスをシンプルにするためのシステムである。
IBMのGranite-1Bモデルの微調整バージョンに基づいて構築され、カスタムデータセットでトレーニングされたWebTrustは、処理する各ステートメントに信頼性スコア(0.1から1)を割り当てる。
さらに、なぜある情報がそのスコアを受け取ったのかを明確に正当化する。
迅速なエンジニアリングを用いて評価され、WebTrustは、他の小規模のLLMやルールベースのアプローチと比較して、一貫して優れた性能を達成し、MAE、RMSE、R2の全ての実験において、それらの性能を上回っている。
ユーザテストでは、信頼性スコアが検索結果と一緒に表示されると、人々はより自信を持ち、自分が見つけた情報に満足していると感じた。
その正確さ、透明性、使いやすさにより、WebTrustは、誤情報と戦うための実用的なソリューションを提供し、信頼できる情報を誰にとってもよりアクセスしやすいものにする。
関連論文リスト
- Bridging the Data Gap in AI Reliability Research and Establishing DR-AIR, a Comprehensive Data Repository for AI Reliability [4.769924694900377]
AI信頼性の研究における大きな課題は、特に学界の人々にとって、利用可能なAI信頼性データが不足していることである。
本稿では、利用可能なAI信頼性データの総合的なレビューを行い、AI信頼性データのためのデータレポジトリであるDR-AIRを確立する。
論文 参考訳(メタデータ) (2025-02-17T23:50:36Z) - Privacy-Preserving Verifiable Neural Network Inference Service [4.131956503199438]
我々は,クライアントデータサンプルのプライバシを保存するために,プライバシ保護と検証が可能なCNN推論手法を開発した。
vPINは、クライアントデータのプライバシ保証と証明可能な検証性を提供しながら、証明サイズの観点から高い効率を達成する。
論文 参考訳(メタデータ) (2024-11-12T01:09:52Z) - MisinfoEval: Generative AI in the Era of "Alternative Facts" [50.069577397751175]
本稿では,大規模言語モデル(LLM)に基づく誤情報介入の生成と評価を行うフレームワークを提案する。
本研究では,(1)誤情報介入の効果を測定するための模擬ソーシャルメディア環境の実験,(2)ユーザの人口動態や信念に合わせたパーソナライズされた説明を用いた第2の実験について述べる。
以上の結果から,LSMによる介入はユーザの行動の修正に極めて有効であることが確認された。
論文 参考訳(メタデータ) (2024-10-13T18:16:50Z) - Fostering Trust and Quantifying Value of AI and ML [0.0]
AIとML推論の信頼について多くの議論がなされているが、それが何を意味するのかを定義するためにはほとんど行われていない。
より信頼できる機械学習推論を生み出すことは、製品の価値を高めるための道です。
論文 参考訳(メタデータ) (2024-07-08T13:25:28Z) - Auditing and Generating Synthetic Data with Controllable Trust Trade-offs [54.262044436203965]
合成データセットとAIモデルを包括的に評価する総合監査フレームワークを導入する。
バイアスや差別の防止、ソースデータへの忠実性の確保、実用性、堅牢性、プライバシ保護などに焦点を当てている。
多様なユースケースにまたがる様々な生成モデルを監査することにより,フレームワークの有効性を実証する。
論文 参考訳(メタデータ) (2023-04-21T09:03:18Z) - KGTrust: Evaluating Trustworthiness of SIoT via Knowledge Enhanced Graph
Neural Networks [63.531790269009704]
ソーシャル・インターネット・オブ・モノ(Social Internet of Things, SIoT)は、スマート・オブジェクト(物)にソーシャルネットワークの概念を注入する、有望で新興のパラダイムである。
リスクと不確実性のため、解決すべき重要かつ緊急の問題は、SIoT内で信頼性の高い関係、すなわち信頼評価を確立することである。
本稿では,SIoTにおける信頼度向上のための知識強化グラフニューラルネットワーク(KGTrust)を提案する。
論文 参考訳(メタデータ) (2023-02-22T14:24:45Z) - HYCEDIS: HYbrid Confidence Engine for Deep Document Intelligence System [16.542137414609602]
本稿では,文書情報抽出作業における現在のディープラーニングモデルの信頼度を測定するための,完全かつ斬新なアーキテクチャを提案する。
本アーキテクチャは,マルチモーダル・コンフォーマル予測器と変分クラスタ指向異常検出器から構成される。
我々は,本アーキテクチャを実世界のデータセット上で評価し,競合する信頼度推定器を巨大なマージンで上回るだけでなく,分布外データに対する一般化能力を示す。
論文 参考訳(メタデータ) (2022-06-01T09:57:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。