論文の概要: WebTrust: An AI-Driven Data Scoring System for Reliable Information Retrieval

• arxiv url: http://arxiv.org/abs/2506.12072v1
• Date: Thu, 05 Jun 2025 01:48:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-22 23:32:14.624029
• Title: WebTrust: An AI-Driven Data Scoring System for Reliable Information Retrieval
• Title（参考訳）: WebTrust: 信頼性の高い情報検索のためのAI駆動データスコーリングシステム
• Authors: Joydeep Chandra, Aleksandr Algazinov, Satyam Kumar Navneet, Rim El Filali, Matt Laing, Andrew Hanna,
• Abstract要約: 本稿では,WebTrustについて紹介する。WebTrustは,信頼性のある情報をオンラインで検索し,判断するプロセスを簡単にするシステムである。 WebTrustは信頼性スコア(0.1から1)を処理対象の各ステートメントに割り当てる。 これは、なぜそのスコアを受け取ったのかを明確に正当化するものだ。
• 参考スコア（独自算出の注目度）: 37.369136261423094
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As access to information becomes more open and widespread, people are increasingly using AI tools for assistance. However, many of these tools struggle to estimate the trustworthiness of the information. Although today's search engines include AI features, they often fail to offer clear indicators of data reliability. To address this gap, we introduce WebTrust, a system designed to simplify the process of finding and judging credible information online. Built on a fine-tuned version of IBM's Granite-1B model and trained on a custom dataset, WebTrust works by assigning a reliability score (from 0.1 to 1) to each statement it processes. In addition, it offers a clear justification for why a piece of information received that score. Evaluated using prompt engineering, WebTrust consistently achieves superior performance compared to other small-scale LLMs and rule-based approaches, outperforming them across all experiments on MAE, RMSE, and R2. User testing showed that when reliability scores are displayed alongside search results, people feel more confident and satisfied with the information they find. With its accuracy, transparency, and ease of use, WebTrust offers a practical solution to help combat misinformation and make trustworthy information more accessible to everyone.
• Abstract（参考訳）: 情報へのアクセスがよりオープンになり、普及するにつれて、人々はAIツールを使って支援している。 しかし、これらのツールの多くは、情報の信頼性を見積もるのに苦労しています。 今日の検索エンジンにはAI機能が含まれているが、データ信頼性の明確な指標を提供していないことが多い。 このギャップに対処するために、WebTrustは、オンラインで信頼できる情報を見つけ、判断するプロセスをシンプルにするためのシステムである。 IBMのGranite-1Bモデルの微調整バージョンに基づいて構築され、カスタムデータセットでトレーニングされたWebTrustは、処理する各ステートメントに信頼性スコア(0.1から1)を割り当てる。 さらに、なぜある情報がそのスコアを受け取ったのかを明確に正当化する。 迅速なエンジニアリングを用いて評価され、WebTrustは、他の小規模のLLMやルールベースのアプローチと比較して、一貫して優れた性能を達成し、MAE、RMSE、R2の全ての実験において、それらの性能を上回っている。 ユーザテストでは、信頼性スコアが検索結果と一緒に表示されると、人々はより自信を持ち、自分が見つけた情報に満足していると感じた。 その正確さ、透明性、使いやすさにより、WebTrustは、誤情報と戦うための実用的なソリューションを提供し、信頼できる情報を誰にとってもよりアクセスしやすいものにする。

関連論文リスト

• Toward Verifiable Misinformation Detection: A Multi-Tool LLM Agent Framework [0.5999777817331317]
  本研究は、革新的な誤情報検出LLMエージェントを提案する。 エージェントは、多様なWebソースとの動的相互作用を通じて、クレームを積極的に検証する。 情報ソースの信頼性を評価し、証拠を合成し、完全な検証可能な推論プロセスを提供する。
  論文  参考訳（メタデータ） (2025-08-05T05:15:03Z)
• Grounding Synthetic Data Evaluations of Language Models in Unsupervised Document Corpora [9.871701356351542]
  言語モデル(LM)は進化を続け、応答品質と一貫性を改善している。 モデル品質、応答適性、推論能力を評価するために、数多くの評価ベンチマークが作成されている。 本稿では,文書群を基盤としたファクトベース合成データモデル評価の自動化手法を提案する。
  論文  参考訳（メタデータ） (2025-05-13T18:50:03Z)
• MICE for CATs: Model-Internal Confidence Estimation for Calibrating Agents with Tools [54.63478102768333]
  十分に校正されたモデル信頼度は、潜在的な行動の報酬に対するリスクを測るために使用することができる。 本稿では,ツール呼び出し時の信頼度を評価するために,モデル内信頼度推定器(MICE)の新たなクラスを提案する。
  論文  参考訳（メタデータ） (2025-04-28T18:06:38Z)
• DataSciBench: An LLM Agent Benchmark for Data Science [33.3811507234528]
  DataSciBenchは、データサイエンスにおけるLarge Language Model(LLM)の機能を評価するためのベンチマークである。 我々は、グラウンド・真実(GT)を生成し、評価指標を検証するための半自動パイプラインを開発した。 我々は、各コード実行結果を評価する革新的なTask-Function-Codeフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-19T17:31:51Z)
• Bridging the Data Gap in AI Reliability Research and Establishing DR-AIR, a Comprehensive Data Repository for AI Reliability [4.769924694900377]
  AI信頼性の研究における大きな課題は、特に学界の人々にとって、利用可能なAI信頼性データが不足していることである。 本稿では、利用可能なAI信頼性データの総合的なレビューを行い、AI信頼性データのためのデータレポジトリであるDR-AIRを確立する。
  論文  参考訳（メタデータ） (2025-02-17T23:50:36Z)
• Privacy-Preserving Verifiable Neural Network Inference Service [4.131956503199438]
  我々は,クライアントデータサンプルのプライバシを保存するために,プライバシ保護と検証が可能なCNN推論手法を開発した。 vPINは、クライアントデータのプライバシ保証と証明可能な検証性を提供しながら、証明サイズの観点から高い効率を達成する。
  論文  参考訳（メタデータ） (2024-11-12T01:09:52Z)
• MisinfoEval: Generative AI in the Era of "Alternative Facts" [50.069577397751175]
  本稿では,大規模言語モデル(LLM)に基づく誤情報介入の生成と評価を行うフレームワークを提案する。 本研究では,(1)誤情報介入の効果を測定するための模擬ソーシャルメディア環境の実験,(2)ユーザの人口動態や信念に合わせたパーソナライズされた説明を用いた第2の実験について述べる。 以上の結果から,LSMによる介入はユーザの行動の修正に極めて有効であることが確認された。
  論文  参考訳（メタデータ） (2024-10-13T18:16:50Z)
• Fostering Trust and Quantifying Value of AI and ML [0.0]
  AIとML推論の信頼について多くの議論がなされているが、それが何を意味するのかを定義するためにはほとんど行われていない。 より信頼できる機械学習推論を生み出すことは、製品の価値を高めるための道です。
  論文  参考訳（メタデータ） (2024-07-08T13:25:28Z)
• Evaluating Correctness and Faithfulness of Instruction-Following Models for Question Answering [26.34649731975005]
  Retriever-augmented instruction-following modelは、質問応答のための微調整アプローチ(QA)の魅力的な代替品である モデル応答は自然で流動的である傾向にあるが、追加の冗長性により、モデルパフォーマンスを正確に定量化するために従来のQA評価指標は信頼できない。 1) ユーザの情報要求(正確性)をどの程度満足させるか,2) 提供された知識(忠実性)に基づいて応答を生成するか,という2つの次元に沿って,これらのモデルを評価するために,自動評価と人的評価の両方を用いる。
  論文  参考訳（メタデータ） (2023-07-31T17:41:00Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Auditing and Generating Synthetic Data with Controllable Trust Trade-offs [54.262044436203965]
  合成データセットとAIモデルを包括的に評価する総合監査フレームワークを導入する。 バイアスや差別の防止、ソースデータへの忠実性の確保、実用性、堅牢性、プライバシ保護などに焦点を当てている。 多様なユースケースにまたがる様々な生成モデルを監査することにより,フレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-21T09:03:18Z)
• KGTrust: Evaluating Trustworthiness of SIoT via Knowledge Enhanced Graph Neural Networks [63.531790269009704]
  ソーシャル・インターネット・オブ・モノ(Social Internet of Things, SIoT)は、スマート・オブジェクト(物)にソーシャルネットワークの概念を注入する、有望で新興のパラダイムである。 リスクと不確実性のため、解決すべき重要かつ緊急の問題は、SIoT内で信頼性の高い関係、すなわち信頼評価を確立することである。 本稿では,SIoTにおける信頼度向上のための知識強化グラフニューラルネットワーク(KGTrust)を提案する。
  論文  参考訳（メタデータ） (2023-02-22T14:24:45Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• HYCEDIS: HYbrid Confidence Engine for Deep Document Intelligence System [16.542137414609602]
  本稿では,文書情報抽出作業における現在のディープラーニングモデルの信頼度を測定するための,完全かつ斬新なアーキテクチャを提案する。 本アーキテクチャは,マルチモーダル・コンフォーマル予測器と変分クラスタ指向異常検出器から構成される。 我々は,本アーキテクチャを実世界のデータセット上で評価し,競合する信頼度推定器を巨大なマージンで上回るだけでなく,分布外データに対する一般化能力を示す。
  論文  参考訳（メタデータ） (2022-06-01T09:57:34Z)
• VELVET: a noVel Ensemble Learning approach to automatically locate VulnErable sTatements [62.93814803258067]
  本稿では,ソースコード中の脆弱な文を見つけるための新しいアンサンブル学習手法であるVELVETを提案する。 我々のモデルは、グラフベースとシーケンスベースニューラルネットワークを組み合わせて、プログラムグラフの局所的およびグローバル的コンテキストを捕捉する。 VELVETは、合成データと実世界のデータに対して、それぞれ99.6%と43.6%の精度を達成している。
  論文  参考訳（メタデータ） (2021-12-20T22:45:27Z)
• Personalized multi-faceted trust modeling to determine trust links in social media and its potential for misinformation management [61.88858330222619]
  ソーシャルメディアにおけるピア間の信頼関係を予測するためのアプローチを提案する。 本稿では,データ駆動型多面信頼モデルを提案する。 信頼を意識したアイテムレコメンデーションタスクで説明され、提案したフレームワークを大規模なYelpデータセットのコンテキストで評価する。
  論文  参考訳（メタデータ） (2021-11-11T19:40:51Z)
• FacTeR-Check: Semi-automated fact-checking through Semantic Similarity and Natural Language Inference [61.068947982746224]
  FacTeR-Checkは、ファクトチェックされた情報の検索、未確認のクレームの検証、ソーシャルメディア上での危険な情報の追跡を可能にする。 このアーキテクチャは、NLI19-SPと呼ばれる新しいデータセットを使って検証されている。 この結果から,各ベンチマークにおける最先端性能と,61種類のホアックスの時間経過に伴う進化の有用な解析結果が得られた。
  論文  参考訳（メタデータ） (2021-10-27T15:44:54Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。