論文の概要: ClaimTrust: Propagation Trust Scoring for RAG Systems

• arxiv url: http://arxiv.org/abs/2503.10702v1
• Date: Wed, 12 Mar 2025 07:52:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:08:22.877529
• Title: ClaimTrust: Propagation Trust Scoring for RAG Systems
• Title（参考訳）: ClaimTrust: RAGシステムのためのプロパゲーショントラストスコーリング
• Authors: Hangkai Qian, Bo Li, Qichen Wang,
• Abstract要約: ClaimTrustは、RAGシステムにおける文書の信頼性を動的に評価する、伝搬ベースの信頼評価フレームワークである。 我々は、政治ニュース記事814件を前処理し分析し、2,173件のユニークなクレームを抽出し、965件の有意義な関係を分類する。 ClaimTrustは、信頼に値する記事と信頼できない記事とを効果的に区別し、コンバージェンスまで信頼スコアを反復的に更新する。
• 参考スコア（独自算出の注目度）: 7.7690689135107425
• License:
• Abstract: The rapid adoption of retrieval-augmented generation (RAG) systems has revolutionized large-scale content generation but has also highlighted the challenge of ensuring trustworthiness in retrieved information. This paper introduces ClaimTrust, a propagation-based trust scoring framework that dynamically evaluates the reliability of documents in a RAG system. Using a modified PageRank-inspired algorithm, ClaimTrust propagates trust scores across documents based on relationships derived from extracted factual claims. We preprocess and analyze 814 political news articles from Kaggle's Fake News Detection Dataset to extract 2,173 unique claims and classify 965 meaningful relationships (supporting or contradicting). By representing the dataset as a document graph, ClaimTrust iteratively updates trust scores until convergence, effectively differentiating trustworthy articles from unreliable ones. Our methodology, which leverages embedding-based filtering for efficient claim comparison and relationship classification, achieves a 11.2% of significant connections while maintaining computational scalability. Experimental results demonstrate that ClaimTrust successfully assigns higher trust scores to verified documents while penalizing those containing false information. Future directions include fine-tuned claim extract and compare (Li et al., 2022), parameter optimization, enhanced language model utilization, and robust evaluation metrics to generalize the framework across diverse datasets and domains.
• Abstract（参考訳）: 検索強化世代システム(RAG)の急速な普及は、大規模コンテンツ生成に革命をもたらしたが、検索情報の信頼性を確保するという課題も浮き彫りにした。 本稿では,RAGシステムにおける文書の信頼性を動的に評価する,伝播に基づく信頼度評価フレームワークであるCraimTrustを紹介する。 ClaimTrustは、修正されたPageRankにインスパイアされたアルゴリズムを使用して、抽出された事実的クレームから派生した関係に基づいて、ドキュメント間で信頼スコアを伝搬する。 我々は、KaggleのFake News Detection Datasetから814の政治ニュース記事の事前処理と分析を行い、2,173のユニークなクレームを抽出し、965の有意義な関係(支持または矛盾)を分類する。 ClaimTrustは、データセットをドキュメントグラフとして表現することで、信頼に値する記事と信頼できない記事とを効果的に区別し、コンバージェンスまで信頼スコアを反復的に更新する。 提案手法は,効率的なクレーム比較と関係分類のために埋め込みに基づくフィルタリングを利用しており,計算スケーラビリティを維持しながら,11.2%の有意な接続を実現している。 実験の結果,CrimTrustは偽情報を含む文書をペナルティ化しながら,高い信頼度を証明された文書に割り当てることに成功した。 将来的な方向性としては、微調整されたクレーム抽出と比較(Li et al , 2022)、パラメータ最適化、言語モデル利用の強化、さまざまなデータセットやドメインにまたがるフレームワークを一般化するための堅牢な評価指標などがある。

関連論文リスト

• Cognitive-Aligned Document Selection for Retrieval-augmented Generation [2.9060210098040855]
  本稿では,クエリを動的に更新し,高品質で信頼性の高い検索文書をフィルタリングするGGatrievalを提案する。 ユーザクエリを構文コンポーネントにパースし、検索したドキュメントときめ細かいグラウンドアライメントを実行する。 提案手法では,検索した文書をフィルタリングするための新しい基準を導入し,ターゲット情報を取得するための人的戦略を密にエミュレートする。
  論文  参考訳（メタデータ） (2025-02-17T13:00:15Z)
• TrustRAG: Enhancing Robustness and Trustworthiness in RAG [31.231916859341865]
  TrustRAGは、世代ごとに取得される前に、妥協されたコンテンツと無関係なコンテンツを体系的にフィルタリングするフレームワークである。 TrustRAGは、既存のアプローチと比較して、検索精度、効率、攻撃抵抗を大幅に改善している。
  論文  参考訳（メタデータ） (2025-01-01T15:57:34Z)
• Retrieval-Augmented Generation with Estimation of Source Reliability [15.69681944254975]
  Reliability-Aware RAG (RA-RAG) は複数のソースの信頼性を推定し、この情報を検索プロセスと集約プロセスの両方に組み込む。 異質なソース信頼性を持つ実世界のシナリオを反映したベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-10-30T12:09:29Z)
• CONFLARE: CONFormal LArge language model REtrieval [0.0]
  Retrieval-augmented Generation (RAG)フレームワークは、大規模言語モデル(LLM)が知識ベースから関連する情報を検索し、応答を生成するコンテキストに組み込むことを可能にする。 RAGは、検索が必要な情報を応答生成のコンテキストとして識別できない場合、有効な応答を保証しない。 本稿では,RAGフレームワークにおける検索不確実性を定量化するために,共形予測を適用するための4段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-04T02:58:21Z)
• Fact Checking Beyond Training Set [64.88575826304024]
  本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。 本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。 次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
  論文  参考訳（メタデータ） (2024-03-27T15:15:14Z)
• TrustScore: Reference-Free Evaluation of LLM Response Trustworthiness [58.721012475577716]
  大規模言語モデル(LLM)は、様々な領域にまたがる印象的な能力を示しており、その実践的応用が急増している。 本稿では,行動整合性の概念に基づくフレームワークであるTrustScoreを紹介する。
  論文  参考訳（メタデータ） (2024-02-19T21:12:14Z)
• TrustGuard: GNN-based Robust and Explainable Trust Evaluation with Dynamicity Support [59.41529066449414]
  本稿では,信頼度を考慮した信頼度評価モデルであるTrustGuardを提案する。 TrustGuardは、スナップショット入力層、空間集約層、時間集約層、予測層を含む階層アーキテクチャで設計されている。 実験により、TrustGuardは、シングルタイムスロットとマルチタイムスロットの信頼予測に関して、最先端のGNNベースの信頼評価モデルより優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-23T07:39:12Z)
• Birds of a Feather Trust Together: Knowing When to Trust a Classifier via Adaptive Neighborhood Aggregation [30.34223543030105]
  我々は、NeighborAggがアダプティブ近隣アグリゲーションを介して2つの重要な情報を利用する方法を示す。 また, 誤り検出の密接な関連課題へのアプローチを拡張し, 偽陰性境界に対する理論的カバレッジを保証する。
  論文  参考訳（メタデータ） (2022-11-29T18:43:15Z)
• TrustGNN: Graph Neural Network based Trust Evaluation via Learnable Propagative and Composable Nature [63.78619502896071]
  信頼評価は、サイバーセキュリティ、ソーシャルコミュニケーション、レコメンダシステムなど、多くのアプリケーションにとって重要である。 本稿では,信頼グラフの伝播性および構成性を考慮した新しい信頼評価手法TrustGNNを提案する。 具体的には、TrustGNNは、異なる伝播過程のための特定の伝播パターンを設計し、新しい信頼を生み出すための異なる伝播過程の貢献を区別する。
  論文  参考訳（メタデータ） (2022-05-25T13:57:03Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)
• REAM$\sharp$: An Enhancement Approach to Reference-based Evaluation Metrics for Open-domain Dialog Generation [63.46331073232526]
  オープンドメイン対話システムにおける参照ベースのEvAluation Metricsの拡張手法を提案する。 予測モデルは、与えられた基準セットの信頼性を推定するように設計されている。 本稿では,その予測結果が参照集合の増大にどのように役立つかを示し,測定値の信頼性を向上させる。
  論文  参考訳（メタデータ） (2021-05-30T10:04:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。