論文の概要: Structured Relevance Assessment for Robust Retrieval-Augmented Language Models
- arxiv url: http://arxiv.org/abs/2507.21287v1
- Date: Mon, 28 Jul 2025 19:20:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-30 17:08:55.253543
- Title: Structured Relevance Assessment for Robust Retrieval-Augmented Language Models
- Title（参考訳）: ロバスト検索言語モデルの構造的関連性評価
- Authors: Aryan Raj, Astitva Veer Garg, Anitha D,
- Abstract要約: 本稿では,ALMのロバスト性を高める構造的妥当性評価フレームワークを提案する。
提案手法では,セマンティックマッチングとソース信頼性の両方を考慮した多次元スコアリングシステムを採用している。
予備評価では、幻覚率の大幅な低下と推論過程の透明性の向上が示されている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval-Augmented Language Models (RALMs) face significant challenges in reducing factual errors, particularly in document relevance evaluation and knowledge integration. We introduce a framework for structured relevance assessment that enhances RALM robustness through improved document evaluation, balanced intrinsic and external knowledge integration, and effective handling of unanswerable queries. Our approach employs a multi-dimensional scoring system that considers both semantic matching and source reliability, utilizing embedding-based relevance scoring and synthetic training data with mixed-quality documents. We implement specialized benchmarking on niche topics, a knowledge integration mechanism, and an "unknown" response protocol for queries with insufficient knowledge coverage. Preliminary evaluations demonstrate significant reductions in hallucination rates and improved transparency in reasoning processes. Our framework advances the development of more reliable question-answering systems capable of operating effectively in dynamic environments with variable data quality. While challenges persist in accurately distinguishing credible information and balancing system latency with thoroughness, this work represents a meaningful step toward enhancing RALM reliability.
- Abstract（参考訳）: Retrieval-Augmented Language Models (RALMs) は、特に文書関連性評価や知識統合において、事実的誤りを減らす上で重大な課題に直面している。
本稿では、ドキュメント評価の改善、本質的・外部知識の統合のバランス、および解決不可能なクエリの効果的な処理を通じて、ALMロバスト性を高める構造化関連性評価フレームワークを提案する。
提案手法では, セマンティックマッチングとソース信頼性の両面を考慮した多次元スコアリングシステムを用いて, 組込み型関連度スコアリングと混合品質文書を用いた総合的学習データを利用する。
我々は,ニッチトピックの専門ベンチマーク,知識統合機構,知識カバレッジが不十分なクエリに対する"未知"応答プロトコルを実装した。
予備評価では、幻覚率の大幅な低下と推論過程の透明性の向上が示されている。
本フレームワークは,データ品質の異なる動的環境で効果的に動作可能な,信頼性の高い質問応答システムの開発を推進している。
信頼性のある情報を正確に識別し、システムのレイテンシを徹底的にバランスさせるという課題は継続するが、この作業はRALMの信頼性を高めるための重要なステップである。
関連論文リスト
- A Context-Aware Dual-Metric Framework for Confidence Estimation in Large Language Models [6.62851757612838]
大規模言語モデル(LLM)に対する現在の信頼度推定法は,応答と文脈情報の関連性を無視する。
本稿では,2つの新しい指標を用いた信頼度推定のためのコンテキスト忠実度と一貫性を統合したCRUXを提案する。
3つのベンチマークデータセットに対する実験は、CRUXの有効性を示し、既存のベースラインよりも高いAUROCを達成した。
論文 参考訳（メタデータ） (2025-08-01T12:58:34Z) - From Ambiguity to Accuracy: The Transformative Effect of Coreference Resolution on Retrieval-Augmented Generation systems [6.762635083456022]
RAGに基づくシステムにおいて,エンティティコアが文書検索と生成性能にどのように影響するかを検討する。
コア参照の解決により検索効率が向上し,質問応答性能(QA)が向上することが実証された。
本研究の目的は、知識集約型AIアプリケーションにおける検索と生成を改善するためのガイダンスを提供することである。
論文 参考訳（メタデータ） (2025-07-10T15:26:59Z) - Federated In-Context Learning: Iterative Refinement for Improved Answer Quality [62.72381208029899]
In-context Learning (ICL) では、入力に提供される例を活用することで、パラメータを変更することなく、言語モデルで応答を生成することができる。
我々は,反復的協調プロセスを通じてICLを強化する汎用フレームワークであるFederated In-Context Learning (Fed-ICL)を提案する。
Fed-ICLは、クライアントと中央サーバ間のマルチラウンドインタラクションを活用することで、応答を徐々に洗練し、モデルパラメータを送信することなく、応答品質を向上させる。
論文 参考訳（メタデータ） (2025-06-09T05:33:28Z) - Divide-Then-Align: Honest Alignment based on the Knowledge Boundary of RAG [51.120170062795566]
本稿では,問合せが知識境界外にある場合の"I don't know"で応答する機能を備えたRAGシステムを実現するためのDTAを提案する。
DTAは適切な棄権と精度のバランスをとり、検索強化システムの信頼性と信頼性を高める。
論文 参考訳（メタデータ） (2025-05-27T08:21:21Z) - FedMM-X: A Trustworthy and Interpretable Framework for Federated Multi-Modal Learning in Dynamic Environments [0.0]
本稿では,分散化された動的環境における信頼性を確保するために,多モーダル推論によるフェデレーション学習を統一するフレームワークを提案する。
このアプローチはFedMM-Xと呼ばれ、クロスモーダル整合性チェック、クライアントレベルの解釈可能性メカニズム、動的信頼校正を利用する。
我々の発見は、現実の環境で堅牢で解釈可能で社会的に責任を負うAIシステムを開発するための道を開いた。
論文 参考訳（メタデータ） (2025-03-25T11:28:21Z) - Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [48.15636223774418]
大規模言語モデル(LLM)は、不一致の自己認識に起因する幻覚の傾向にある。
本稿では,高速かつ低速な推論システムを統合し,信頼性とユーザビリティを調和させる明示的知識境界モデリングフレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-04T03:16:02Z) - ParamMute: Suppressing Knowledge-Critical FFNs for Faithful Retrieval-Augmented Generation [91.20492150248106]
本研究では,不誠実な生成の背後にある内部メカニズムを解明し,不均等に活性化される中深度フィードフォワードネットワーク(FFN)のサブセットを同定する。
本研究では,不信感関連FFNの活性化を抑制することにより,文脈的忠実度を向上させるフレームワークであるParametric Knowledge Mutingを提案する。
実験結果から,ParamMuteはCoFaithfulQAと確立されたConFiQAベンチマークの両方の信頼度を大幅に向上し,パラメトリックメモリへの依存度を大幅に低下させることが示された。
論文 参考訳（メタデータ） (2025-02-21T15:50:41Z) - KRAIL: A Knowledge-Driven Framework for Base Human Reliability Analysis Integrating IDHEAS and Large Language Models [2.7378790256389047]
本稿では,IDHEASとLLM(KRAIL)を統合した知識駆動型信頼性分析のための新しい2段階フレームワークを提案する。
本稿では,自然言語処理における大規模言語モデル(LLM)の成功に触発されて,知識駆動型信頼性分析のための新しい2段階フレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-20T06:21:34Z) - VERA: Validation and Enhancement for Retrieval Augmented systems [0.0]
textbfValidation and textbfEnhancement for textbfRetrieval textbfAugmented system を提案する。
VERAは、外部検索が必要なかどうかを最初にチェックし、検索したコンテキストの関連性と冗長性を評価し、非必要情報の除去のために精査する評価器-既存のLCMを使用している。
論文 参考訳（メタデータ） (2024-09-18T16:10:47Z) - How Reliable are LLMs as Knowledge Bases? Re-thinking Facutality and Consistency [60.25969380388974]
大規模言語モデル (LLM) は知識ベース (KB) として研究されている。
現在の評価手法は、信頼性の高い性能の他の決定的な基準を見越して、知識の保持に過度に焦点を絞っている。
我々は,事実と一貫性を定量化するための新しい基準と指標を提案し,最終的な信頼性スコアを導いた。
論文 参考訳（メタデータ） (2024-07-18T15:20:18Z) - Improving Factual Consistency for Knowledge-Grounded Dialogue Systems
via Knowledge Enhancement and Alignment [77.56326872997407]
事前訓練言語モデル(PLM)に基づく知識基底対話システムは、提供された知識源と実際に矛盾しない応答を生成する傾向にある。
トランスフォーマー内のフィードフォワードネットワーク(FFN)が事実知識表現の責任を負っていると判断する以前の研究から着想を得て,事実表現能力を効率的に改善するための2つの方法を検討した。
論文 参考訳（メタデータ） (2023-10-12T14:44:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。