論文の概要: "I Don't Know" -- Towards Appropriate Trust with Certainty-Aware Retrieval Augmented Generation
- arxiv url: http://arxiv.org/abs/2605.00957v1
- Date: Fri, 01 May 2026 12:49:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-05 20:33:49.513188
- Title: "I Don't Know" -- Towards Appropriate Trust with Certainty-Aware Retrieval Augmented Generation
- Title（参考訳）: 知らない」...確実性に配慮した検索型検索世代による適切な信頼を目指して
- Authors: Daan Di Scala, Maaike de Boer, Pınar Yolum,
- Abstract要約: CERTA (Certainty Enhanced RAG for Trustworthy Answers) は,質問,文脈,回答の関連性を取り入れた特殊検索拡張生成システムである。
評価の結果,CERTAは不確実な回答の発見に役立ち,過剰診断の事例を減らし,道徳的判断を促す際に慎重な行動をもたらすことが示唆された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Achieving the right amount of trust in AI systems is important, but challenging. The problem is exacerbated with the rise of Large Language Models (LLMs) as they provide human-level communication capabilities, but potentially hallucinate in the content that they generate. Moreover, they express over-confidence in their answers, making it difficult for users to judge their truthfulness. An important human value that users seek is benevolence, which can be met by LLM's self-reflection leading to reliable and honest answers. Accordingly, this paper proposes conveying appropriate levels of self-reflected certainty to build appropriate trust. Our contributions are twofold: 1) We develop CERTA (Certainty Enhanced RAG for Trustworthy Answers), a specialized Retrieval Augmented Generation (RAG) system that incorporates the relevance between question, context, and answer to reflect its uncertainty in answering questions; 2) We create the Certainty Benchmark with 90 question-context pairs of non-objective questions, divided over four categories (factuality, preference, sycophancy, morality) and three types of contexts (relevant, incomplete, irrelevant). We run experiments with a baseline RAG system and three CERTA settings using two LLMs. Our evaluations indicate that CERTA helps identify answers that are uncertain, decreases the cases of over-agreeing, and provides cautious behavior when prompted for moral judgments.
- Abstract（参考訳）: AIシステムに対する適切な信頼の獲得は重要だが、難しい。
この問題は、人間レベルのコミュニケーション能力を提供するため、LLM(Large Language Models)の台頭によって悪化するが、それらが生成するコンテンツに幻覚をもたらす可能性がある。
さらに, 回答に対する自信の過大さを表現し, 利用者の真偽を判断することが困難である。
ユーザが求めている重要な人間的価値は、LLMの自己回帰によって満たされ、信頼性と正直な答えにつながるベネバンスである。
そこで本稿では,適切な信頼を築くために,適切なレベルの自己表現的確実性を伝達することを提案する。
私たちの貢献は2つあります。
1) CERTA(Certainty Enhanced RAG for Trustworthy Answers)は,質問,文脈,回答の関連性を組み込んだ特殊検索拡張生成システムである。
2) Certainty Benchmark は90の質問文対で,4つのカテゴリ(事実性,嗜好,梅毒性,道徳性)と3つのコンテキスト(関連性,不完全性,無関係性)に分けられる。
2つのLLMを用いたベースラインRAGシステムと3つのCERTA設定で実験を行った。
評価の結果,CERTAは不確実な回答の発見に役立ち,過剰診断の事例を減らし,道徳的判断を促す際に慎重な行動をもたらすことが示唆された。
関連論文リスト
- Trust Me on This: A User Study of Trustworthiness for RAG Responses [15.029309551125962]
本研究では,検索強化生成システムからの応答において,異なるタイプの説明がユーザ信頼にどのような影響を及ぼすかを検討する。
ユーザの判断は、応答の明確性、行動可能性、およびそれ自身の事前知識にも大きく影響される。
論文 参考訳（メタデータ） (2026-01-20T20:30:33Z) - SimpleDevQA: Benchmarking Large Language Models on Development Knowledge QA [58.75982433502236]
Dev Knowledge QAタスクはインタラクションの39.6%を占めている。
実際のDev Knowledge QA対話のわずか27.5%は、コード理解に重点を置いている。
実世界のDev Knowledge QAダイアログの17.1%しかベンチマークの構築に使用できない。
論文 参考訳（メタデータ） (2025-12-09T17:58:36Z) - Teaching Language Models To Gather Information Proactively [53.85419549904644]
大規模言語モデル(LLM)は、ますます協力的なパートナーとして機能することが期待されている。
本研究では,アクティブな情報収集という新たなタスクパラダイムを導入する。
キー情報をマスキングする、部分的に特定された現実世界のタスクを生成するスケーラブルなフレームワークを設計する。
このセットアップの中核となるイノベーションは、真に新しい暗黙のユーザー情報を引き出す質問に報酬を与える、強化された微調整戦略です。
論文 参考訳（メタデータ） (2025-07-28T23:50:09Z) - Harnessing RLHF for Robust Unanswerability Recognition and Trustworthy Response Generation in LLMs [2.217239320172707]
本稿では, 自己認識型無解性学習システム(SALU)を導入し, 生成過程に直接不解性検出を深く統合する手法を提案する。
SALUは、標準的な質問回答(QA)と、解決不可能なクエリに対する明示的な棄権生成の両方のために、マルチタスク学習フレームワークを使用して訓練されている。
ハイブリッド LLM-classifier システムを含む強力なベースラインを一貫して上回り、質問に対する正しい回答や棄却の全体的な精度を向上する。
論文 参考訳（メタデータ） (2025-07-22T18:44:18Z) - Query-Level Uncertainty in Large Language Models [39.59641844929696]
クエリーレベル不確実性を用いて知識境界を検出する手法を提案する。
この方法は、任意のトークンを生成する前に、モデルが所定のクエリに応答できるかどうかを推定する。
我々は、適応推論設定におけるその利点を示し、RAGとモデルカスケーディングは、全体的な性能を維持しながら、推論コストを削減することを示す。
論文 参考訳（メタデータ） (2025-06-11T12:39:48Z) - Know3-RAG: A Knowledge-aware RAG Framework with Adaptive Retrieval, Generation, and Filtering [9.814926166669366]
我々は知識グラフ(KG)から構造化知識を活用する知識認識RAGフレームワークであるKnow3-RAGを提案し、検索、生成、フィルタリングを含むRAGプロセスの3つの中核段階を導出する。
複数のオープンドメインQAベンチマークの実験では、Know3-RAGは強いベースラインを一貫して上回り、幻覚を著しく減らし、回答の信頼性を向上している。
論文 参考訳（メタデータ） (2025-05-19T03:25:18Z) - Do RAG Systems Cover What Matters? Evaluating and Optimizing Responses with Sub-Question Coverage [74.70255719194819]
サブクエストカバレッジに基づく新しいフレームワークを導入し、RAGシステムが質問の異なる面にどのように対処するかを計測する。
このフレームワークを使用して、You.com、Perplexity AI、Bing Chatの3つの商用生成応答エンジンを評価します。
すべての回答エンジンは、バックグラウンドやフォローアップよりも、コアサブクエストを頻繁にカバーしていますが、コアサブクエストの約50%を見逃しています。
論文 参考訳（メタデータ） (2024-10-20T22:59:34Z) - Rel-A.I.: An Interaction-Centered Approach To Measuring Human-LM Reliance [73.19687314438133]
インタラクションの文脈的特徴が依存に与える影響について検討する。
文脈特性が人間の信頼行動に大きく影響していることが判明した。
これらの結果から,キャリブレーションと言語品質だけでは人間とLMの相互作用のリスクを評価するには不十分であることが示唆された。
論文 参考訳（メタデータ） (2024-07-10T18:00:05Z) - Iterative Utility Judgment Framework via LLMs Inspired by Relevance in Philosophy [66.95501113584541]
ITEM(Iterative utiliTy judgm fraEntMework)を提案する。
RAGの3つの中核的構成要素は、検索モデル、ユーティリティ判断、回答生成から導かれる関連性ランキングであり、シューツの哲学的関連性体系と一致している。
実効性判定, ランキング, 回答生成におけるITEMの顕著な改善が, 代表ベースラインに基づいて示された。
論文 参考訳（メタデータ） (2024-06-17T07:52:42Z) - Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs [58.620269228776294]
そこで本稿では,ユーザに対して,あいまいさを解消するためのタスク非依存のフレームワークを提案する。
我々は3つのNLPアプリケーション(質問応答、機械翻訳、自然言語推論)にまたがるシステムを評価する。
インテントシムは堅牢であり、幅広いNLPタスクやLMの改善を実証している。
論文 参考訳（メタデータ） (2023-11-16T00:18:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。