論文の概要: TRAQ: Trustworthy Retrieval Augmented Question Answering via Conformal Prediction

• arxiv url: http://arxiv.org/abs/2307.04642v2
• Date: Fri, 5 Apr 2024 20:08:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 05:07:30.543801
• Title: TRAQ: Trustworthy Retrieval Augmented Question Answering via Conformal Prediction
• Title（参考訳）: TRAQ: コンフォーマル予測による信頼性の高い検索質問の回答
• Authors: Shuo Li, Sangdon Park, Insup Lee, Osbert Bastani,
• Abstract要約: 本稿では,RAGの統計的正当性保証を初めて提供するTrustworthy Retrieval Augmented Question Answering ($textitTRAQ$)を提案する。 TRAQは、高い確率で意味論的に正しい応答を含むことが保証される予測セットを構築する統計的手法である共形予測を用いる。 広範囲な実験的評価において,TRAQは平均16.2%の精度で予測セットサイズを減少させつつ,所望の正確性を保証することを実証した。
• 参考スコア（独自算出の注目度）: 38.90312630739841
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When applied to open-domain question answering, large language models (LLMs) frequently generate incorrect responses based on made-up facts, which are called $\textit{hallucinations}$. Retrieval augmented generation (RAG) is a promising strategy to avoid hallucinations, but it does not provide guarantees on its correctness. To address this challenge, we propose the Trustworthy Retrieval Augmented Question Answering, or $\textit{TRAQ}$, which provides the first end-to-end statistical correctness guarantee for RAG. TRAQ uses conformal prediction, a statistical technique for constructing prediction sets that are guaranteed to contain the semantically correct response with high probability. Additionally, TRAQ leverages Bayesian optimization to minimize the size of the constructed sets. In an extensive experimental evaluation, we demonstrate that TRAQ provides the desired correctness guarantee while reducing prediction set size by 16.2% on average compared to an ablation. The implementation is available at $\href{https://github.com/shuoli90/TRAQ.git}{TRAQ}$.
• Abstract（参考訳）: オープンドメインの質問応答に適用すると、大きな言語モデル(LLM)は、デマされた事実に基づいた誤った応答を頻繁に生成し、$\textit{hallucinations}$と呼ばれる。 Retrieval augmented generation(RAG)は幻覚を避けるための有望な戦略であるが、その正確性を保証するものではない。 この課題に対処するため、RAGの統計的正当性保証を初めて提供するTrustworthy Retrieval Augmented Question Answering($\textit{TRAQ}$)を提案する。 TRAQは、高い確率で意味論的に正しい応答を含むことが保証される予測セットを構築する統計的手法である共形予測を用いる。 さらに、TRAQはベイズ最適化を利用して構築された集合のサイズを最小化する。 広範囲な実験的評価において,TRAQは平均16.2%の精度で予測セットサイズを減少させつつ,所望の正確性を保証することを実証した。 実装は$\href{https://github.com/shuoli90/TRAQ.git}{TRAQ}$で利用可能である。

関連論文リスト

• Verifiably Robust Conformal Prediction [1.391198481393699]
  本稿では、ニューラルネットワーク検証手法を利用して、敵攻撃時のカバレッジ保証を回復する新しいフレームワークであるVRCP(Verifiably Robust Conformal Prediction)を紹介する。 私たちのメソッドは、回帰タスクだけでなく、$ell1$, $ell2$, $ellinfty$といった任意のノルムで束縛された摂動をサポートする最初の方法です。 いずれの場合も、VRCPは名目上の範囲を達成し、SotAよりもはるかに効率的で情報的な予測領域が得られる。
  論文  参考訳（メタデータ） (2024-05-29T09:50:43Z)
• Provably Robust Conformal Prediction with Improved Efficiency [29.70455766394585]
  コンフォーマル予測は、保証されたカバレッジで不確実性セットを生成する強力なツールである。 逆の例は、不正なカバレッジ率の予測セットを構築するために共形メソッドを操作することができる。 本稿では,PTT(Post-Training Transformation)とRCT(Robust Conformal Training)という2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-30T15:49:01Z)
• Mitigating LLM Hallucinations via Conformal Abstention [70.83870602967625]
  我々は,大言語モデルが一般ドメインでの応答をいつ無視すべきかを決定するための,原則化された手順を開発する。 我々は、幻覚率(エラー率)の厳密な理論的保証の恩恵を受けるため、共形予測手法を活用して、禁忌手順を開発する。 実験によって得られた共形禁忌法は, 種々の閉書, オープンドメイン生成質問応答データセットに, 幻覚率を確実に拘束する。
  論文  参考訳（メタデータ） (2024-04-04T11:32:03Z)
• Conformal Language Modeling [61.94417935386489]
  生成言語モデル(LM)の共形予測のための新しい手法を提案する。 標準共形予測は厳密で統計的に保証された予測セットを生成する。 我々は,オープンドメイン質問応答,テキスト要約,ラジオロジーレポート生成において,複数のタスクに対するアプローチの約束を実証する。
  論文  参考訳（メタデータ） (2023-06-16T21:55:08Z)
• Will My Robot Achieve My Goals? Predicting the Probability that an MDP Policy Reaches a User-Specified Behavior Target [56.99669411766284]
  自律的なシステムがタスクを実行する場合、ユーザの目標を達成する確率のキャリブレーションされた見積もりを維持する必要がある。 本稿では,ユーザの目標が目標間隔として指定される設定について検討する。 我々は、共形予測を反転させて確率推定を計算する。
  論文  参考訳（メタデータ） (2022-11-29T18:41:20Z)
• Almost Tight L0-norm Certified Robustness of Top-k Predictions against Adversarial Perturbations [78.23408201652984]
  トップk予測は、マシンラーニング・アズ・ア・サービス、レコメンダ・システム、Web検索など、多くの現実世界のアプリケーションで使用されている。 我々の研究はランダム化平滑化に基づいており、入力をランダム化することで、証明可能なロバストな分類器を構築する。 例えば、攻撃者がテスト画像の5ピクセルを任意に摂動できる場合に、ImageNet上で69.2%の認定トップ3精度を達成する分類器を構築することができる。
  論文  参考訳（メタデータ） (2020-11-15T21:34:44Z)
• Efficient Conformal Prediction via Cascaded Inference with Expanded Admission [43.596058175459746]
  共形予測(CP)のための新しい手法を提案する。 我々は、単一の予測の代わりに、予測候補のセットを特定することを目指している。 この集合は、高い確率で正しい答えを含むことが保証される。
  論文  参考訳（メタデータ） (2020-07-06T23:13:07Z)
• Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification [54.22421582955454]
  逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。 結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
  論文  参考訳（メタデータ） (2020-06-29T21:06:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。