論文の概要: TRAC: Trustworthy Retrieval Augmented Chatbot
- arxiv url: http://arxiv.org/abs/2307.04642v1
- Date: Fri, 7 Jul 2023 02:42:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-11 12:30:58.971808
- Title: TRAC: Trustworthy Retrieval Augmented Chatbot
- Title(参考訳): TRAC:信頼できる検索チャットボット
- Authors: Shuo Li, Sangdon Park, Insup Lee, Osbert Bastani
- Abstract要約: 本稿では,検索型質問応答システムに対する統計的保証を提供するフレームワークを提案する。
本研究では,Natural Questionsデータセットを用いた実験結果から,提案手法が望まれるカバレッジ保証を提供することを示す。
- 参考スコア(独自算出の注目度): 28.61937254015157
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although conversational AIs have demonstrated fantastic performance, they
often generate incorrect information, or hallucinations. Retrieval augmented
generation has emerged as a promising solution to reduce these hallucinations.
However, these techniques still cannot guarantee correctness. Focusing on
question answering, we propose a framework that can provide statistical
guarantees for the retrieval augmented question answering system by combining
conformal prediction and global testing. In addition, we use Bayesian
optimization to choose hyperparameters of the global test to maximize the
performance of the system. Our empirical results on the Natural Questions
dataset demonstrate that our method can provide the desired coverage guarantee
while minimizing the average prediction set size.
- Abstract(参考訳): 会話AIは素晴らしいパフォーマンスを示しているが、しばしば誤った情報や幻覚を生成する。
これらの幻覚を減らすための有望な解決策として、検索用拡張世代が出現している。
しかし、これらの技法は依然として正確性を保証することはできない。
質問応答に着目し,共形予測とグローバルテストを組み合わせて,質問応答システムにおける統計的保証を提供する枠組みを提案する。
さらに、ベイズ最適化を用いて、システムの性能を最大化するために、グローバルテストのハイパーパラメータを選択する。
本研究では,Natural Questionsデータセットにおける実験結果から,平均予測セットサイズを最小化しながら,所望のカバレッジ保証を提供できることを示す。
関連論文リスト
- Provably Robust Conformal Prediction with Improved Efficiency [29.70455766394585]
コンフォーマル予測は、保証されたカバレッジで不確実性セットを生成する強力なツールである。
逆の例は、不正なカバレッジ率の予測セットを構築するために共形メソッドを操作することができる。
本稿では,PTT(Post-Training Transformation)とRCT(Robust Conformal Training)という2つの新しい手法を提案する。
論文 参考訳(メタデータ) (2024-04-30T15:49:01Z) - Conformal Language Modeling [63.69391255926407]
生成言語モデル(LM)の共形予測のための新しい手法を提案する。
標準共形予測は厳密で統計的に保証された予測セットを生成する。
我々は,オープンドメイン質問応答,テキスト要約,ラジオロジーレポート生成において,複数のタスクに対するアプローチの約束を実証する。
論文 参考訳(メタデータ) (2023-06-16T21:55:08Z) - Will My Robot Achieve My Goals? Predicting the Probability that an MDP Policy Reaches a User-Specified Behavior Target [56.99669411766284]
自律的なシステムがタスクを実行する場合、ユーザの目標を達成する確率のキャリブレーションされた見積もりを維持する必要がある。
本稿では,ユーザの目標が目標間隔として指定される設定について検討する。
我々は、共形予測を反転させて確率推定を計算する。
論文 参考訳(メタデータ) (2022-11-29T18:41:20Z) - Almost Tight L0-norm Certified Robustness of Top-k Predictions against
Adversarial Perturbations [78.23408201652984]
トップk予測は、マシンラーニング・アズ・ア・サービス、レコメンダ・システム、Web検索など、多くの現実世界のアプリケーションで使用されている。
我々の研究はランダム化平滑化に基づいており、入力をランダム化することで、証明可能なロバストな分類器を構築する。
例えば、攻撃者がテスト画像の5ピクセルを任意に摂動できる場合に、ImageNet上で69.2%の認定トップ3精度を達成する分類器を構築することができる。
論文 参考訳(メタデータ) (2020-11-15T21:34:44Z) - Certifying Confidence via Randomized Smoothing [151.67113334248464]
ランダムな平滑化は、高次元の分類問題に対して良好な証明されたロバスト性を保証することが示されている。
ほとんどの平滑化法は、下層の分類器が予測する信頼性に関する情報を与えてくれない。
そこで本研究では,スムーズな分類器の予測信頼度を評価するために,認証ラジイを生成する手法を提案する。
論文 参考訳(メタデータ) (2020-09-17T04:37:26Z) - Efficient Conformal Prediction via Cascaded Inference with Expanded
Admission [43.596058175459746]
共形予測(CP)のための新しい手法を提案する。
我々は、単一の予測の代わりに、予測候補のセットを特定することを目指している。
この集合は、高い確率で正しい答えを含むことが保証される。
論文 参考訳(メタデータ) (2020-07-06T23:13:07Z) - Sharp Statistical Guarantees for Adversarially Robust Gaussian
Classification [54.22421582955454]
逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。
結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
論文 参考訳(メタデータ) (2020-06-29T21:06:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。