論文の概要: eXplainable Bayesian Multi-Perspective Generative Retrieval
- arxiv url: http://arxiv.org/abs/2402.02418v1
- Date: Sun, 4 Feb 2024 09:34:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 19:48:47.887146
- Title: eXplainable Bayesian Multi-Perspective Generative Retrieval
- Title(参考訳): 説明可能なベイズ型マルチパースペクティブ生成検索
- Authors: EuiYul Song, Philhoon Oh, Sangryul Kim, James Thorne
- Abstract要約: 探索パイプラインに不確実な校正と解釈性を導入する。
LIME や SHAP などの手法を取り入れて,ブラックボックス・リランカモデルの挙動を解析する。
提案手法は3つのKILTデータセットにまたがる大幅な性能向上を示す。
- 参考スコア(独自算出の注目度): 6.823521786512908
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern deterministic retrieval pipelines prioritize achieving
state-of-the-art performance but often lack interpretability in
decision-making. These models face challenges in assessing uncertainty, leading
to overconfident predictions. To overcome these limitations, we integrate
uncertainty calibration and interpretability into a retrieval pipeline.
Specifically, we introduce Bayesian methodologies and multi-perspective
retrieval to calibrate uncertainty within a retrieval pipeline. We incorporate
techniques such as LIME and SHAP to analyze the behavior of a black-box
reranker model. The importance scores derived from these explanation
methodologies serve as supplementary relevance scores to enhance the base
reranker model. We evaluate the resulting performance enhancements achieved
through uncertainty calibration and interpretable reranking on Question
Answering and Fact Checking tasks. Our methods demonstrate substantial
performance improvements across three KILT datasets.
- Abstract(参考訳): 現代の決定論的検索パイプラインは最先端のパフォーマンスを達成することを優先しているが、意思決定における解釈可能性に欠けることが多い。
これらのモデルは不確実性を評価する上での課題に直面し、自信過剰な予測に繋がる。
これらの限界を克服するために,不確実性校正と解釈性を検索パイプラインに統合する。
具体的には,検索パイプライン内の不確かさを校正するためにベイズ手法とマルチパースペクティブ検索を導入する。
LIMEやSHAPといった手法を取り入れて,ブラックボックス・リランカモデルの挙動を解析する。
これらの説明手法から導かれる重要なスコアは、ベースリランカモデルを強化するための補足的関連スコアとなる。
本研究では,不確かさの校正と質問応答とFact Checkingタスクの解釈により得られた性能向上を評価する。
提案手法は3つのKILTデータセットにまたがる大幅な性能向上を示す。
関連論文リスト
- Model-Based Epistemic Variance of Values for Risk-Aware Policy
Optimization [63.32053223422317]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。
特に、MDP上の分布によって誘導される値の分散を特徴付けることに焦点をあてる。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。
論文 参考訳(メタデータ) (2023-12-07T15:55:58Z) - Debias the Training of Diffusion Models [53.49637348771626]
本研究では,拡散モデルにおいて一定の損失重み戦略を用いることで,トレーニング期間中に偏りが生じるという理論的証拠を提供する。
理論的に偏りのない原理に基づくエレガントで効果的な重み付け戦略を提案する。
これらの分析は、拡散モデルの内部動作の理解とデミステレーションを促進することが期待されている。
論文 参考訳(メタデータ) (2023-10-12T16:04:41Z) - Understanding, Predicting and Better Resolving Q-Value Divergence in
Offline-RL [86.0987896274354]
まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。
そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。
われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
論文 参考訳(メタデータ) (2023-10-06T17:57:44Z) - Uncertainty Quantification in Inverse Models in Hydrology [9.020366051310384]
本研究では,ストリームフローと気象データから物理特性を復元する知識誘導確率逆モデリング手法を提案する。
我々は,河川流域特性を推定するための最先端の逆モデルと比較した。
我々のフレームワークはまた、逆モデルとフォワードモデルの両方の不確実性を定量化できるため、説明可能性の向上も提供する。
論文 参考訳(メタデータ) (2023-10-03T16:39:21Z) - Model-Based Uncertainty in Value Functions [89.31922008981735]
MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。
従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
論文 参考訳(メタデータ) (2023-02-24T09:18:27Z) - Training Discrete Deep Generative Models via Gapped Straight-Through
Estimator [72.71398034617607]
再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。
この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。
実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
論文 参考訳(メタデータ) (2022-06-15T01:46:05Z) - Fidelity of Interpretability Methods and Perturbation Artifacts in
Neural Networks [5.439020425819001]
ポストホック解釈可能性法は,クラス確率に対する入力特徴の重要性を定量化することを目的としている。
解釈可能性評価手法の一般的なアプローチは、与えられた予測に重要な入力特徴を摂動させ、精度の低下を観測することである。
摂動入力特徴量からモデル精度曲線を利用して,そのようなアーチファクトが忠実度推定に与える影響を推定する手法を提案する。
論文 参考訳(メタデータ) (2022-03-06T10:14:09Z) - Weight-of-evidence 2.0 with shrinkage and spline-binning [3.925373521409752]
分類予測器を変換するための形式化、データ駆動、強力な方法を提案する。
我々は,重み付け手法を拡張し,縮尺推定器を用いて比例を推定することを提案する。
本稿では,提案手法の有効性を示す詐欺検出セットにおける一連の実験結果を示す。
論文 参考訳(メタデータ) (2021-01-05T13:13:16Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-09-30T05:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。