論文の概要: Improving Zero-shot LLM Re-Ranker with Risk Minimization

• arxiv url: http://arxiv.org/abs/2406.13331v1
• Date: Wed, 19 Jun 2024 08:29:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 22:40:02.312119
• Title: Improving Zero-shot LLM Re-Ranker with Risk Minimization
• Title（参考訳）: リスク最小化によるゼロショットLDMリランカーの改善
• Authors: Xiaowei Yuan, Zhao Yang, Yequan Wang, Jun Zhao, Kang Liu,
• Abstract要約: Retrieval-Augmented Generation (RAG) システムでは、高度なLarge Language Models (LLMs) が、教師なしの方法で有効なQuery Likelihood Models (QLMs) として登場した。 しかし、直接的にQLMを近似させる手法は、推定された分布が実際の文書固有の分布から分岐する可能性があるため、偏りがある。 我々はベイズ決定理論を利用してこの推定バイアスを定量化し緩和する新しいフレームワーク、$mathrmUR3$を導入する。
• 参考スコア（独自算出の注目度）: 20.32406191251512
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the Retrieval-Augmented Generation (RAG) system, advanced Large Language Models (LLMs) have emerged as effective Query Likelihood Models (QLMs) in an unsupervised way, which re-rank documents based on the probability of generating the query given the content of a document. However, directly prompting LLMs to approximate QLMs inherently is biased, where the estimated distribution might diverge from the actual document-specific distribution. In this study, we introduce a novel framework, $\mathrm{UR^3}$, which leverages Bayesian decision theory to both quantify and mitigate this estimation bias. Specifically, $\mathrm{UR^3}$ reformulates the problem as maximizing the probability of document generation, thereby harmonizing the optimization of query and document generation probabilities under a unified risk minimization objective. Our empirical results indicate that $\mathrm{UR^3}$ significantly enhances re-ranking, particularly in improving the Top-1 accuracy. It benefits the QA tasks by achieving higher accuracy with fewer input documents.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)システムでは、高度なLarge Language Models (LLMs) が教師なしの方法でクエリ類似モデル (QLMs) として出現し、ドキュメントの内容からクエリを生成する確率に基づいてドキュメントを再ランクする。 しかし、直接的にQLMを近似させる手法は、推定された分布が実際の文書固有の分布から分岐する可能性があるため、偏りがある。 本研究では,この推定バイアスの定量化と緩和にベイズ決定理論を活用する新しい枠組みである$\mathrm{UR^3}$を導入する。 具体的には、$\mathrm{UR^3}$は、ドキュメント生成の確率を最大化するものとして問題を再構成し、統一されたリスク最小化目標の下でクエリとドキュメント生成確率の最適化を調和させる。 実験の結果,$\mathrm{UR^3}$は,特にTop-1精度の向上において,再ランクを著しく向上することが示された。 少ない入力ドキュメントで高い精度を達成することで、QAタスクの恩恵を受ける。

関連論文リスト

• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• Maximum Likelihood Estimation is All You Need for Well-Specified Covariate Shift [34.414261291690856]
  現代の機械学習システムの鍵となる課題は、アウト・オブ・ディストリビューション(OOD)の一般化を達成することである。 音源データを用いた古典的最大等化推定(MLE)が極小最適化を実現することを示す。 3つの具体例にインスタンス化することで、フレームワークの幅広い適用性を説明します。
  論文  参考訳（メタデータ） (2023-11-27T16:06:48Z)
• Open-source Large Language Models are Strong Zero-shot Query Likelihood Models for Document Ranking [36.90911173089409]
  大規模言語モデル(LLM)は、効果的なクエリ類似モデル(QLM)として登場した。 本稿では,近年のLLMにおけるゼロショットランキングの有効性について検討する。 LLMをベースとしたQLMとハイブリッドゼロショットレトリバーを統合した,最先端のランキングシステムを提案する。
  論文  参考訳（メタデータ） (2023-10-20T02:54:42Z)
• Pareto Optimal Learning for Estimating Large Language Model Errors [12.21899680905672]
  大規模言語モデル(LLM)は多くのアプリケーションで印象的な能力を示している。 複数の情報ソースを統合することで,LSM応答における誤り確率を推定するリスクスコアを生成する手法を提案する。
  論文  参考訳（メタデータ） (2023-06-28T21:11:15Z)
• Minimum-Risk Recalibration of Classifiers [9.31067660373791]
  平均二乗誤差分解の枠組みにおいて,最小リスク再校正の概念を導入する。 校正分類器の転送には,スクラッチから再校正するのに比べて,ターゲットサンプルが著しく少ないことが示されている。
  論文  参考訳（メタデータ） (2023-05-18T11:27:02Z)
• Probable Domain Generalization via Quantile Risk Minimization [90.15831047587302]
  ドメインの一般化は、目に見えないテスト分布でうまく機能する予測子を求める。 我々はDGのための新しい確率的フレームワークを提案し、高い確率でよく動作する予測器を学習することを目指している。
  論文  参考訳（メタデータ） (2022-07-20T14:41:09Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• A Multi-Document Coverage Reward for RELAXed Multi-Document Summarization [11.02198476454955]
  本稿では,MDSの基準値と入力文書のカバレッジのバランスをとる報酬を付与したMDSベースラインの微調整を提案する。 Multi-NewsおよびWCEP MDSデータセットに対する実験結果から、ベースライン上での平均ROUGEスコアが+0.95pp、METEORスコアが+3.17ppと大幅に改善された。
  論文  参考訳（メタデータ） (2022-03-06T07:33:01Z)
• Navigating to the Best Policy in Markov Decision Processes [68.8204255655161]
  マルコフ決定過程における純粋探索問題について検討する。 エージェントはアクションを逐次選択し、結果のシステム軌道から可能な限り早くベストを目標とする。
  論文  参考訳（メタデータ） (2021-06-05T09:16:28Z)
• Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
  確率分布が未知な分布の不確実性の下でBQOについて検討する。 標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。 この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
  論文  参考訳（メタデータ） (2020-01-19T12:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。