論文の概要: LoL: A Comparative Regularization Loss over Query Reformulation Losses
for Pseudo-Relevance Feedback
- arxiv url: http://arxiv.org/abs/2204.11545v1
- Date: Mon, 25 Apr 2022 10:42:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-26 18:34:35.657387
- Title: LoL: A Comparative Regularization Loss over Query Reformulation Losses
for Pseudo-Relevance Feedback
- Title(参考訳): LoL: 擬似関連フィードバックに対するクエリ修正損失の比較正規化損失
- Authors: Yunchang Zhu, Liang Pang, Yanyan Lan, Huawei Shen, Xueqi Cheng
- Abstract要約: Pseudo-Relevance feedback (PRF) は、検索精度を向上させるための効果的なクエリ修正手法であることが証明されている。
既存のPRF手法は、同じクエリから派生した修正クエリを個別に扱うが、異なる数のフィードバックドキュメントを使用する。
そこで我々はLos-over-Loss(LoL)フレームワークを提案する。
- 参考スコア(独自算出の注目度): 70.44530794897861
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pseudo-relevance feedback (PRF) has proven to be an effective query
reformulation technique to improve retrieval accuracy. It aims to alleviate the
mismatch of linguistic expressions between a query and its potential relevant
documents. Existing PRF methods independently treat revised queries originating
from the same query but using different numbers of feedback documents,
resulting in severe query drift. Without comparing the effects of two different
revisions from the same query, a PRF model may incorrectly focus on the
additional irrelevant information increased in the more feedback, and thus
reformulate a query that is less effective than the revision using the less
feedback. Ideally, if a PRF model can distinguish between irrelevant and
relevant information in the feedback, the more feedback documents there are,
the better the revised query will be. To bridge this gap, we propose the
Loss-over-Loss (LoL) framework to compare the reformulation losses between
different revisions of the same query during training. Concretely, we revise an
original query multiple times in parallel using different amounts of feedback
and compute their reformulation losses. Then, we introduce an additional
regularization loss on these reformulation losses to penalize revisions that
use more feedback but gain larger losses. With such comparative regularization,
the PRF model is expected to learn to suppress the extra increased irrelevant
information by comparing the effects of different revised queries. Further, we
present a differentiable query reformulation method to implement this
framework. This method revises queries in the vector space and directly
optimizes the retrieval performance of query vectors, applicable for both
sparse and dense retrieval models. Empirical evaluation demonstrates the
effectiveness and robustness of our method for two typical sparse and dense
retrieval models.
- Abstract(参考訳): Pseudo-Relevance feedback (PRF) は、検索精度を向上させるための効果的なクエリ修正手法であることが証明されている。
クエリとその潜在的なドキュメント間の言語表現のミスマッチを緩和することを目的としている。
既存のprfメソッドは、同じクエリに由来する修正されたクエリを独立に扱うが、異なる数のフィードバックドキュメントを使用する。
同じクエリから2つの異なるリビジョンの効果を比較することなく、PRFモデルはより多くのフィードバックで増大した付加的な無関係情報に誤ってフォーカスし、少ないフィードバックでリビジョンよりも効果の低いクエリを再構成する。
理想的には、もしPRFモデルがフィードバックの無関係な情報と関連する情報を区別できるなら、そこにあるフィードバックドキュメントが多ければ多いほど、修正されたクエリがより良くなるでしょう。
このギャップを埋めるため、トレーニング中に同じクエリの異なるリビジョン間のリビジョン損失を比較するためにLos-over-Loss(LoL)フレームワークを提案する。
具体的には、異なる量のフィードバックを用いて、元のクエリを複数回並列に修正し、その修正損失を計算する。
次に,これらの再編成ロスに対する追加の正規化損失を導入し,フィードバックを多く使用するが損失が大きくなるリビジョンを罰する。
このような比較正則化により、PRFモデルは、異なる改訂クエリの効果を比較することで、付加的な無関係情報の増加を抑えることを学習することが期待される。
さらに、このフレームワークを実装するために、異なるクエリ再構成手法を提案する。
本手法は,ベクトル空間におけるクエリを再検討し,スパースモデルと密度検索モデルの両方に適用可能なクエリベクトルの検索性能を直接最適化する。
実験による評価は,2つの典型的なスパースモデルと高密度検索モデルの有効性とロバスト性を示す。
関連論文リスト
- Corrective Retrieval Augmented Generation [39.371798735872865]
Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。
生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。
CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
論文 参考訳(メタデータ) (2024-01-29T04:36:39Z) - Inference-time Re-ranker Relevance Feedback for Neural Information
Retrieval [84.20748790986131]
検索と参照のフレームワークは、まずK(例えば100)候補を検索し、次により強力なクロスエンコーダモデルを使って上位の候補をランク付けする。
リランカは一般的に、レトリバーよりも優れた候補スコアを生成するが、トップKのみの検索に限られる。
本研究では、リランカを活用して、推論時間関連性フィードバックを検索者に提供することにより、検索を改善する。
論文 参考訳(メタデータ) (2023-05-19T15:30:33Z) - RCOT: Detecting and Rectifying Factual Inconsistency in Reasoning by
Reversing Chain-of-Thought [56.558892336235914]
Reversing Chain-of-Thought (RCoT) は、大規模言語モデルの推論能力を改善する新しい手法である。
RCoTは生成したソリューションにおける事実の不整合を自動的に検出し、修正する。
手書きのきめ細かいフィードバックがLLMの推論能力を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2023-05-19T08:02:52Z) - Benchmarking Answer Verification Methods for Question Answering-Based
Summarization Evaluation Metrics [74.28810048824519]
質問応答に基づく要約評価メトリクスは、QAモデルの予測が正しいかどうかを自動的に判断する必要がある。
筆者らは,現在QAベースのメトリクスで使用されている語彙的回答検証手法と,より洗練された2つのテキスト比較手法をベンチマークした。
論文 参考訳(メタデータ) (2022-04-21T15:43:45Z) - Factual Error Correction for Abstractive Summaries Using Entity
Retrieval [57.01193722520597]
本稿では,エンティティ検索後処理に基づく効率的な事実誤り訂正システムRFECを提案する。
RFECは、原文と対象要約とを比較して、原文から証拠文を検索する。
次に、RFECは、エビデンス文を考慮し、要約中のエンティティレベルのエラーを検出し、エビデンス文から正確なエンティティに置換する。
論文 参考訳(メタデータ) (2022-04-18T11:35:02Z) - Query Expansion and Entity Weighting for Query Reformulation Retrieval
in Voice Assistant Systems [6.590172620606211]
Alexa、Siri、Google Assistantといった音声アシスタントは世界中で人気が高まっている。
言語的変化, 音声パターンの変動, 環境音響条件, その他の要因は, ユーザのクエリを誤解釈するアシスタントと相関することが多い。
Retrieval based query reformulation (QR) システムは、これらの誤解釈されたユーザクエリを再構成するために広く利用されている。
論文 参考訳(メタデータ) (2022-02-22T23:03:29Z) - Improving Query Representations for Dense Retrieval with Pseudo
Relevance Feedback [29.719150565643965]
本稿では,疑似関連性フィードバック(PRF)を用いて高密度検索のためのクエリ表現を改善する新しいクエリエンコーダであるANCE-PRFを提案する。
ANCE-PRF は BERT エンコーダを使用し、検索モデルである ANCE からクエリとトップ検索されたドキュメントを消費し、関連ラベルから直接クエリの埋め込みを生成する。
PRFエンコーダは、学習された注意機構でノイズを無視しながら、PRF文書から関連および補完的な情報を効果的にキャプチャする。
論文 参考訳(メタデータ) (2021-08-30T18:10:26Z) - Joint Passage Ranking for Diverse Multi-Answer Retrieval [56.43443577137929]
質問に対する複数の異なる回答をカバーするために、パスの取得を必要とする探索不足の問題であるマルチアンサー検索について検討する。
モデルが別の有効な答えを逃す費用で同じ答えを含む通路を繰り返すべきではないので、このタスクは、検索された通路の共同モデリングを必要とします。
本稿では,再順位に着目したジョイントパス検索モデルであるJPRを紹介する。
回収された通路の合同確率をモデル化するために、JPRは、新しい訓練および復号アルゴリズムを備えた通路のシーケンスを選択する自動回帰リタイナを利用する。
論文 参考訳(メタデータ) (2021-04-17T04:48:36Z) - A Comparison of Question Rewriting Methods for Conversational Passage
Retrieval [6.490148466525755]
会話文の検索は、元の質問を書き換えて変更することで、もはや会話履歴に依存しないようにする。
いくつかの質問書き直し手法が最近提案されているが、異なる探索パイプラインで比較された。
このギャップを埋めるために、TREC CAsT 2019および2020データセットの質問書き換え方法を、同じ検索パイプラインで徹底的に評価します。
論文 参考訳(メタデータ) (2021-01-19T00:17:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。