論文の概要: It's All Relative! -- A Synthetic Query Generation Approach for
Improving Zero-Shot Relevance Prediction
- arxiv url: http://arxiv.org/abs/2311.07930v1
- Date: Tue, 14 Nov 2023 06:16:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 15:15:47.231040
- Title: It's All Relative! -- A Synthetic Query Generation Approach for
Improving Zero-Shot Relevance Prediction
- Title(参考訳): 全て相対的だ!
--ゼロショット適合度予測を改善する合成クエリ生成手法
- Authors: Aditi Chaudhary, Karthik Raman, Michael Bendersky
- Abstract要約: 大規模言語モデル(LLM)は、最大8つのデモをプロンプトすることで、合成クエリ-ドキュメントペアを生成する能力を示す。
異なるラベルに対するクエリを同時に生成することで,この負担を軽減することを提案する。
- 参考スコア(独自算出の注目度): 19.881193965130173
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent developments in large language models (LLMs) have shown promise in
their ability to generate synthetic query-document pairs by prompting with as
few as 8 demonstrations. This has enabled building better IR models, especially
for tasks with no training data readily available. Typically, such synthetic
query generation (QGen) approaches condition on an input context (e.g. a text
document) and generate a query relevant to that context, or condition the QGen
model additionally on the relevance label (e.g. relevant vs irrelevant) to
generate queries across relevance buckets. However, we find that such QGen
approaches are sub-optimal as they require the model to reason about the
desired label and the input from a handful of examples. In this work, we
propose to reduce this burden of LLMs by generating queries simultaneously for
different labels. We hypothesize that instead of asking the model to generate,
say, an irrelevant query given an input context, asking the model to generate
an irrelevant query relative to a relevant query is a much simpler task setup
for the model to reason about. Extensive experimentation across seven IR
datasets shows that synthetic queries generated in such a fashion translates to
a better downstream performance, suggesting that the generated queries are
indeed of higher quality.
- Abstract(参考訳): 大規模言語モデル(LLM)の最近の進歩は、最大8つのデモで、合成クエリ-ドキュメントペアを生成する能力を約束している。
これにより、特にトレーニングデータのないタスクに対して、より優れたIRモデルの構築が可能になる。
典型的には、このような合成クエリ生成(qgen)は、入力コンテキスト(例えば、テキスト文書)の条件にアプローチし、そのコンテキストに関連するクエリを生成するか、あるいはqgenモデルを関連ラベル(例えば、関連するか無関係か)に条件付けして、関連バケット間でクエリを生成する。
しかし、そのようなQGenアプローチは、所望のラベルと少数の例からの入力を推論するためにモデルを必要とするため、準最適であることがわかった。
本研究では,ラベルの異なるクエリを同時に生成することで,LLMの負担を軽減することを提案する。
我々は、入力コンテキストが与えられた無関係なクエリを生成するようモデルに要求する代わりに、関連するクエリに対して無関係なクエリを生成するようモデルに求めることは、モデルにとってより単純なタスク設定である、と仮定する。
7つのirデータセットにわたる広範囲な実験は、このような方法で生成された合成クエリが下流のパフォーマンス向上につながり、生成されたクエリは確かに高品質であることを示している。
関連論文リスト
- Making Retrieval-Augmented Language Models Robust to Irrelevant Context [60.70054129188434]
ALMの重要なデシプラタムは、検索された情報が関連する場合のパフォーマンスをモデル化するのに役立つことである。
近年の研究では、検索の増大がパフォーマンスに悪影響を及ぼすことが示されている。
論文 参考訳(メタデータ) (2023-10-02T18:52:35Z) - Event Extraction as Question Generation and Answering [72.04433206754489]
イベント抽出に関する最近の研究は、質問回答(QA)としてタスクを再編成した。
そこで我々は,QGA-EEを提案する。QGモデルにより,定型テンプレートを使わずに,リッチな文脈情報を含む質問を生成することができる。
実験の結果、QGA-EEはACE05の英語データセットで以前のシングルタスクベースのモデルよりも優れていた。
論文 参考訳(メタデータ) (2023-07-10T01:46:15Z) - An Empirical Comparison of LM-based Question and Answer Generation
Methods [79.31199020420827]
質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。
本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。
実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-05-26T14:59:53Z) - Exploring the Viability of Synthetic Query Generation for Relevance
Prediction [18.77909480819682]
本研究は,QGen のアプローチを不確実性予測に活用する方法について検討する。
既存のQGenアプローチの新たな欠点 - 関連性の異なるグレードを区別できないことなど - を特定します。
異なる関連性に関する知識を取り入れたラベル粒度のQGenモデルを提案する。
論文 参考訳(メタデータ) (2023-05-19T18:03:36Z) - A Lightweight Constrained Generation Alternative for Query-focused
Summarization [8.264410236351111]
クエリ中心の要約(QFS)は、あるクエリの必要な情報を満たすドキュメントの要約を提供することを目的としている。
我々は,最近開発された制約付き世代モデルニューロロジカルデコーディング(NLD)を,現在のQFS方式の代替として活用することを提案する。
本稿では,2つの公開QFSコレクションに対するこのアプローチの有効性を,複雑性を著しく低減した最先端モデルとほぼ同等に示す。
論文 参考訳(メタデータ) (2023-04-23T18:43:48Z) - Modeling Relational Patterns for Logical Query Answering over Knowledge
Graphs [20.92043251523278]
そこで我々は,複雑な空間における回転により,クエリ領域を幾何学的円錐と代数的クエリ演算子として定義する新しいクエリ埋め込み手法RoConEを開発した。
いくつかのベンチマークデータセットに対する実験結果から,論理的問合せ処理の強化のための関係パターンの利点が確認された。
論文 参考訳(メタデータ) (2023-03-21T13:59:15Z) - Query-Utterance Attention with Joint modeling for Query-Focused Meeting
Summarization [4.763356598070365]
本稿では,クエリ・Utterance Attentionに基づく共同モデリングトークンと発話を用いた問合せ対応フレームワークを提案する。
異なる粒度のクエリ関連性は、クエリに関連する要約を生成するのに寄与することを示す。
論文 参考訳(メタデータ) (2023-03-08T10:21:45Z) - Query Expansion Using Contextual Clue Sampling with Language Models [69.51976926838232]
本稿では,実効的なフィルタリング戦略と検索した文書の融合の組み合わせを,各文脈の生成確率に基づいて提案する。
我々の語彙マッチングに基づくアプローチは、よく確立された高密度検索モデルDPRと比較して、同様のトップ5/トップ20検索精度と上位100検索精度を実現する。
エンド・ツー・エンドのQAでは、読者モデルも我々の手法の恩恵を受けており、いくつかの競争基準に対してエクサクト・マッチのスコアが最も高い。
論文 参考訳(メタデータ) (2022-10-13T15:18:04Z) - Query Embedding on Hyper-relational Knowledge Graphs [0.4779196219827507]
マルチホップ論理推論は知識グラフ上の表現学習の分野で確立された問題である。
我々はマルチホップ推論問題をハイパーリレーショナルなKGに拡張し、この新しいタイプの複雑なクエリに対処する。
論文 参考訳(メタデータ) (2021-06-15T14:08:50Z) - Query Understanding via Intent Description Generation [75.64800976586771]
問合せ理解のためのQ2ID(Query-to-Intent-Description)タスクを提案する。
クエリとその記述を利用してドキュメントの関連性を計算する既存のランキングタスクとは異なり、Q2IDは自然言語のインテント記述を生成するための逆タスクである。
Q2IDタスクにおける複数の最先端生成モデルとの比較により,本モデルの有効性を実証する。
論文 参考訳(メタデータ) (2020-08-25T08:56:40Z) - Leveraging Passage Retrieval with Generative Models for Open Domain
Question Answering [61.394478670089065]
オープンドメインの質問に答えるための生成モデルは、外部の知識に頼らずに競争力があることが証明されている。
我々は、これらのモデルがテキストの文節を検索することでどれだけの恩恵を受けられるかを調査し、潜在的に証拠を含む可能性がある。
検索したパス数を増やすと,本手法の性能が著しく向上することがわかった。
論文 参考訳(メタデータ) (2020-07-02T17:44:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。