Fugu-MT 論文翻訳(概要): Can Generative LLMs Create Query Variants for Test Collections? An Exploratory Study

論文の概要: Can Generative LLMs Create Query Variants for Test Collections? An Exploratory Study

arxiv url: http://arxiv.org/abs/2501.17981v1
Date: Wed, 29 Jan 2025 20:36:29 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-31 15:13:36.346380
Title: Can Generative LLMs Create Query Variants for Test Collections? An Exploratory Study
Title（参考訳）: ジェネレーティブLLMは、テストコレクションのクエリ変数を作成することができるか? : 探索的研究
Authors: Marwah Alaofi, Luke Gallagher, Mark Sanderson, Falk Scholer, Paul Thomas,
Abstract要約: 本稿では,情報要求記述からクエリやクエリの変種を自動的に生成する大規模言語モデルの有用性について検討する。異なるメトリクスを使って類似性を定量化し、各セットの使用がテストコレクションを構築する際にドキュメントプールにどのように貢献するかを調べます。
参考スコア（独自算出の注目度）: 26.7634638201468
License:
Abstract: This paper explores the utility of a Large Language Model (LLM) to automatically generate queries and query variants from a description of an information need. Given a set of information needs described as backstories, we explore how similar the queries generated by the LLM are to those generated by humans. We quantify the similarity using different metrics and examine how the use of each set would contribute to document pooling when building test collections. Our results show potential in using LLMs to generate query variants. While they may not fully capture the wide variety of human-generated variants, they generate similar sets of relevant documents, reaching up to 71.1% overlap at a pool depth of 100.
Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)を用いて,情報要求記述からクエリやクエリの変種を自動的に生成する手法を提案する。バックストリーとして記述された情報の集合を考えると、LLMが生成したクエリが、人間が生成したクエリとどのように類似しているかを探索する。異なるメトリクスを使って類似性を定量化し、各セットの使用がテストコレクションを構築する際にドキュメントプールにどのように貢献するかを調べます。この結果から,LLMを用いてクエリの変種を生成する可能性が示唆された。人類が生成した多種多様な変種を完全に捉えることはできないが、類似した文書を生成し、100のプール深さで71.1%のオーバーラップに達する。

関連論文リスト

Leveraging LLMs to Enable Natural Language Search on Go-to-market Platforms [0.23301643766310368]
販売者向けのZoominfo製品向けのソリューションの実装と評価を行い、自然言語による大規模言語モデルの実現を促す。中間検索フィールドは、構文エラーの除去など、クエリ毎に多くの利点を提供する。提案手法の有効性を実証するために, クローズド, オープンソース, 微調整 LLM モデルを用いた総合実験を行った。
論文参考訳（メタデータ） (2024-11-07T03:58:38Z)
Data Fusion of Synthetic Query Variants With Generative Large Language Models [1.864807003137943]
本研究は,データ融合実験において,命令調整型大規模言語モデルによって生成される合成クエリ変種を用いることの実現可能性について検討する。我々は、プロンプトとデータ融合の原則を生かした、軽量で教師なしで費用効率のよいアプローチを導入します。解析の結果,合成クエリの変種に基づくデータ融合は,単一クエリのベースラインよりもはるかに優れており,擬似関連フィードバック手法よりも優れていることがわかった。
論文参考訳（メタデータ） (2024-11-06T12:54:27Z)
Optimizing Query Generation for Enhanced Document Retrieval in RAG [53.10369742545479]
大規模言語モデル(LLM)は様々な言語タスクに優れるが、しばしば誤った情報を生成する。 Retrieval-Augmented Generation (RAG) は、正確な応答に文書検索を使用することによってこれを緩和することを目的としている。
論文参考訳（メタデータ） (2024-07-17T05:50:32Z)
Optimization of Retrieval-Augmented Generation Context with Outlier Detection [0.0]
そこで本研究では,質問応答システムに必要な文脈の小型化と品質向上に焦点をあてる。私たちのゴールは、最も意味のあるドキュメントを選択し、捨てられたドキュメントをアウトリーチとして扱うことです。その結果,質問や回答の複雑さを増大させることで,最大の改善が達成された。
論文参考訳（メタデータ） (2024-07-01T15:53:29Z)
UQE: A Query Engine for Unstructured Databases [71.49289088592842]
構造化されていないデータ分析を可能にするために,大規模言語モデルの可能性を検討する。本稿では,非構造化データ収集からの洞察を直接問合せ,抽出するUniversal Query Engine (UQE)を提案する。
論文参考訳（メタデータ） (2024-06-23T06:58:55Z)
Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
論文参考訳（メタデータ） (2024-03-21T13:52:30Z)
MILL: Mutual Verification with Large Language Models for Zero-Shot Query Expansion [39.24969189479343]
本稿では,大規模言語モデル(LLM)を相互検証に用いるゼロショットクエリ拡張フレームワークを提案する。提案手法は完全にゼロショットであり,その有効性を示すために3つの公開ベンチマークデータセットに関する広範な実験を行った。
論文参考訳（メタデータ） (2023-10-29T16:04:10Z)
LMGQS: A Large-scale Dataset for Query-focused Summarization [77.6179359525065]
我々は4つの一般的な要約ベンチマークを新しいQFSベンチマークデータセットであるLMGQSに変換する。我々は最先端の要約モデルを用いてベースラインを確立する。複数の既存のQFSベンチマークにおいて、最先端のゼロショットと教師付きパフォーマンスを実現する。
論文参考訳（メタデータ） (2023-05-22T14:53:45Z)
QUEST: A Retrieval Dataset of Entity-Seeking Queries with Implicit Set Operations [36.70770411188946]
QUESTは、暗黙のセット操作を備えた3357の自然言語クエリのデータセットである。データセットは、クエリで言及された複数の制約と、ドキュメントの対応するエビデンスにマッチするようにモデルに挑戦する。我々は,現代の検索システムを分析し,それらがこのようなクエリに苦しむ場合が多いことを発見した。
論文参考訳（メタデータ） (2023-05-19T14:19:32Z)
Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
論文参考訳（メタデータ） (2023-04-27T14:45:55Z)
Text Summarization with Latent Queries [60.468323530248945]
本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
論文参考訳（メタデータ） (2021-05-31T21:14:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。