論文の概要: Can Generative LLMs Create Query Variants for Test Collections? An Exploratory Study

• arxiv url: http://arxiv.org/abs/2501.17981v1
• Date: Wed, 29 Jan 2025 20:36:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 22:50:03.955922
• Title: Can Generative LLMs Create Query Variants for Test Collections? An Exploratory Study
• Title（参考訳）: ジェネレーティブLLMは、テストコレクションのクエリ変数を作成することができるか? : 探索的研究
• Authors: Marwah Alaofi, Luke Gallagher, Mark Sanderson, Falk Scholer, Paul Thomas,
• Abstract要約: 本稿では,情報要求記述からクエリやクエリの変種を自動的に生成する大規模言語モデルの有用性について検討する。 異なるメトリクスを使って類似性を定量化し、各セットの使用がテストコレクションを構築する際にドキュメントプールにどのように貢献するかを調べます。
• 参考スコア（独自算出の注目度）: 26.7634638201468
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper explores the utility of a Large Language Model (LLM) to automatically generate queries and query variants from a description of an information need. Given a set of information needs described as backstories, we explore how similar the queries generated by the LLM are to those generated by humans. We quantify the similarity using different metrics and examine how the use of each set would contribute to document pooling when building test collections. Our results show potential in using LLMs to generate query variants. While they may not fully capture the wide variety of human-generated variants, they generate similar sets of relevant documents, reaching up to 71.1% overlap at a pool depth of 100.
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)を用いて,情報要求記述からクエリやクエリの変種を自動的に生成する手法を提案する。 バックストリーとして記述された情報の集合を考えると、LLMが生成したクエリが、人間が生成したクエリとどのように類似しているかを探索する。 異なるメトリクスを使って類似性を定量化し、各セットの使用がテストコレクションを構築する際にドキュメントプールにどのように貢献するかを調べます。 この結果から,LLMを用いてクエリの変種を生成する可能性が示唆された。 人類が生成した多種多様な変種を完全に捉えることはできないが、類似した文書を生成し、100のプール深さで71.1%のオーバーラップに達する。

関連論文リスト

• Unleashing the Power of LLMs in Dense Retrieval with Query Likelihood Modeling [69.84963245729826]
  大規模言語モデル(LLM)は魅力的な意味理解能力を示している。 デンス検索は情報検索(IR)において重要な課題であり、下流タスクを再びランク付けする基盤となっている。 我々は、差別的検索器のコントラスト学習のためのより良いバックボーンを得るために、QL推定の補助的タスクを導入する。
  論文  参考訳（メタデータ） (2025-04-07T16:03:59Z)
• Leveraging LLMs to Enable Natural Language Search on Go-to-market Platforms [0.23301643766310368]
  販売者向けのZoominfo製品向けのソリューションの実装と評価を行い、自然言語による大規模言語モデルの実現を促す。 中間検索フィールドは、構文エラーの除去など、クエリ毎に多くの利点を提供する。 提案手法の有効性を実証するために, クローズド, オープンソース, 微調整 LLM モデルを用いた総合実験を行った。
  論文  参考訳（メタデータ） (2024-11-07T03:58:38Z)
• Data Fusion of Synthetic Query Variants With Generative Large Language Models [1.864807003137943]
  本研究は,データ融合実験において,命令調整型大規模言語モデルによって生成される合成クエリ変種を用いることの実現可能性について検討する。 我々は、プロンプトとデータ融合の原則を生かした、軽量で教師なしで費用効率のよいアプローチを導入します。 解析の結果,合成クエリの変種に基づくデータ融合は,単一クエリのベースラインよりもはるかに優れており,擬似関連フィードバック手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-11-06T12:54:27Z)
• Optimizing Query Generation for Enhanced Document Retrieval in RAG [53.10369742545479]
  大規模言語モデル(LLM)は様々な言語タスクに優れるが、しばしば誤った情報を生成する。 Retrieval-Augmented Generation (RAG) は、正確な応答に文書検索を使用することによってこれを緩和することを目的としている。
  論文  参考訳（メタデータ） (2024-07-17T05:50:32Z)
• Optimization of Retrieval-Augmented Generation Context with Outlier Detection [0.0]
  そこで本研究では,質問応答システムに必要な文脈の小型化と品質向上に焦点をあてる。 私たちのゴールは、最も意味のあるドキュメントを選択し、捨てられたドキュメントをアウトリーチとして扱うことです。 その結果,質問や回答の複雑さを増大させることで,最大の改善が達成された。
  論文  参考訳（メタデータ） (2024-07-01T15:53:29Z)
• UQE: A Query Engine for Unstructured Databases [71.49289088592842]
  構造化されていないデータ分析を可能にするために,大規模言語モデルの可能性を検討する。 本稿では,非構造化データ収集からの洞察を直接問合せ,抽出するUniversal Query Engine (UQE)を提案する。
  論文  参考訳（メタデータ） (2024-06-23T06:58:55Z)
• ERATTA: Extreme RAG for Table To Answers with Large Language Models [1.3318204310917532]
  検索拡張現実(RAG)を備えた大規模言語モデル(LLM)は、スケーラブルな生成AIソリューションに最適な選択肢である。 本研究では,データ認証,ユーザクエリルーティング,データ検索,エンタープライズデータテーブルからの質問応答機能へのカスタムプロンプトを実現するために,複数のLLMを起動可能なLLMベースのユニークなシステムを提案する。 提案するシステムと評価基準は,持続可能性,財務状況,ソーシャルメディア領域において,数百のユーザクエリに対して,90%以上の信頼性スコアを達成している。
  論文  参考訳（メタデータ） (2024-05-07T02:49:59Z)
• Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
  Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。 本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。 オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
  論文  参考訳（メタデータ） (2024-03-21T13:52:30Z)
• MILL: Mutual Verification with Large Language Models for Zero-Shot Query Expansion [39.24969189479343]
  本稿では,大規模言語モデル(LLM)を相互検証に用いるゼロショットクエリ拡張フレームワークを提案する。 提案手法は完全にゼロショットであり,その有効性を示すために3つの公開ベンチマークデータセットに関する広範な実験を行った。
  論文  参考訳（メタデータ） (2023-10-29T16:04:10Z)
• LMGQS: A Large-scale Dataset for Query-focused Summarization [77.6179359525065]
  我々は4つの一般的な要約ベンチマークを新しいQFSベンチマークデータセットであるLMGQSに変換する。 我々は最先端の要約モデルを用いてベースラインを確立する。 複数の既存のQFSベンチマークにおいて、最先端のゼロショットと教師付きパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-05-22T14:53:45Z)
• Description-Based Text Similarity [59.552704474862004]
  我々は、その内容の抽象的な記述に基づいて、テキストを検索する必要性を特定する。 そこで本研究では,近隣の標準探索で使用する場合の精度を大幅に向上する代替モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-21T17:14:31Z)
• QUEST: A Retrieval Dataset of Entity-Seeking Queries with Implicit Set Operations [36.70770411188946]
  QUESTは、暗黙のセット操作を備えた3357の自然言語クエリのデータセットである。 データセットは、クエリで言及された複数の制約と、ドキュメントの対応するエビデンスにマッチするようにモデルに挑戦する。 我々は,現代の検索システムを分析し,それらがこのようなクエリに苦しむ場合が多いことを発見した。
  論文  参考訳（メタデータ） (2023-05-19T14:19:32Z)
• Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
  ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。 我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
  論文  参考訳（メタデータ） (2023-04-27T14:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。