論文の概要: QBD-RankedDataGen: Generating Custom Ranked Datasets for Improving Query-By-Document Search Using LLM-Reranking with Reduced Human Effort

• arxiv url: http://arxiv.org/abs/2505.04732v1
• Date: Wed, 07 May 2025 18:43:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.643005
• Title: QBD-RankedDataGen: Generating Custom Ranked Datasets for Improving Query-By-Document Search Using LLM-Reranking with Reduced Human Effort
• Title（参考訳）: QBD-RankedDataGen: LLM-Regradeを用いたクエリバイドキュメント検索の改善のためのカスタムランク付きデータセットの生成
• Authors: Sriram Gopalakrishnan, Sunandita Patra,
• Abstract要約: 本稿では,独自のQBD検索データセットを生成するプロセスを紹介する。 コスト、スピード、ヒューマンインターフェースの観点から、私たちのメソッドをドメインの専門家と比較します。 テキスト検索会議(TREC)におけるQBDデータセットの手法の評価を行った。
• 参考スコア（独自算出の注目度）: 0.786519149320184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Query-By-Document (QBD) problem is an information retrieval problem where the query is a document, and the retrieved candidates are documents that match the query document, often in a domain or query specific manner. This can be crucial for tasks such as patent matching, legal or compliance case retrieval, and academic literature review. Existing retrieval methods, including keyword search and document embeddings, can be optimized with domain-specific datasets to improve QBD search performance. However, creating these domain-specific datasets is often costly and time-consuming. Our work introduces a process to generate custom QBD-search datasets and compares a set of methods to use in this problem, which we refer to as QBD-RankedDatagen. We provide a comparative analysis of our proposed methods in terms of cost, speed, and the human interface with the domain experts. The methods we compare leverage Large Language Models (LLMs) which can incorporate domain expert input to produce document scores and rankings, as well as explanations for human review. The process and methods for it that we present can significantly reduce human effort in dataset creation for custom domains while still obtaining sufficient expert knowledge for tuning retrieval models. We evaluate our methods on QBD datasets from the Text Retrieval Conference (TREC) and finetune the parameters of the BM25 model -- which is used in many industrial-strength search engines like OpenSearch -- using the generated data.
• Abstract（参考訳）: Query-By-Document(QBD)問題は、クエリがドキュメントである情報検索の問題であり、検索された候補は、ドメインやクエリ特有の方法で、クエリドキュメントにマッチするドキュメントである。 これは、特許のマッチング、法的またはコンプライアンスケースの検索、学術文献のレビューといったタスクに不可欠である。 キーワード検索や文書埋め込みを含む既存の検索手法は、ドメイン固有のデータセットで最適化され、QBD検索性能が向上する。 しかし、これらのドメイン固有のデータセットの作成は、しばしばコストと時間を要する。 我々の研究は、カスタムQBD-searchデータセットを生成するプロセスを導入し、この問題で使用するメソッドのセットを比較し、QBD-RankedDatagenと呼ぶ。 提案手法について,コスト,速度,ヒューマンインターフェースの観点から,ドメインの専門家との比較分析を行った。 比較対象の手法はLarge Language Models (LLMs) を用いており、文書のスコアやランキングを作成するためにドメインエキスパートの入力を組み込むことができる。 提案するプロセスや手法は、検索モデルのチューニングに十分な知識を得ながら、カスタムドメインのデータセット作成における人的労力を大幅に削減することができる。 我々は,テキスト検索会議(TREC)から得られたQBDデータセットの手法を評価し,生成したデータを用いてBM25モデルのパラメータを微調整する。

関連論文リスト

• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。 クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)
• CoIR: A Comprehensive Benchmark for Code Information Retrieval Models [52.61625841028781]
  COIR(Code Information Retrieval Benchmark)は、コード検索機能を評価するためのベンチマークである。 COIRは、厳密にキュレートされた10のコードデータセットで構成され、7つの異なるドメインにまたがる8つの特有の検索タスクにまたがる。 我々は,COIRを用いた9つの広く使用されている検索モデルを評価し,最先端システムにおいても,コード検索タスクの実行に重大な困難があることを明らかにする。
  論文  参考訳（メタデータ） (2024-07-03T07:58:20Z)
• Database-Augmented Query Representation for Information Retrieval [59.57065228857247]
  データベース拡張クエリ表現(DAQu)と呼ばれる新しい検索フレームワークを提案する。 DAQuは、元のクエリを複数のテーブルにまたがるさまざまな(クエリ関連の)メタデータで拡張する。 リレーショナルデータベースのメタデータを組み込む様々な検索シナリオにおいてDAQuを検証する。
  論文  参考訳（メタデータ） (2024-06-23T05:02:21Z)
• Improving Topic Relevance Model by Mix-structured Summarization and LLM-based Data Augmentation [16.170841777591345]
  Dianpingのようなほとんどのソーシャル検索シナリオでは、検索関連性のモデリングは常に2つの課題に直面している。 まず、クエリベースの要約と、クエリなしで文書の要約をトピック関連モデルの入力として取り上げる。 そこで我々は,大規模言語モデル(LLM)の言語理解と生成能力を利用して,既存のトレーニングデータにおけるクエリやドキュメントからのクエリを書き換え,生成する。
  論文  参考訳（メタデータ） (2024-04-03T10:05:47Z)
• MILL: Mutual Verification with Large Language Models for Zero-Shot Query Expansion [39.24969189479343]
  本稿では,大規模言語モデル(LLM)を相互検証に用いるゼロショットクエリ拡張フレームワークを提案する。 提案手法は完全にゼロショットであり,その有効性を示すために3つの公開ベンチマークデータセットに関する広範な実験を行った。
  論文  参考訳（メタデータ） (2023-10-29T16:04:10Z)
• Automated Query Generation for Evidence Collection from Web Search Engines [2.642698101441705]
  インターネット上で情報を探すことで、いわゆる事実を確認できることが広く受け入れられている。 このプロセスでは、事実に基づいて検索クエリを定式化し、それを検索エンジンに提示するためにファクトチェッカーが必要である。 まず,第1ステップ,問合せ生成の自動化が可能かどうかを問う。
  論文  参考訳（メタデータ） (2023-03-15T14:32:00Z)
• CAPSTONE: Curriculum Sampling for Dense Retrieval with Document Expansion [68.19934563919192]
  本稿では,学習中に擬似クエリを利用して,生成したクエリと実際のクエリとの関係を徐々に向上させるカリキュラムサンプリング戦略を提案する。 ドメイン内およびドメイン外両方のデータセットに対する実験結果から,本手法が従来の高密度検索モデルより優れていることが示された。
  論文  参考訳（メタデータ） (2022-12-18T15:57:46Z)
• Improving Candidate Retrieval with Entity Profile Generation for Wikidata Entity Linking [76.00737707718795]
  本稿では,エンティティ・プロファイリングに基づく新しい候補探索パラダイムを提案する。 我々は、このプロファイルを使用してインデックス付き検索エンジンに問い合わせ、候補エンティティを検索する。 本手法は,ウィキペディアのアンカーテキスト辞書を用いた従来の手法を補完するものである。
  論文  参考訳（メタデータ） (2022-02-27T17:38:53Z)
• QBSUM: a Large-Scale Query-Based Document Summarization Dataset from Real-world Applications [20.507631900617817]
  提案するQBSUMは,中国語クエリベースの文書要約処理のための49,000以上のデータサンプルからなる高品質な大規模データセットである。 また,タスクに対する教師なしおよび教師なしの複数のソリューションを提案し,オフライン実験とオンラインA/Bテストの両方を通して,高速な推論と優れた性能を示す。
  論文  参考訳（メタデータ） (2020-10-27T07:30:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。