論文の概要: QBD-RankedDataGen: Generating Custom Ranked Datasets for Improving Query-By-Document Search Using LLM-Reranking with Reduced Human Effort

• arxiv url: http://arxiv.org/abs/2505.04732v1
• Date: Wed, 07 May 2025 18:43:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.643005
• Title: QBD-RankedDataGen: Generating Custom Ranked Datasets for Improving Query-By-Document Search Using LLM-Reranking with Reduced Human Effort
• Title（参考訳）: QBD-RankedDataGen: LLM-Regradeを用いたクエリバイドキュメント検索の改善のためのカスタムランク付きデータセットの生成
• Authors: Sriram Gopalakrishnan, Sunandita Patra,
• Abstract要約: 本稿では,独自のQBD検索データセットを生成するプロセスを紹介する。 コスト、スピード、ヒューマンインターフェースの観点から、私たちのメソッドをドメインの専門家と比較します。 テキスト検索会議(TREC)におけるQBDデータセットの手法の評価を行った。
• 参考スコア（独自算出の注目度）: 0.786519149320184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Query-By-Document (QBD) problem is an information retrieval problem where the query is a document, and the retrieved candidates are documents that match the query document, often in a domain or query specific manner. This can be crucial for tasks such as patent matching, legal or compliance case retrieval, and academic literature review. Existing retrieval methods, including keyword search and document embeddings, can be optimized with domain-specific datasets to improve QBD search performance. However, creating these domain-specific datasets is often costly and time-consuming. Our work introduces a process to generate custom QBD-search datasets and compares a set of methods to use in this problem, which we refer to as QBD-RankedDatagen. We provide a comparative analysis of our proposed methods in terms of cost, speed, and the human interface with the domain experts. The methods we compare leverage Large Language Models (LLMs) which can incorporate domain expert input to produce document scores and rankings, as well as explanations for human review. The process and methods for it that we present can significantly reduce human effort in dataset creation for custom domains while still obtaining sufficient expert knowledge for tuning retrieval models. We evaluate our methods on QBD datasets from the Text Retrieval Conference (TREC) and finetune the parameters of the BM25 model -- which is used in many industrial-strength search engines like OpenSearch -- using the generated data.
• Abstract（参考訳）: Query-By-Document(QBD)問題は、クエリがドキュメントである情報検索の問題であり、検索された候補は、ドメインやクエリ特有の方法で、クエリドキュメントにマッチするドキュメントである。 これは、特許のマッチング、法的またはコンプライアンスケースの検索、学術文献のレビューといったタスクに不可欠である。 キーワード検索や文書埋め込みを含む既存の検索手法は、ドメイン固有のデータセットで最適化され、QBD検索性能が向上する。 しかし、これらのドメイン固有のデータセットの作成は、しばしばコストと時間を要する。 我々の研究は、カスタムQBD-searchデータセットを生成するプロセスを導入し、この問題で使用するメソッドのセットを比較し、QBD-RankedDatagenと呼ぶ。 提案手法について,コスト,速度,ヒューマンインターフェースの観点から,ドメインの専門家との比較分析を行った。 比較対象の手法はLarge Language Models (LLMs) を用いており、文書のスコアやランキングを作成するためにドメインエキスパートの入力を組み込むことができる。 提案するプロセスや手法は、検索モデルのチューニングに十分な知識を得ながら、カスタムドメインのデータセット作成における人的労力を大幅に削減することができる。 我々は,テキスト検索会議(TREC)から得られたQBDデータセットの手法を評価し,生成したデータを用いてBM25モデルのパラメータを微調整する。

関連論文リスト

• Query Decomposition for RAG: Balancing Exploration-Exploitation [83.79639293409802]
  RAGシステムは複雑なユーザ要求に対処し、それらをサブクエリに分解し、それぞれに関連する可能性のあるドキュメントを取得し、それを集約して回答を生成する。 クエリの分解とドキュメントの検索をエクスプロレーション探索設定で定式化し、一度に1つのドキュメントを検索すると、与えられたサブクエリの有用性についての信念が構築される。 我々の主な発見は、ランク情報と人的判断を用いた文書関連性の推定により、文書レベルの精度が35%向上し、α-nDCGが15%向上し、長文生成の下流タスクの性能が向上するということである。
  論文  参考訳（メタデータ） (2025-10-21T13:37:11Z)
• Chunk Knowledge Generation Model for Enhanced Information Retrieval: A Multi-task Learning Approach [13.945285357933487]
  本研究では,文書をチャンク単位に分割し,チャンク毎のテキストデータを生成し,検索効率と精度を同時に向上する手法を提案する。 提案した「チャンク知識生成モデル」では、T5ベースのマルチタスク学習構造を採用し、各文書チャンクからタイトルと候補質問を同時に生成する。 GPTに基づく305のクエリドキュメントペアの評価では、提案したモデルによる検索がTop@10で95.41%の精度を達成した。
  論文  参考訳（メタデータ） (2025-09-19T06:32:30Z)
• ABCD-LINK: Annotation Bootstrapping for Cross-Document Fine-Grained Links [57.514511353084565]
  我々は、最高のパフォーマンスのアプローチを選択し、文書間リンクに注釈を付けるための新しいドメインに依存しないフレームワークを提案する。 当社のフレームワークを2つの異なるドメイン – ピアレビューとニュース – に適用しています。 結果として得られた新しいデータセットは、メディアフレーミングやピアレビューなど、数多くのクロスドキュメントタスクの基礎を築いた。
  論文  参考訳（メタデータ） (2025-09-01T11:32:24Z)
• How good are LLMs at Retrieving Documents in a Specific Domain? [3.282961543904818]
  本稿では,ドメイン固有の評価データセットをキュレートして検索システムの性能を解析する自動手法を提案する。 本研究では,Large Language Models (LLMs) を用いたRAG(Retrieval of Augmented Generation)を組み込んで,自然言語クエリを用いた環境領域データの高品質な検索を行う。
  論文  参考訳（メタデータ） (2025-08-25T19:47:21Z)
• Benchmarking Deep Search over Heterogeneous Enterprise Data [73.55304268238474]
  検索強化生成(RAG)の形式を評価するための新しいベンチマークを提案する。 RAGは、多種多様な、しかし関連するソースに対して、ソースを意識したマルチホップ推論を必要とする。 製品計画、開発、サポートステージをまたいだビジネスをシミュレートする合成データパイプラインを使用して構築します。
  論文  参考訳（メタデータ） (2025-06-29T08:34:59Z)
• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。 クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)
• Query-oriented Data Augmentation for Session Search [71.84678750612754]
  本稿では,検索ログの強化とモデリングの強化を目的としたクエリ指向データ拡張を提案する。 検索コンテキストの最も重要な部分を変更することで補足的なトレーニングペアを生成する。 我々は、現在のクエリを変更するためのいくつかの戦略を開発し、その結果、様々な難易度で新しいトレーニングデータを得る。
  論文  参考訳（メタデータ） (2024-07-04T08:08:33Z)
• CoIR: A Comprehensive Benchmark for Code Information Retrieval Models [52.61625841028781]
  COIR(Code Information Retrieval Benchmark)は、コード検索機能を評価するためのベンチマークである。 COIRは、厳密にキュレートされた10のコードデータセットで構成され、7つの異なるドメインにまたがる8つの特有の検索タスクにまたがる。 我々は,COIRを用いた9つの広く使用されている検索モデルを評価し,最先端システムにおいても,コード検索タスクの実行に重大な困難があることを明らかにする。
  論文  参考訳（メタデータ） (2024-07-03T07:58:20Z)
• Database-Augmented Query Representation for Information Retrieval [59.57065228857247]
  データベース拡張クエリ表現(DAQu)と呼ばれる新しい検索フレームワークを提案する。 DAQuは、元のクエリを複数のテーブルにまたがるさまざまな(クエリ関連の)メタデータで拡張する。 リレーショナルデータベースのメタデータを組み込む様々な検索シナリオにおいてDAQuを検証する。
  論文  参考訳（メタデータ） (2024-06-23T05:02:21Z)
• Improving Topic Relevance Model by Mix-structured Summarization and LLM-based Data Augmentation [16.170841777591345]
  Dianpingのようなほとんどのソーシャル検索シナリオでは、検索関連性のモデリングは常に2つの課題に直面している。 まず、クエリベースの要約と、クエリなしで文書の要約をトピック関連モデルの入力として取り上げる。 そこで我々は,大規模言語モデル(LLM)の言語理解と生成能力を利用して,既存のトレーニングデータにおけるクエリやドキュメントからのクエリを書き換え,生成する。
  論文  参考訳（メタデータ） (2024-04-03T10:05:47Z)
• Unearthing Large Scale Domain-Specific Knowledge from Public Corpora [103.0865116794534]
  データ収集パイプラインに大規模なモデルを導入し、ドメイン固有の情報の生成をガイドします。 このアプローチをRetrieve-from-CCと呼ぶ。 ドメイン固有の知識に関するデータを収集するだけでなく、パブリックコーパスから潜在的推論手順を含むデータをマイニングする。
  論文  参考訳（メタデータ） (2024-01-26T03:38:23Z)
• MILL: Mutual Verification with Large Language Models for Zero-Shot Query Expansion [39.24969189479343]
  本稿では,大規模言語モデル(LLM)を相互検証に用いるゼロショットクエリ拡張フレームワークを提案する。 提案手法は完全にゼロショットであり,その有効性を示すために3つの公開ベンチマークデータセットに関する広範な実験を行った。
  論文  参考訳（メタデータ） (2023-10-29T16:04:10Z)
• SPM: Structured Pretraining and Matching Architectures for Relevance Modeling in Meituan Search [12.244685291395093]
  eコマース検索では、クエリとドキュメントの関連性は、ユーザエクスペリエンスを満たす上で必須の要件である。 本稿では,リッチな構造化文書に適合する2段階の事前学習およびマッチングアーキテクチャを提案する。 このモデルは、すでにオンラインで展開されており、Meituanの検索トラフィックを1年以上にわたって提供している。
  論文  参考訳（メタデータ） (2023-08-15T11:45:34Z)
• Automated Query Generation for Evidence Collection from Web Search Engines [2.642698101441705]
  インターネット上で情報を探すことで、いわゆる事実を確認できることが広く受け入れられている。 このプロセスでは、事実に基づいて検索クエリを定式化し、それを検索エンジンに提示するためにファクトチェッカーが必要である。 まず,第1ステップ,問合せ生成の自動化が可能かどうかを問う。
  論文  参考訳（メタデータ） (2023-03-15T14:32:00Z)
• CAPSTONE: Curriculum Sampling for Dense Retrieval with Document Expansion [68.19934563919192]
  本稿では,学習中に擬似クエリを利用して,生成したクエリと実際のクエリとの関係を徐々に向上させるカリキュラムサンプリング戦略を提案する。 ドメイン内およびドメイン外両方のデータセットに対する実験結果から,本手法が従来の高密度検索モデルより優れていることが示された。
  論文  参考訳（メタデータ） (2022-12-18T15:57:46Z)
• Improving Candidate Retrieval with Entity Profile Generation for Wikidata Entity Linking [76.00737707718795]
  本稿では,エンティティ・プロファイリングに基づく新しい候補探索パラダイムを提案する。 我々は、このプロファイルを使用してインデックス付き検索エンジンに問い合わせ、候補エンティティを検索する。 本手法は,ウィキペディアのアンカーテキスト辞書を用いた従来の手法を補完するものである。
  論文  参考訳（メタデータ） (2022-02-27T17:38:53Z)
• Improving Document Representations by Generating Pseudo Query Embeddings for Dense Retrieval [11.465218502487959]
  反復的なクラスタリングプロセスにより,各文書のクエリを模倣する手法を設計する。 また、2段階のスコア計算手順でマッチング関数を最適化する。 いくつかの人気ランキングとQAデータセットに関する実験結果から、私たちのモデルが最先端の結果を達成できることが示された。
  論文  参考訳（メタデータ） (2021-05-08T05:28:24Z)
• QBSUM: a Large-Scale Query-Based Document Summarization Dataset from Real-world Applications [20.507631900617817]
  提案するQBSUMは,中国語クエリベースの文書要約処理のための49,000以上のデータサンプルからなる高品質な大規模データセットである。 また,タスクに対する教師なしおよび教師なしの複数のソリューションを提案し,オフライン実験とオンラインA/Bテストの両方を通して,高速な推論と優れた性能を示す。
  論文  参考訳（メタデータ） (2020-10-27T07:30:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。