論文の概要: Evaluating Generative Ad Hoc Information Retrieval
- arxiv url: http://arxiv.org/abs/2311.04694v1
- Date: Wed, 8 Nov 2023 14:05:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-09 15:51:40.504823
- Title: Evaluating Generative Ad Hoc Information Retrieval
- Title（参考訳）: 生成型アドホック情報検索の評価
- Authors: Lukas Gienapp, Harrisen Scells, Niklas Deckers, Janek Bevendorff,
Shuai Wang, Johannes Kiesel, Shahbaz Syed, Maik Fr\"obe, Guide Zucoon, Benno
Stein, Matthias Hagen, Martin Potthast
- Abstract要約: 生成検索システムは、従来の文書ランキングではなく、情報要求に応じて、接地された生成されたテキストを返却する。
これらの応答の有効性を定量化することは、生成的検索システムを評価する上で不可欠である。
- 参考スコア（独自算出の注目度）: 44.835859036177
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in large language models have enabled the development of
viable generative information retrieval systems. A generative retrieval system
returns a grounded generated text in response to an information need instead of
the traditional document ranking. Quantifying the utility of these types of
responses is essential for evaluating generative retrieval systems. As the
established evaluation methodology for ranking-based ad hoc retrieval may seem
unsuitable for generative retrieval, new approaches for reliable, repeatable,
and reproducible experimentation are required. In this paper, we survey the
relevant information retrieval and natural language processing literature,
identify search tasks and system architectures in generative retrieval, develop
a corresponding user model, and study its operationalization. This theoretical
analysis provides a foundation and new insights for the evaluation of
generative ad hoc retrieval systems.
- Abstract（参考訳）: 近年の大規模言語モデルの発展により,生成可能情報検索システムの開発が可能となった。
生成検索システムは、従来の文書ランキングに代えて、情報ニーズに応じて生成されたテキストを返却する。
この種の応答の有用性を定量化することは,生成的検索システムを評価する上で不可欠である。
ランキングベースのアドホック検索のための確立された評価手法は、生成的検索には適さないと思われるため、信頼性、再現性、再現性のある実験のための新しいアプローチが必要である。
本稿では、関連情報検索と自然言語処理の文献を調査し、生成検索における検索タスクとシステムアーキテクチャを特定し、対応するユーザモデルを開発し、その運用について検討する。
この理論解析は生成型アドホック検索システムの評価のための基礎と新しい知見を提供する。
関連論文リスト
- Leveraging Retrieval-Augmented Generation for University Knowledge Retrieval [2.749898166276854]
本稿では,Large Language Models (LLM) を用いたレトリーバル拡張生成(RAG)パイプラインを用いた革新的なアプローチを提案する。
大学公式Webページからデータを体系的に抽出することにより、ユーザクエリに対する正確で文脈的に関連する応答を生成する。
実験の結果, 生成した応答の精度と関連性に大きな改善が認められた。
論文 参考訳（メタデータ） (2024-11-09T17:38:01Z) - VERA: Validation and Enhancement for Retrieval Augmented systems [0.0]
textbfValidation and textbfEnhancement for textbfRetrieval textbfAugmented system を提案する。
VERAは、外部検索が必要なかどうかを最初にチェックし、検索したコンテキストの関連性と冗長性を評価し、非必要情報の除去のために精査する評価器-既存のLCMを使用している。
論文 参考訳（メタデータ） (2024-09-18T16:10:47Z) - Exploring Information Retrieval Landscapes: An Investigation of a Novel Evaluation Techniques and Comparative Document Splitting Methods [0.0]
本研究では, 教科書の構造的性質, 記事の簡潔さ, 小説の物語的複雑さについて, 明確な検索戦略が必要であることを示した。
オープンソースのモデルを用いて,質問対と回答対の包括的データセットを生成する新しい評価手法を提案する。
評価には、SequenceMatcher、BLEU、METEOR、BERT Scoreなどの重み付けされたスコアを使用して、システムの正確性と妥当性を評価する。
論文 参考訳（メタデータ） (2024-09-13T02:08:47Z) - From Matching to Generation: A Survey on Generative Information Retrieval [21.56093567336119]
生成情報検索(GenIR)は新たなパラダイムとして登場し,近年注目を集めている。
本稿では,GenIRの最新研究動向を体系的にレビューすることを目的とする。
論文 参考訳（メタデータ） (2024-04-23T09:05:37Z) - STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
テキストと知識ベースを用いた大規模半構造検索ベンチマークSTARKを開発した。
本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野について検討した。
多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
論文 参考訳（メタデータ） (2024-04-19T22:54:54Z) - Learning to Rank in Generative Retrieval [62.91492903161522]
生成的検索は、検索対象として関連する通路の識別子文字列を生成することを目的としている。
我々はLTRGRと呼ばれる生成検索のための学習 torankフレームワークを提案する。
このフレームワークは、現在の生成的検索システムを強化するために、追加の学習からランクまでのトレーニングフェーズのみを必要とする。
論文 参考訳（メタデータ） (2023-06-27T05:48:14Z) - Enhancing Retrieval-Augmented Large Language Models with Iterative
Retrieval-Generation Synergy [164.83371924650294]
検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。
モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。
Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
論文 参考訳（メタデータ） (2023-05-24T16:17:36Z) - Incorporating Relevance Feedback for Information-Seeking Retrieval using
Few-Shot Document Re-Ranking [56.80065604034095]
我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。
異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
論文 参考訳（メタデータ） (2022-10-19T16:19:37Z) - CorpusBrain: Pre-train a Generative Retrieval Model for
Knowledge-Intensive Language Tasks [62.22920673080208]
単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。
我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
論文 参考訳（メタデータ） (2022-08-16T10:22:49Z) - GQE-PRF: Generative Query Expansion with Pseudo-Relevance Feedback [8.142861977776256]
PRFに基づくクエリ拡張にテキスト生成モデルを効果的に統合する新しい手法を提案する。
提案手法では,初期クエリと擬似関連フィードバックの両方を条件としたニューラルテキスト生成モデルを用いて,拡張クエリ項を生成する。
2つのベンチマークデータセットを用いて,情報検索タスクに対するアプローチの有効性を評価する。
論文 参考訳（メタデータ） (2021-08-13T01:09:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。