論文の概要: Evaluating Generative Ad Hoc Information Retrieval
- arxiv url: http://arxiv.org/abs/2311.04694v1
- Date: Wed, 8 Nov 2023 14:05:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-09 15:51:40.504823
- Title: Evaluating Generative Ad Hoc Information Retrieval
- Title(参考訳): 生成型アドホック情報検索の評価
- Authors: Lukas Gienapp, Harrisen Scells, Niklas Deckers, Janek Bevendorff,
Shuai Wang, Johannes Kiesel, Shahbaz Syed, Maik Fr\"obe, Guide Zucoon, Benno
Stein, Matthias Hagen, Martin Potthast
- Abstract要約: 生成検索システムは、従来の文書ランキングではなく、情報要求に応じて、接地された生成されたテキストを返却する。
これらの応答の有効性を定量化することは、生成的検索システムを評価する上で不可欠である。
- 参考スコア(独自算出の注目度): 44.835859036177
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in large language models have enabled the development of
viable generative information retrieval systems. A generative retrieval system
returns a grounded generated text in response to an information need instead of
the traditional document ranking. Quantifying the utility of these types of
responses is essential for evaluating generative retrieval systems. As the
established evaluation methodology for ranking-based ad hoc retrieval may seem
unsuitable for generative retrieval, new approaches for reliable, repeatable,
and reproducible experimentation are required. In this paper, we survey the
relevant information retrieval and natural language processing literature,
identify search tasks and system architectures in generative retrieval, develop
a corresponding user model, and study its operationalization. This theoretical
analysis provides a foundation and new insights for the evaluation of
generative ad hoc retrieval systems.
- Abstract(参考訳): 近年の大規模言語モデルの発展により,生成可能情報検索システムの開発が可能となった。
生成検索システムは、従来の文書ランキングに代えて、情報ニーズに応じて生成されたテキストを返却する。
この種の応答の有用性を定量化することは,生成的検索システムを評価する上で不可欠である。
ランキングベースのアドホック検索のための確立された評価手法は、生成的検索には適さないと思われるため、信頼性、再現性、再現性のある実験のための新しいアプローチが必要である。
本稿では、関連情報検索と自然言語処理の文献を調査し、生成検索における検索タスクとシステムアーキテクチャを特定し、対応するユーザモデルを開発し、その運用について検討する。
この理論解析は生成型アドホック検索システムの評価のための基礎と新しい知見を提供する。
関連論文リスト
- Harnessing Retrieval-Augmented Generation (RAG) for Uncovering Knowledge
Gaps [0.0]
本研究は,一貫した精度93%の関連提案を生成するためのRAGシステムの有効性を実証した。
その結果,知識ギャップを識別し,理解することの価値が強調され,今後の課題が導かれる。
論文 参考訳(メタデータ) (2023-12-12T23:22:57Z) - Large Language Models for Information Retrieval: A Survey [57.7992728506871]
情報検索は、項ベースの手法から高度なニューラルモデルとの統合へと進化してきた。
近年の研究では、大規模言語モデル(LLM)を活用してIRシステムの改善が試みられている。
LLMとIRシステムの合流点を探索し、クエリリライト、リトリバー、リランカー、リーダーといった重要な側面を含む。
論文 参考訳(メタデータ) (2023-08-14T12:47:22Z) - Learning to Rank in Generative Retrieval [62.91492903161522]
生成的検索は、検索対象として関連する通路の識別子文字列を生成することを目的としている。
我々はLTRGRと呼ばれる生成検索のための学習 torankフレームワークを提案する。
このフレームワークは、現在の生成的検索システムを強化するために、追加の学習からランクまでのトレーニングフェーズのみを必要とする。
論文 参考訳(メタデータ) (2023-06-27T05:48:14Z) - Enhancing Retrieval-Augmented Large Language Models with Iterative
Retrieval-Generation Synergy [164.83371924650294]
検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。
モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。
Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
論文 参考訳(メタデータ) (2023-05-24T16:17:36Z) - Incorporating Relevance Feedback for Information-Seeking Retrieval using
Few-Shot Document Re-Ranking [56.80065604034095]
我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。
異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
論文 参考訳(メタデータ) (2022-10-19T16:19:37Z) - CorpusBrain: Pre-train a Generative Retrieval Model for
Knowledge-Intensive Language Tasks [62.22920673080208]
単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。
我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
論文 参考訳(メタデータ) (2022-08-16T10:22:49Z) - GQE-PRF: Generative Query Expansion with Pseudo-Relevance Feedback [8.142861977776256]
PRFに基づくクエリ拡張にテキスト生成モデルを効果的に統合する新しい手法を提案する。
提案手法では,初期クエリと擬似関連フィードバックの両方を条件としたニューラルテキスト生成モデルを用いて,拡張クエリ項を生成する。
2つのベンチマークデータセットを用いて,情報検索タスクに対するアプローチの有効性を評価する。
論文 参考訳(メタデータ) (2021-08-13T01:09:02Z) - Leveraging Cognitive Search Patterns to Enhance Automated Natural
Language Retrieval Performance [0.0]
ユーザの検索行動を模倣する認知的再構成パターンが強調されている。
問合せの概念表現を考慮し,これらのパターンの適用を形式化する。
遺伝的アルゴリズムに基づく重み付けプロセスでは、概念的役割タイプに応じて用語に重点を置くことができる。
論文 参考訳(メタデータ) (2020-04-21T14:13:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。