論文の概要: Evaluating Generative Ad Hoc Information Retrieval

• arxiv url: http://arxiv.org/abs/2311.04694v2
• Date: Thu, 2 May 2024 08:50:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 22:10:30.440884
• Title: Evaluating Generative Ad Hoc Information Retrieval
• Title（参考訳）: 広告ホック情報検索手法の評価
• Authors: Lukas Gienapp, Harrisen Scells, Niklas Deckers, Janek Bevendorff, Shuai Wang, Johannes Kiesel, Shahbaz Syed, Maik Fröbe, Guido Zuccon, Benno Stein, Matthias Hagen, Martin Potthast,
• Abstract要約: 従来の文書ランキングの代わりに、多くの生成検索システムは、クエリや質問として表現された情報に対する回答として、接地された生成されたテキストを直接返します。 このような生成的アドホック検索を適切に評価するには,テキスト応答の有用性の定量化が不可欠である。 本分析は, アドホック検索に着目した生成検索システム評価のための基礎と新たな知見を提供する。
• 参考スコア（独自算出の注目度）: 58.800799175084286
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large language models have enabled the development of viable generative retrieval systems. Instead of a traditional document ranking, many generative retrieval systems directly return a grounded generated text as an answer to an information need expressed as a query or question. Quantifying the utility of the textual responses is essential for appropriately evaluating such generative ad hoc retrieval. Yet, the established evaluation methodology for ranking-based retrieval is not suited for reliable, repeatable, and reproducible evaluation of generated answers. In this paper, we survey the relevant literature from the fields of information retrieval and natural language processing, we identify search tasks and system architectures in generative retrieval, we develop a corresponding user model, and we study its operationalization. Our analysis provides a foundation and new insights for the evaluation of generative retrieval systems, focusing on ad hoc retrieval.
• Abstract（参考訳）: 大規模言語モデルにおける最近の進歩は、実行可能な生成検索システムの開発を可能にしている。 従来の文書ランキングの代わりに、多くの生成検索システムは、クエリや質問として表現された情報に対する回答として、接地された生成されたテキストを直接返します。 このような生成的アドホック検索を適切に評価するには,テキスト応答の有用性の定量化が不可欠である。 しかし、ランキングベース検索のための確立された評価手法は、信頼性、再現性、再現性のある回答の評価には適していない。 本稿では、情報検索と自然言語処理の分野から関連文献を調査し、生成検索における探索タスクとシステムアーキテクチャを特定し、対応するユーザモデルを構築し、その運用について検討する。 本分析は, アドホック検索に着目した生成検索システム評価のための基礎と新たな知見を提供する。

関連論文リスト

• From Matching to Generation: A Survey on Generative Information Retrieval [21.56093567336119]
  生成情報検索(GenIR)は新たなパラダイムとして登場し,近年注目を集めている。 本稿では,GenIRの最新研究動向を体系的にレビューすることを目的とする。
  論文  参考訳（メタデータ） (2024-04-23T09:05:37Z)
• STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
  テキストとKのガベージベース上での大規模半構造検索ベンチマークSTARKを開発する。 本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野を対象とする。 多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
  論文  参考訳（メタデータ） (2024-04-19T22:54:54Z)
• Corrective Retrieval Augmented Generation [39.371798735872865]
  Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。 生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。 CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
  論文  参考訳（メタデータ） (2024-01-29T04:36:39Z)
• Learning to Rank in Generative Retrieval [62.91492903161522]
  生成的検索は、検索対象として関連する通路の識別子文字列を生成することを目的としている。 我々はLTRGRと呼ばれる生成検索のための学習 torankフレームワークを提案する。 このフレームワークは、現在の生成的検索システムを強化するために、追加の学習からランクまでのトレーニングフェーズのみを必要とする。
  論文  参考訳（メタデータ） (2023-06-27T05:48:14Z)
• Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy [164.83371924650294]
  検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。 モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。 Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
  論文  参考訳（メタデータ） (2023-05-24T16:17:36Z)
• Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking [56.80065604034095]
  我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。 異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
  論文  参考訳（メタデータ） (2022-10-19T16:19:37Z)
• CorpusBrain: Pre-train a Generative Retrieval Model for Knowledge-Intensive Language Tasks [62.22920673080208]
  単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。 我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
  論文  参考訳（メタデータ） (2022-08-16T10:22:49Z)
• GQE-PRF: Generative Query Expansion with Pseudo-Relevance Feedback [8.142861977776256]
  PRFに基づくクエリ拡張にテキスト生成モデルを効果的に統合する新しい手法を提案する。 提案手法では,初期クエリと擬似関連フィードバックの両方を条件としたニューラルテキスト生成モデルを用いて,拡張クエリ項を生成する。 2つのベンチマークデータセットを用いて,情報検索タスクに対するアプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2021-08-13T01:09:02Z)
• Leveraging Cognitive Search Patterns to Enhance Automated Natural Language Retrieval Performance [0.0]
  ユーザの検索行動を模倣する認知的再構成パターンが強調されている。 問合せの概念表現を考慮し,これらのパターンの適用を形式化する。 遺伝的アルゴリズムに基づく重み付けプロセスでは、概念的役割タイプに応じて用語に重点を置くことができる。
  論文  参考訳（メタデータ） (2020-04-21T14:13:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。