論文の概要: Synthetic Test Collections for Retrieval Evaluation

• arxiv url: http://arxiv.org/abs/2405.07767v1
• Date: Mon, 13 May 2024 14:11:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 13:35:36.221400
• Title: Synthetic Test Collections for Retrieval Evaluation
• Title（参考訳）: 検索評価のための合成テストコレクション
• Authors: Hossein A. Rahmani, Nick Craswell, Emine Yilmaz, Bhaskar Mitra, Daniel Campos,
• Abstract要約: テストコレクションは情報検索(IR)システムの評価において重要な役割を果たす。 本研究では,Large Language Models (LLMs) を用いて合成テストコレクションを構築することができるかどうかを検討する。 実験により,LLMを用いて,検索評価に確実に使用できる合成テストコレクションを構築することが可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 31.36035082257619
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test collections play a vital role in evaluation of information retrieval (IR) systems. Obtaining a diverse set of user queries for test collection construction can be challenging, and acquiring relevance judgments, which indicate the appropriateness of retrieved documents to a query, is often costly and resource-intensive. Generating synthetic datasets using Large Language Models (LLMs) has recently gained significant attention in various applications. In IR, while previous work exploited the capabilities of LLMs to generate synthetic queries or documents to augment training data and improve the performance of ranking models, using LLMs for constructing synthetic test collections is relatively unexplored. Previous studies demonstrate that LLMs have the potential to generate synthetic relevance judgments for use in the evaluation of IR systems. In this paper, we comprehensively investigate whether it is possible to use LLMs to construct fully synthetic test collections by generating not only synthetic judgments but also synthetic queries. In particular, we analyse whether it is possible to construct reliable synthetic test collections and the potential risks of bias such test collections may exhibit towards LLM-based models. Our experiments indicate that using LLMs it is possible to construct synthetic test collections that can reliably be used for retrieval evaluation.
• Abstract（参考訳）: テストコレクションは情報検索(IR)システムの評価において重要な役割を果たす。 テストコレクション構築のための多種多様なユーザクエリの取得は困難であり,検索したドキュメントのクエリに対する適切性を示す関連判断の取得は,コストが高く,リソース集約的であることが多い。 大規模言語モデル(LLM)を用いた合成データセットの生成は、近年、様々なアプリケーションにおいて大きな注目を集めている。 IRにおいて、以前の研究は、合成クエリや文書を生成する能力を利用してトレーニングデータを増やし、ランキングモデルの性能を向上させる一方で、合成テストコレクションを構築するのにLLMを使うことは、比較的未調査である。 従来の研究では、LLMはIRシステムの評価に使用される合成関連判定を生成する可能性があることが示されている。 本稿では,合成判定だけでなく,合成クエリも生成することにより,LLMを用いて完全合成テストコレクションを構築することができるかどうかを総合的に検討する。 特に,信頼性の高い総合的なテストコレクションの構築が可能か,そのようなテストコレクションがLCMモデルに対して現れる可能性のあるバイアスの潜在的なリスクについて分析する。 実験により,LLMを用いて,検索評価に確実に使用できる合成テストコレクションを構築することが可能であることが示唆された。

関連論文リスト

• A Reproducibility and Generalizability Study of Large Language Models for Query Generation [14.172158182496295]
  生成AIと大規模言語モデル(LLM)は、体系的な文献レビュープロセスに革命をもたらすことを約束する。 本稿では,LLMを用いたBooleanクエリ生成を体系的レビューのために広範囲に研究する。 本研究は,ChatGPTを用いて得られた結果の複製性と信頼性について検討した。 次に、オープンソースモデルの解析と評価により結果を一般化する。
  論文  参考訳（メタデータ） (2024-11-22T13:15:03Z)
• Data Fusion of Synthetic Query Variants With Generative Large Language Models [1.864807003137943]
  本研究は,データ融合実験において,命令調整型大規模言語モデルによって生成される合成クエリ変種を用いることの実現可能性について検討する。 我々は、プロンプトとデータ融合の原則を生かした、軽量で教師なしで費用効率のよいアプローチを導入します。 解析の結果,合成クエリの変種に基づくデータ融合は,単一クエリのベースラインよりもはるかに優れており,擬似関連フィードバック手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-11-06T12:54:27Z)
• Unleashing the Power of Large Language Models in Zero-shot Relation Extraction via Self-Prompting [21.04933334040135]
  本稿では,大規模言語モデルに組み込まれたRE知識を十分に活用する新しい手法であるSelf-Promptingフレームワークを紹介する。 我々のフレームワークは3段階の多様性アプローチを用いてLSMを誘導し、スクラッチから特定の関係をカプセル化する複数の合成サンプルを生成する。 ベンチマークデータセットを用いた実験により,既存のLCMベースのゼロショットRE法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-10-02T01:12:54Z)
• BERGEN: A Benchmarking Library for Retrieval-Augmented Generation [26.158785168036662]
  Retrieval-Augmented Generationは、外部知識による大規模言語モデルの拡張を可能にする。 一貫性のないベンチマークは、アプローチを比較し、パイプライン内の各コンポーネントの影響を理解する上で大きな課題となる。 本研究では,RAGを体系的に評価するための基礎となるベストプラクティスと,RAG実験を標準化した再現可能な研究用ライブラリであるBERGENについて検討する。
  論文  参考訳（メタデータ） (2024-07-01T09:09:27Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• Automatic benchmarking of large multimodal models via iterative experiment programming [71.78089106671581]
  本稿では,LMMの自動ベンチマークのための最初のフレームワークであるAPExを紹介する。 自然言語で表現された研究の質問に対して、APExは大きな言語モデル(LLM)と事前定義されたツールのライブラリを活用して、手元にあるモデルの一連の実験を生成する。 調査の現在の状況に基づいて、APExはどの実験を行うか、結果が結論を引き出すのに十分かどうかを選択する。
  論文  参考訳（メタデータ） (2024-06-18T06:43:46Z)
• STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
  テキストと知識ベースを用いた大規模半構造検索ベンチマークSTARKを開発した。 本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野について検討した。 多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
  論文  参考訳（メタデータ） (2024-04-19T22:54:54Z)
• Mitigating Catastrophic Forgetting in Large Language Models with Self-Synthesized Rehearsal [49.24054920683246]
  大規模言語モデル(LLM)は、連続学習中に破滅的な忘れ込みに悩まされる。 自己合成リハーサル(Self-Synthesized Rehearsal, SSR)と呼ばれるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-02T16:11:23Z)
• Benchmarking Generation and Evaluation Capabilities of Large Language Models for Instruction Controllable Summarization [132.25202059478065]
  命令制御可能なテキスト要約の大規模言語モデル(LLM)をベンチマークする。 本研究は,LLMにおいて,命令制御可能なテキスト要約が依然として困難な課題であることを示す。
  論文  参考訳（メタデータ） (2023-11-15T18:25:26Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。