論文の概要: REANIMATOR: Reanimate Retrieval Test Collections with Extracted and Synthetic Resources

• arxiv url: http://arxiv.org/abs/2504.07584v1
• Date: Thu, 10 Apr 2025 09:25:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 12:24:11.242330
• Title: REANIMATOR: Reanimate Retrieval Test Collections with Extracted and Synthetic Resources
• Title（参考訳）: REANIMATOR: 抽出および合成資源を用いた検索検索テストコレクション
• Authors: Björn Engelmann, Fabian Haak, Philipp Schaer, Mani Erfanian Abdoust, Linus Netze, Meik Bittkowski,
• Abstract要約: 本稿では,既存のテストコレクションの再利用を可能にする汎用フレームワークであるREANIMATORを紹介する。 完全なテキストとマシン可読テーブルを解析することで、PDFファイルからのテストコレクションを強化する。 その後、最先端の大規模言語モデルを使用して、合成関連ラベルを生成する。
• 参考スコア（独自算出の注目度）: 1.1309478649967237
• License:
• Abstract: Retrieval test collections are essential for evaluating information retrieval systems, yet they often lack generalizability across tasks. To overcome this limitation, we introduce REANIMATOR, a versatile framework designed to enable the repurposing of existing test collections by enriching them with extracted and synthetic resources. REANIMATOR enhances test collections from PDF files by parsing full texts and machine-readable tables, as well as related contextual information. It then employs state-of-the-art large language models to produce synthetic relevance labels. Including an optional human-in-the-loop step can help validate the resources that have been extracted and generated. We demonstrate its potential with a revitalized version of the TREC-COVID test collection, showcasing the development of a retrieval-augmented generation system and evaluating the impact of tables on retrieval-augmented generation. REANIMATOR enables the reuse of test collections for new applications, lowering costs and broadening the utility of legacy resources.
• Abstract（参考訳）: 検索テストコレクションは情報検索システム評価に不可欠であるが,タスク間の一般化性に欠けることが多い。 この制限を克服するために,既存のテストコレクションを抽出および合成資源で強化することにより,再利用を可能にする多目的フレームワークであるREANIMATORを紹介した。 REANIMATORは、全文と機械可読テーブルを解析し、関連するコンテキスト情報を解析することで、PDFファイルからのテストコレクションを強化する。 その後、最先端の大規模言語モデルを使用して、合成関連ラベルを生成する。 オプションのHuman-in-the-loopステップを含めると、抽出され生成されたリソースを検証するのに役立つ。 TREC-COVIDテストコレクションの再活性化版でその可能性を実証し、検索強化生成システムの開発と、検索増強生成に対するテーブルの影響を評価する。 REANIMATORは、新しいアプリケーションのテストコレクションの再利用を可能にし、コストを削減し、レガシーリソースの有用性を拡大する。

関連論文リスト

• Learning More Effective Representations for Dense Retrieval through Deliberate Thinking Before Search [65.53881294642451]
  ディリベレート思考に基づくDense Retriever (DEBATER) DEBATERは、ステップバイステップの思考プロセスを通じて、より効果的な文書表現を学習できるようにすることにより、最近の密集型検索機能を強化している。 実験の結果,DEBATERはいくつかのベンチマークで既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-02-18T15:56:34Z)
• GenTREC: The First Test Collection Generated by Large Language Models for Evaluating Information Retrieval Systems [0.33748750222488655]
  GenTRECは、Large Language Model (LLM)によって生成された文書から完全に構築された最初のテストコレクションである。 我々は、生成したプロンプトのみに関連する文書を考察する一方、他の文書とトピックのペアは非関連として扱われる。 結果として得られたGenTRECコレクションは96,196のドキュメント、300のトピック、および18,964の関連性"判断"で構成されている。
  論文  参考訳（メタデータ） (2025-01-05T00:27:36Z)
• A Reproducibility and Generalizability Study of Large Language Models for Query Generation [14.172158182496295]
  生成AIと大規模言語モデル(LLM)は、体系的な文献レビュープロセスに革命をもたらすことを約束する。 本稿では,LLMを用いたBooleanクエリ生成を体系的レビューのために広範囲に研究する。 本研究は,ChatGPTを用いて得られた結果の複製性と信頼性について検討した。 次に、オープンソースモデルの解析と評価により結果を一般化する。
  論文  参考訳（メタデータ） (2024-11-22T13:15:03Z)
• Beyond Content Relevance: Evaluating Instruction Following in Retrieval Models [25.301280441283147]
  本研究では,コンテンツ関連性を超えた各種検索モデルの指示追従能力について検討した。 6つの文書レベル属性にまたがる新しい検索評価ベンチマークを開発した。 その結果,命令対応検索データセットの微調整モデルでは性能が向上するが,ほとんどのモデルでは命令順守に欠けることがわかった。
  論文  参考訳（メタデータ） (2024-10-31T11:47:21Z)
• ArxivDIGESTables: Synthesizing Scientific Literature into Tables using Language Models [58.34560740973768]
  本稿では,言語モデル(LM)を利用して文献レビュー表を生成するフレームワークを提案する。 ArXiv論文から抽出された2,228の文献レビューテーブルの新しいデータセットは、合計で7,542の論文を合成する。 我々は、LMが参照テーブルを再構築する能力を評価し、追加のコンテキストからこのタスクの利点を見出す。
  論文  参考訳（メタデータ） (2024-10-25T18:31:50Z)
• BERGEN: A Benchmarking Library for Retrieval-Augmented Generation [26.158785168036662]
  Retrieval-Augmented Generationは、外部知識による大規模言語モデルの拡張を可能にする。 一貫性のないベンチマークは、アプローチを比較し、パイプライン内の各コンポーネントの影響を理解する上で大きな課題となる。 本研究では,RAGを体系的に評価するための基礎となるベストプラクティスと,RAG実験を標準化した再現可能な研究用ライブラリであるBERGENについて検討する。
  論文  参考訳（メタデータ） (2024-07-01T09:09:27Z)
• Synthetic Test Collections for Retrieval Evaluation [31.36035082257619]
  テストコレクションは情報検索(IR)システムの評価において重要な役割を果たす。 本研究では,Large Language Models (LLMs) を用いて合成テストコレクションを構築することができるかどうかを検討する。 実験により,LLMを用いて,検索評価に確実に使用できる合成テストコレクションを構築することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-05-13T14:11:09Z)
• Evaluating Generative Ad Hoc Information Retrieval [58.800799175084286]
  生成検索システムは、しばしばクエリに対する応答として、接地された生成されたテキストを直接返す。 このような生成的アドホック検索を適切に評価するには,テキスト応答の有用性の定量化が不可欠である。
  論文  参考訳（メタデータ） (2023-11-08T14:05:00Z)
• Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy [164.83371924650294]
  検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。 モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。 Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
  論文  参考訳（メタデータ） (2023-05-24T16:17:36Z)
• Active Retrieval Augmented Generation [123.68874416084499]
  外部知識資源から情報を取得することで、大きな言語モデル(LM)を拡張することは、有望な解決策である。 ほとんどの既存の検索拡張LMは、入力に基づいて一度だけ情報を検索する検索と生成のセットアップを採用している。 本稿では,将来的な内容を予測するために,文の予測を反復的に利用する汎用手法であるフォワード・フォワード・アクティブ・レトリヴァル・ジェネレーション・ジェネレーション(FLARE)を提案する。
  論文  参考訳（メタデータ） (2023-05-11T17:13:40Z)
• Does Recommend-Revise Produce Reliable Annotations? An Analysis on Missing Instances in DocRED [60.39125850987604]
  テキスト修正方式は, 偽陰性サンプルと, 人気エンティティや関係性に対する明らかな偏見をもたらすことを示す。 より信頼性の高いドキュメントREモデルのテストセットとして機能するように、relabeledデータセットがリリースされている。
  論文  参考訳（メタデータ） (2022-04-17T11:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。