論文の概要: LightPAL: Lightweight Passage Retrieval for Open Domain Multi-Document Summarization

• arxiv url: http://arxiv.org/abs/2406.12494v1
• Date: Tue, 18 Jun 2024 10:57:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 19:17:37.283339
• Title: LightPAL: Lightweight Passage Retrieval for Open Domain Multi-Document Summarization
• Title（参考訳）: LightPAL: オープンドメインマルチドキュメント要約のための軽量パス検索
• Authors: Masafumi Enomoto, Kunihiro Takeoka, Kosuke Akimoto, Kiril Gashteovski, Masafumi Oyamada,
• Abstract要約: Open-Domain Multi-Document Summarization (ODMDS) は多様な情報ニーズに対処するために重要である。 既存のアプローチは、まず関連するパスを見つけ、次に言語モデルを使って要約を生成するが、ODMDSでは不十分である。 ODMDSの軽量パス検索手法であるLightPALを提案する。
• 参考スコア（独自算出の注目度）: 9.739781953744606
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-Domain Multi-Document Summarization (ODMDS) is crucial for addressing diverse information needs, which aims to generate a summary as answer to user's query, synthesizing relevant content from multiple documents in a large collection. Existing approaches that first find relevant passages and then generate a summary using a language model are inadequate for ODMDS. This is because open-ended queries often require additional context for the retrieved passages to cover the topic comprehensively, making it challenging to retrieve all relevant passages initially. While iterative retrieval methods have been explored for multi-hop question answering (MQA), they are impractical for ODMDS due to high latency from repeated large language model (LLM) inference for reasoning. To address this issue, we propose LightPAL, a lightweight passage retrieval method for ODMDS that constructs a graph representing passage relationships using an LLM during indexing and employs random walk instead of iterative reasoning and retrieval at inference time. Experiments on ODMDS benchmarks show that LightPAL outperforms baseline retrievers in summary quality while being significantly more efficient than an iterative MQA approach.
• Abstract（参考訳）: Open-Domain Multi-Document Summarization (ODMDS) は,ユーザのクエリに対する回答として要約を生成することを目的として,大規模なコレクション内の複数のドキュメントから関連するコンテンツを合成する。 既存のアプローチは、まず関連するパスを見つけ、次に言語モデルを使って要約を生成するが、ODMDSでは不十分である。 これは、オープンなクエリは、トピックを包括的にカバーするために、検索されたパスに追加のコンテキストを必要とすることが多いため、すべての関連するパスを最初に取得することは困難である。 マルチホップ質問応答 (MQA) に対して反復的検索手法が検討されているが, ODMDS では論理的推論を繰り返す大言語モデル (LLM) から高い遅延が生じるため,ODMDS では実用的ではない。 この問題に対処するため,本論文では,インデクシング中に LLM を用いて経路関係を表すグラフを構築し,推論時に反復的推論や検索の代わりにランダムウォークを利用する ODMDS の軽量パス検索手法である LightPAL を提案する。 ODMDSベンチマークの実験では、LightPALは、反復MQAアプローチよりもはるかに効率的で、サマリ品質でベースラインレトリバーより優れています。

関連論文リスト

• Emulating Retrieval Augmented Generation via Prompt Engineering for Enhanced Long Context Comprehension in LLMs [23.960451986662996]
  本稿では,レトリーバル拡張生成(RAG)を特殊エンジニアリングとチェーンオブ思考推論によりエミュレートする手法を提案する。 我々は,BABILong から選択したタスクに対するアプローチを評価し,大量の散逸テキストを用いた標準 bAbI QA 問題をインターリーブする。
  論文  参考訳（メタデータ） (2025-02-18T02:49:40Z)
• MM-Embed: Universal Multimodal Retrieval with Multimodal LLMs [78.5013630951288]
  本稿では,マルチモーダル大言語モデル(MLLM)を用いた情報検索手法を提案する。 まず,16個の検索タスクを持つ10個のデータセットに対して,MLLMをバイエンコーダレトリバーとして微調整する。 我々は,MLLMレトリバーが提示するモダリティバイアスを軽減するために,モダリティを考慮したハードネガティブマイニングを提案する。
  論文  参考訳（メタデータ） (2024-11-04T20:06:34Z)
• Enhancing Long Context Performance in LLMs Through Inner Loop Query Mechanism [2.919891871101241]
  変換器は入力サイズと計算複雑性の2次スケーリングを持つ。 Retrieval-augmented Generation (RAG)は、検索システムを使用することで、より長いコンテキストを処理できる。 インナーループメモリ拡張ツリー検索(ILM-TR)という新しい手法を導入する。
  論文  参考訳（メタデータ） (2024-10-11T19:49:05Z)
• EfficientRAG: Efficient Retriever for Multi-Hop Question Answering [52.64500643247252]
  マルチホップ質問応答のための効率的な検索器であるEfficientRAGを紹介する。 実験の結果、EfficientRAGは3つのオープンドメインのマルチホップ質問応答データセット上で既存のRAG手法を超越していることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T06:57:49Z)
• PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval [76.50690734636477]
  本稿では,PmptRepsを提案する。このPmptRepsは,トレーニングを必要とせず,コーパス全体から検索できる機能である。 検索システムは、高密度テキスト埋め込みとスパースバッグ・オブ・ワード表現の両方を利用する。
  論文  参考訳（メタデータ） (2024-04-29T04:51:30Z)
• ODSum: New Benchmarks for Open Domain Multi-Document Summarization [30.875191848268347]
  Open- Domain Multi-Document Summarization (ODMDS) は、大量のドキュメントを一貫性のある簡潔な要約に集約するための重要なツールである。 我々は,クエリに基づく文書要約データセットをODMDSデータセットに処理するためのルールベース手法を提案する。
  論文  参考訳（メタデータ） (2023-09-16T11:27:34Z)
• Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
  本研究では,ALIESと呼ばれる新しい手法を提案する。 入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。 元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
  論文  参考訳（メタデータ） (2023-05-24T06:16:44Z)
• Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
  ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。 我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
  論文  参考訳（メタデータ） (2023-04-27T14:45:55Z)
• Query2doc: Query Expansion with Large Language Models [69.9707552694766]
  提案手法はまず,大言語モデル (LLM) をプロンプトすることで擬似文書を生成する。 query2docは、アドホックIRデータセットでBM25のパフォーマンスを3%から15%向上させる。 また,本手法は,ドメイン内およびドメイン外の両方において,最先端の高密度検索に有効である。
  論文  参考訳（メタデータ） (2023-03-14T07:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。