論文の概要: Can we Retrieve Everything All at Once? ARM: An Alignment-Oriented LLM-based Retrieval Method
- arxiv url: http://arxiv.org/abs/2501.18539v1
- Date: Thu, 30 Jan 2025 18:07:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-31 15:15:40.928417
- Title: Can we Retrieve Everything All at Once? ARM: An Alignment-Oriented LLM-based Retrieval Method
- Title(参考訳): すべてを一度に検索できるのか?ARM: alignment-Oriented LLM-based Retrieval法
- Authors: Peter Baile Chen, Yi Zhang, Michael Cafarella, Dan Roth,
- Abstract要約: ARMは、データオブジェクト間の関係を探索することで、データ収集の組織とよりよく一致させることを目指している。
クエリ分解の精度は最大5.2 pt、エージェントRAG(ReAct)は最大15.9 ptである。
最大5.5 pt、19.3 ptのF1マッチスコアをこれらのアプローチと比較して達成する。
- 参考スコア(独自算出の注目度): 48.14236175156835
- License:
- Abstract: Real-world open-domain questions can be complicated, particularly when answering them involves information from multiple information sources. LLMs have demonstrated impressive performance in decomposing complex tasks into simpler steps, and previous work has used it for better retrieval in support of complex questions. However, LLM's decomposition of questions is unaware of what data is available and how data is organized, often leading to a sub-optimal retrieval performance. Recent effort in agentic RAG proposes to perform retrieval in an iterative fashion, where a followup query is derived as an action based on previous rounds of retrieval. While this provides one way of interacting with the data collection, agentic RAG's exploration of data is inefficient because successive queries depend on previous results rather than being guided by the organization of available data in the collection. To address this problem, we propose an LLM-based retrieval method -- ARM, that aims to better align the question with the organization of the data collection by exploring relationships among data objects beyond matching the utterance of the query, thus leading to a retrieve-all-at-once solution for complex queries. We evaluated ARM on two datasets, Bird and OTT-QA. On Bird, it outperforms standard RAG with query decomposition by up to 5.2 pt in execution accuracy and agentic RAG (ReAct) by up to 15.9 pt. On OTT-QA, it achieves up to 5.5 pt and 19.3 pt higher F1 match scores compared to these approaches.
- Abstract(参考訳): 現実世界のオープンドメインの質問は複雑であり、特に答えには複数の情報ソースからの情報が含まれる。
LLMは複雑なタスクを単純なステップに分解する際の素晴らしい性能を示しており、以前の研究では複雑な問題に対するより良い検索に利用されてきた。
しかし、LLMの質問の分解は、どのデータが利用可能か、どのようにデータを整理するかを知らないため、しばしば準最適検索性能に繋がる。
エージェントRAGの最近の取り組みは反復的な方法で検索を行うことを提案しており、この場合、追従クエリは以前の検索ラウンドに基づいたアクションとして導出される。
これはデータコレクションと対話する1つの方法を提供するが、エージェントRAGによるデータの探索は非効率である。
この問題に対処するため,LLMに基づく検索手法であるARMを提案する。ARMは,クエリの発話にマッチするだけでなく,データオブジェクト間の関係を探索することで,データ収集の組織化をよりよく整合させることを目的としており,複雑なクエリに対する検索・オール・ア・インス・ソリューションが実現されている。
ARMをBirdとOTT-QAの2つのデータセットで評価した。
Birdでは、クエリ分解を最大5.2 pt、エージェントRAG(ReAct)を最大15.9 ptで上回っている。
OTT-QAでは、これらのアプローチと比較して最大5.5 pt、19.3 pt高いF1マッチスコアを達成する。
関連論文リスト
- MM-Embed: Universal Multimodal Retrieval with Multimodal LLMs [78.5013630951288]
本稿では,マルチモーダル大言語モデル(MLLM)を用いた情報検索手法を提案する。
まず,16個の検索タスクを持つ10個のデータセットに対して,MLLMをバイエンコーダレトリバーとして微調整する。
我々は,MLLMレトリバーが提示するモダリティバイアスを軽減するために,モダリティを考慮したハードネガティブマイニングを提案する。
論文 参考訳(メタデータ) (2024-11-04T20:06:34Z) - Enhancing Long Context Performance in LLMs Through Inner Loop Query Mechanism [2.919891871101241]
変換器は入力サイズと計算複雑性の2次スケーリングを持つ。
Retrieval-augmented Generation (RAG)は、検索システムを使用することで、より長いコンテキストを処理できる。
インナーループメモリ拡張ツリー検索(ILM-TR)という新しい手法を導入する。
論文 参考訳(メタデータ) (2024-10-11T19:49:05Z) - W-RAG: Weakly Supervised Dense Retrieval in RAG for Open-domain Question Answering [28.79851078451609]
大規模言語モデル(LLM)は、内部(パラメトリック)知識にのみ依存して、事実的な回答を生成するのに苦労することが多い。
この制限に対処するため、Retrieval-Augmented Generation (RAG)システムでは、外部ソースから関連情報を検索することでLLMを強化している。
我々はLLMのランキング機能を活用してW-RAGを提案する。
論文 参考訳(メタデータ) (2024-08-15T22:34:44Z) - EfficientRAG: Efficient Retriever for Multi-Hop Question Answering [52.64500643247252]
マルチホップ質問応答のための効率的な検索器であるEfficientRAGを紹介する。
実験の結果、EfficientRAGは3つのオープンドメインのマルチホップ質問応答データセット上で既存のRAG手法を超越していることがわかった。
論文 参考訳(メタデータ) (2024-08-08T06:57:49Z) - Optimization of Retrieval-Augmented Generation Context with Outlier Detection [0.0]
そこで本研究では,質問応答システムに必要な文脈の小型化と品質向上に焦点をあてる。
私たちのゴールは、最も意味のあるドキュメントを選択し、捨てられたドキュメントをアウトリーチとして扱うことです。
その結果,質問や回答の複雑さを増大させることで,最大の改善が達成された。
論文 参考訳(メタデータ) (2024-07-01T15:53:29Z) - LightPAL: Lightweight Passage Retrieval for Open Domain Multi-Document Summarization [9.739781953744606]
Open-Domain Multi-Document Summarization (ODMDS)は、ユーザクエリに応答して巨大なドキュメントコレクションから要約を生成するタスクである。
ODMDSタスクのオープンエンドクエリでは、従来の検索列サマリズアプローチは不足している。
ODMDSの軽量パス検索手法であるLightPALを提案する。
論文 参考訳(メタデータ) (2024-06-18T10:57:27Z) - DR-RAG: Applying Dynamic Document Relevance to Retrieval-Augmented Generation for Question-Answering [4.364937306005719]
RAGは最近、質問応答(QA)のような知識集約的なタスクにおいて、LLM(Large Language Models)のパフォーマンスを実証した。
重要な文書とクエリの間には関連性が低いものの,文書の一部とクエリを組み合わせることで,残りの文書を検索できることがわかった。
文書検索のリコールと回答の精度を向上させるために,DR-RAG(Dynamic-Relevant Retrieval-Augmented Generation)と呼ばれる2段階検索フレームワークを提案する。
論文 参考訳(メタデータ) (2024-06-11T15:15:33Z) - SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。
SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。
様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
論文 参考訳(メタデータ) (2024-04-17T01:15:54Z) - Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。
本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。
オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
論文 参考訳(メタデータ) (2024-03-21T13:52:30Z) - Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。
我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
論文 参考訳(メタデータ) (2023-04-27T14:45:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。