論文の概要: BRIEF: Bridging Retrieval and Inference for Multi-hop Reasoning via Compression

• arxiv url: http://arxiv.org/abs/2410.15277v1
• Date: Sun, 20 Oct 2024 04:24:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:18:59.451900
• Title: BRIEF: Bridging Retrieval and Inference for Multi-hop Reasoning via Compression
• Title（参考訳）: BRIEF:圧縮によるマルチホップ推論のためのブリッジ検索と推論
• Authors: Yuankai Li, Jia-Chen Gu, Di Wu, Kai-Wei Chang, Nanyun Peng,
• Abstract要約: BRIEF(Bridging Retrieval and Inference through Evidence Fusion)は、クエリ対応のマルチホップ推論を実行する軽量なアプローチである。 オープンソースモデルで構築した合成データに基づいて,BRIEFはより簡潔な要約を生成する。
• 参考スコア（独自算出の注目度）: 91.23933111083389
• License:
• Abstract: Retrieval-augmented generation (RAG) can supplement large language models (LLMs) by integrating external knowledge. However, as the number of retrieved documents increases, the input length to LLMs grows linearly, causing a dramatic increase in latency and a degradation in long-context understanding. This is particularly serious for multi-hop questions that require a chain of reasoning across documents. To accelerate inference, reduce costs, and minimize distractions, this paper presents BRIEF (Bridging Retrieval and Inference through Evidence Fusion), a lightweight approach that performs query-aware multi-hop reasoning by compressing retrieved documents into highly dense textual summaries to integrate into in-context learning. To enable learning compression for multi-hop reasoning, we curate synthetic data by extracting atomic proposition expressions that encapsulate distinct factoids from the source documents to compose synthetic summaries. Based on our synthetic data built entirely by open-source models, BRIEF generates more concise summaries and enables a range of LLMs to achieve exceptional open-domain question answering (QA) performance. For example, on HotpotQA, BRIEF improves the compression rate by 2 times compared to the state-of-the-art baseline, while outperforming it by 3.00% EM and 4.16% F1 with Flan-UL2 as the reader LM. It also generates more concise summaries than proprietary GPT-3.5, while demonstrating nearly identical QA performance.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG)は、外部知識を統合することで、大きな言語モデル(LLM)を補完することができる。 しかし、検索された文書の数が増加するにつれて、LLMへの入力長は線形に増加し、レイテンシが劇的に増加し、長いコンテキスト理解が低下する。 これは文書間の推論の連鎖を必要とするマルチホップの質問には特に深刻である。 提案手法は,検索した文書を高密度のテキスト要約に圧縮し,テキスト内学習に統合することで,クエリ対応のマルチホップ推論を行う軽量な手法である。 マルチホップ推論のための学習圧縮を可能にするため,情報源文書から異なるファクトイドをカプセル化した原子命題式を抽出して合成データをキュレートし,合成要約を作成する。 BRIEFは、オープンソースモデルによって構築された合成データに基づいて、より簡潔な要約を生成し、様々なLLMが例外的なオープンドメイン質問応答(QA)性能を達成することを可能にする。 例えばHotpotQAでは、BRIEFは最先端のベースラインに比べて圧縮率を2倍改善し、読み出しLMはFlan-UL2で3.00% EMと4.16% F1を上回っている。 また、プロプライエタリなGPT-3.5よりも簡潔な要約を生成すると同時に、ほぼ同じQA性能を示す。

関連論文リスト

• Two are better than one: Context window extension with multi-grained self-injection [111.1376461868317]
  SharedLLMは、多粒度コンテキスト圧縮とクエリ対応情報検索の設計哲学に基づく新しいアプローチである。 本研究では,テキストチャンクの多粒度コンテキスト情報を効率的にエンコードし,保存し,検索するための木構造データ構造を提案する。
  論文  参考訳（メタデータ） (2024-10-25T06:08:59Z)
• Accelerating Inference of Retrieval-Augmented Generation via Sparse Context Selection [28.15184715270483]
  大きな言語モデル (LLM) は、検索によって強化され、堅牢な性能と広範な汎用性を示す。 本稿では,スパースRAGという新しいパラダイムを提案する。 Sparse RAGは、検索したドキュメントを並列にエンコードする。
  論文  参考訳（メタデータ） (2024-05-25T11:10:04Z)
• Consistency Guided Knowledge Retrieval and Denoising in LLMs for Zero-shot Document-level Relation Triplet Extraction [43.50683283748675]
  文書レベルの関係トリプルト抽出(DocRTE)は、文書から意味的関係を持つエンティティを同時に抽出することを目的とした情報システムの基本課題である。 既存の手法は、かなりの量の完全なラベル付きデータに依存している。 ChatGPTやLLaMAのような最近の先進言語モデル(LLM)は、素晴らしい長文生成能力を示している。
  論文  参考訳（メタデータ） (2024-01-24T17:04:28Z)
• Context-aware Decoding Reduces Hallucination in Query-focused Summarization [2.8554857235549753]
  我々は最近提案された1つの復号法である文脈認識復号法(CAD)について大規模な研究を行っている。 8つの異なる言語モデルを用いた実験により、CADは事実性エラー/幻覚を減らすことでQFSの品質を向上させることが示された。 Huggingface Libraryに基づくコード実装が利用可能である。
  論文  参考訳（メタデータ） (2023-12-21T23:42:13Z)
• Extending Context Window of Large Language Models via Semantic Compression [21.35020344956721]
  大規模言語モデル(LLM)は、しばしば、流動的で関連する応答の生成を保証するために、テキスト入力の長さに制限を課す。 本稿では,テキストを6～8倍長大に一般化するセマンティック圧縮手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T07:04:33Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Self-prompted Chain-of-Thought on Large Language Models for Open-domain Multi-hop Reasoning [70.74928578278957]
  オープンドメイン質問回答(ODQA)では、ほとんどの既存の質問はコモンセンスのシングルホップ推論を必要とする。 大規模言語モデル(LLM)は、外部コーパスなしでODQAを促進するために重要な有用性を見出した。 高品質なCoTを大量生産する自動化フレームワークSP-CoTを提案する。
  論文  参考訳（メタデータ） (2023-10-20T14:51:10Z)
• RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective Augmentation [61.53695868960846]
  テキスト内統合に先立って,検索した文書をテキスト要約に圧縮する手法を提案する。 これにより、計算コストを削減できるだけでなく、長期検索された文書の関連情報を識別する上で、LMの負担を軽減できる。 本研究では,あるLMに対して訓練した圧縮機を言語モデリングタスク上で他のLMに転送し,検索した文書にほぼ忠実な要約を提供することを示す。
  論文  参考訳（メタデータ） (2023-10-06T17:55:36Z)
• In-context Autoencoder for Context Compression in a Large Language Model [70.7621953091318]
  In-context Autoencoder (ICAE) を提案し、長いコンテキストを短いメモリスロットに圧縮する。 ICAEは、大量のテキストデータに基づく自動符号化と言語モデリングの両方の目的を用いて、まず事前訓練を行う。
  論文  参考訳（メタデータ） (2023-07-13T17:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。