論文の概要: RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective
Augmentation
- arxiv url: http://arxiv.org/abs/2310.04408v1
- Date: Fri, 6 Oct 2023 17:55:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-09 12:51:30.355455
- Title: RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective
Augmentation
- Title(参考訳): RECOMP: 圧縮と選択拡張による検索拡張LMの改善
- Authors: Fangyuan Xu, Weijia Shi, Eunsol Choi
- Abstract要約: テキスト内統合に先立って,検索した文書をテキスト要約に圧縮する手法を提案する。
これにより、計算コストを削減できるだけでなく、長期検索された文書の関連情報を識別する上で、LMの負担を軽減できる。
本研究では,あるLMに対して訓練した圧縮機を言語モデリングタスク上で他のLMに転送し,検索した文書にほぼ忠実な要約を提供することを示す。
- 参考スコア(独自算出の注目度): 61.53695868960846
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieving documents and prepending them in-context at inference time
improves performance of language model (LMs) on a wide range of tasks. However,
these documents, often spanning hundreds of words, make inference substantially
more expensive. We propose compressing the retrieved documents into textual
summaries prior to in-context integration. This not only reduces the
computational costs but also relieves the burden of LMs to identify relevant
information in long retrieved documents. We present two compressors -- an
extractive compressor which selects useful sentences from retrieved documents
and an abstractive compressor which generates summaries by synthesizing
information from multiple documents. Both compressors are trained to improve
LMs' performance on end tasks when the generated summaries are prepended to the
LMs' input, while keeping the summary concise.If the retrieved documents are
irrelevant to the input or offer no additional information to LM, our
compressor can return an empty string, implementing selective augmentation.We
evaluate our approach on language modeling task and open domain question
answering task. We achieve a compression rate of as low as 6% with minimal loss
in performance for both tasks, significantly outperforming the off-the-shelf
summarization models. We show that our compressors trained for one LM can
transfer to other LMs on the language modeling task and provide summaries
largely faithful to the retrieved documents.
- Abstract(参考訳): 文書を検索し、推論時にテキストで予測することで、幅広いタスクにおける言語モデル(LM)の性能が向上する。
しかし、これらの文書は数百語に及ぶことが多いため、推測はかなり高価である。
テキスト内統合に先立って,検索した文書をテキスト要約に圧縮することを提案する。
これにより計算コストが削減されるだけでなく、長期検索された文書で関連する情報を識別するためのlmsの負担も軽減される。
本稿では,検索した文書から有用な文章を選択する抽出圧縮機と,複数の文書から情報を合成して要約を生成する抽象圧縮機という2つの圧縮機を提案する。
両圧縮機は,生成した要約文がLMの入力に前向きな場合,かつ要約を簡潔に保ちながら,終端タスクにおけるLMの性能を向上させるために訓練され,検索した文書がLMに無関係であったり,付加情報が得られなかった場合,圧縮機は空文字列を返却し,選択的な拡張を施す。言語モデリングタスクとオープンドメイン質問応答タスクに対する我々のアプローチを評価する。
両タスクの性能低下を最小限に抑えながら6%の圧縮率を実現し,既成の要約モデルよりも大幅に優れていた。
本研究では,あるLMに対して訓練した圧縮機が言語モデリングタスク上で他のLMに転送可能であることを示す。
関連論文リスト
- List-aware Reranking-Truncation Joint Model for Search and
Retrieval-augmented Generation [80.12531449946655]
本稿では,2つのタスクを同時に実行可能なRe rank-Truncation joint model(GenRT)を提案する。
GenRTは、エンコーダ-デコーダアーキテクチャに基づく生成パラダイムによるリランクとトランケーションを統合している。
提案手法は,Web検索および検索拡張LLMにおけるリランクタスクとトラルケーションタスクの両方においてSOTA性能を実現する。
論文 参考訳(メタデータ) (2024-02-05T06:52:53Z) - Compressing LLMs: The Truth is Rarely Pure and Never Simple [95.42228675690797]
我々は,比較的単純で広く疑問視される指標であるパープレキシティに依存する既存のSoTA圧縮手法の有効性を再評価する。
LLM-KICKは、言語理解、推論、生成、テキスト内検索、テキスト内要約などのための圧縮LLMの能力に一様にアクセスできるように設計されている。
論文 参考訳(メタデータ) (2023-10-02T17:42:37Z) - Long-range Language Modeling with Self-retrieval [44.802643057976354]
本稿では,検索強化言語モデルを共同で訓練するRetrieval-Pretrained Transformer (RPT)を提案する。
RPTは検索品質を向上し、強いベースラインに比べてボード全体の難易度を向上する。
論文 参考訳(メタデータ) (2023-06-23T10:18:02Z) - Adapting Language Models to Compress Contexts [71.98287002918941]
トランスフォーマーベースの言語モデル(LM)は強力で広く適用可能なツールであるが、その有用性は有限コンテキストウィンドウによって制限される。
本稿では,事前学習したLMを,長いコンテキストをコンパクトな要約ベクトルに圧縮可能なAutoCompressorに適応させることを提案する。
最大30,720個のトークンのシーケンスでOPTとLlama-2モデルを微調整し、AutoCompressorが長いコンテキストを使ってパープレキシティを向上できることを示す。
論文 参考訳(メタデータ) (2023-05-24T06:42:44Z) - Semantic Compression With Large Language Models [1.0874100424278175]
大規模言語モデル(LLM)は、情報検索、質問応答、要約、コード生成タスクに革命をもたらしている。
LLMは本質的に、一度に処理できる入力トークンと出力トークンの数によって制限される。
本稿では,LLMの研究への3つの貢献について述べる。
論文 参考訳(メタデータ) (2023-04-25T01:47:05Z) - Recitation-Augmented Language Models [85.30591349383849]
知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。
具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
論文 参考訳(メタデータ) (2022-10-04T00:49:20Z) - Questions Are All You Need to Train a Dense Passage Retriever [123.13872383489172]
ARTは、ラベル付きトレーニングデータを必要としない高密度検索モデルをトレーニングするための、新しいコーパスレベルのオートエンコーディングアプローチである。
そこで,(1) 入力質問を用いて証拠文書の集合を検索し,(2) 文書を用いて元の質問を再構築する確率を計算する。
論文 参考訳(メタデータ) (2022-06-21T18:16:31Z) - PSG: Prompt-based Sequence Generation for Acronym Extraction [26.896811663334162]
頭字語抽出タスクのためのPrompt-based Sequence Generation (PSG) 手法を提案する。
具体的には、抽出した頭字語テキストを自動回帰でプロンプトするテンプレートを設計する。
生成した回答の位置を抽出する位置抽出アルゴリズムを設計する。
論文 参考訳(メタデータ) (2021-11-29T02:14:38Z) - Bridging the Gap: Cross-Lingual Summarization with Compression Rate [30.96206778472334]
CLS(Cross-lingual Summarization)は、機械翻訳(MT)タスクと密接に関連している。
本稿では,大規模MTコーパスによる言語間要約を支援するために,圧縮速度を用いた言語間要約(CSC)を提案する。
論文 参考訳(メタデータ) (2021-10-15T08:31:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。