論文の概要: In-context Autoencoder for Context Compression in a Large Language Model
- arxiv url: http://arxiv.org/abs/2307.06945v1
- Date: Thu, 13 Jul 2023 17:59:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-14 13:40:32.642530
- Title: In-context Autoencoder for Context Compression in a Large Language Model
- Title(参考訳): 大規模言語モデルにおけるコンテキスト圧縮のためのインコンテキストオートエンコーダ
- Authors: Tao Ge, Jing Hu, Xun Wang, Si-Qing Chen, Furu Wei
- Abstract要約: 大規模言語モデル(LLM)における文脈圧縮のためのICAE(In-context Autoencoder)を提案する。
まず,大規模テキストデータを用いた自動符号化と言語モデリングの両目的を用いてICAEを事前学習する。
実験結果から, ICAEが長期的文脈問題に対する新たなアプローチにもたらす影響が示唆された。
- 参考スコア(独自算出の注目度): 88.38238328983684
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose the In-context Autoencoder (ICAE) for context compression in a
large language model (LLM). The ICAE has two modules: a learnable encoder
adapted with LoRA from an LLM for compressing a long context into a limited
number of memory slots, and a fixed decoder which is the target LLM that can
condition on the memory slots for various purposes. We first pretrain the ICAE
using both autoencoding and language modeling objectives on massive text data,
enabling it to generate memory slots that accurately and comprehensively
represent the original context. Then, we fine-tune the pretrained ICAE on a
small amount of instruct data to enhance its interaction with various prompts
for producing desirable responses. Our experimental results demonstrate that
the ICAE learned with our proposed pretraining and fine-tuning paradigm can
effectively produce memory slots with $4\times$ context compression, which can
be well conditioned on by the target LLM to respond to various prompts. The
promising results demonstrate significant implications of the ICAE for its
novel approach to the long context problem and its potential to reduce
computation and memory overheads for LLM inference in practice, suggesting
further research effort in context management for an LLM. Our code and data
will be released shortly.
- Abstract(参考訳): 大規模言語モデル(LLM)における文脈圧縮のためのICAE(In-context Autoencoder)を提案する。
ICAEは、長いコンテキストを限られた数のメモリスロットに圧縮するためのLLMからLoRAに適合する学習可能なエンコーダと、様々な目的のためにメモリスロットに条件付け可能なターゲットのLLMである固定デコーダの2つのモジュールを備える。
まず,大規模テキストデータに対する自動エンコーディングと言語モデリングの目的の両方を用いてicaeを事前学習し,元のコンテキストを正確に包括的に表現するメモリスロットを生成する。
そして,事前学習したICAEを少量のインストラクションデータで微調整し,様々なプロンプトとの相互作用を高め,望ましい応答を生成する。
実験結果から,提案した事前学習および微調整のパラダイムを用いてICAEが,目標LLMが様々なプロンプトに応答するように,4-times$コンテキスト圧縮のメモリスロットを効果的に生成できることが示唆された。
その結果, ICAEの長期的文脈問題への新たなアプローチと, LLM推論における計算およびメモリオーバーヘッドを低減する可能性に, ICAEの意義が示され, 文脈管理におけるさらなる研究が示唆された。
コードとデータはまもなくリリースされます。
関連論文リスト
- FlashBack:Efficient Retrieval-Augmented Language Modeling for Long Context Inference [47.03691582405274]
追加コンテキストパターンによるALMの推論効率を向上させるためのモジュール型ALMである textscFlashBack を提案する。
textscFlashBacksはコンテキストの最後にドキュメントを検索し、KVキャッシュをプリコンパイルする代わりに効率的に活用する。
論文 参考訳(メタデータ) (2024-05-07T07:14:38Z) - Enhancing Contextual Understanding in Large Language Models through Contrastive Decoding [9.2433070542025]
大規模言語モデル(LLM)は、テキスト生成時に入力コンテキストを不適切に統合する傾向がある。
本稿では, 逆無関係なパスを負のサンプルとして, コントラストデコーディングを統合する新しい手法を提案する。
論文 参考訳(メタデータ) (2024-05-04T20:38:41Z) - MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,知識能力を向上させる新しい手法であるMemLLMを紹介する。
実験の結果,MemLLMは言語モデリング全般,特に言語モデルにおいて,性能と解釈可能性を向上させることが示唆された。
私たちは MemLLM を,メモリ拡張による LLM の基盤化と現実化に向けた重要なステップと捉えています。
論文 参考訳(メタデータ) (2024-04-17T18:13:16Z) - LLoCO: Learning Long Contexts Offline [63.3458260335454]
LLoCOは,LoRAを用いた文脈圧縮,検索,パラメータ効率の微調整を組み合わせた手法である。
我々は,LLoCOの長文質問応答データセットに対するアプローチを検証し,LLoCOが文脈内学習を著しく上回ることを示す。
論文 参考訳(メタデータ) (2024-04-11T17:57:22Z) - Online Adaptation of Language Models with a Memory of Amortized Contexts [86.91360597169563]
MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。
本稿では,新しい文書から情報を圧縮・抽出するメモリ拡張手法を提案する。
実験では,オンライン適応性能,時間,メモリ効率など,MACの複数の面での優位性を実証した。
論文 参考訳(メタデータ) (2024-03-07T08:34:57Z) - CODIS: Benchmarking Context-Dependent Visual Comprehension for Multimodal Large Language Models [58.95889895912716]
我々は、自由形式のテキストで提供されるコンテキストを用いて視覚的理解を高めるモデルの有効性を評価するために、CODISと名付けられた新しいベンチマークを導入する。
以上の結果から,MLLMは必ずしも人体性能に劣っていることが示唆された。
このことは、MLLMが視覚を文脈依存的に理解する能力を高めることの必要性を浮き彫りにする。
論文 参考訳(メタデータ) (2024-02-21T08:21:12Z) - Generative Context-aware Fine-tuning of Self-supervised Speech Models [54.389711404209415]
生成型大規模言語モデル(LLM)生成コンテキスト情報の利用について検討する。
自己教師型音声モデルの微調整中に生成した情報を抽出する手法を提案する。
本稿では,SLUE と Libri-light のベンチマークを用いて,自動音声認識,名前付きエンティティ認識,感情分析を行う手法を提案する。
論文 参考訳(メタデータ) (2023-12-15T15:46:02Z) - In-Context Exemplars as Clues to Retrieving from Large Associative
Memory [1.2952137350423816]
インコンテキスト学習(ICL)は、大規模言語モデル(LLM)がトレーニングなしでインコンテキストの例からパターンを学習することを可能にする。
文脈内学習の仕組みの理解が欠如しているため、模範をどう選ぶかはいまだ不明である。
本研究は、メモリ検索に接続することで、ICLのメカニズムに新たな光を当てる。
論文 参考訳(メタデータ) (2023-11-06T20:13:29Z) - Can Text-based Knowledge Graph Completion Benefit From Zero-Shot Large
Language Models? [10.56565195524981]
大規模言語モデル(LLM)は、NLPタスクにおいて顕著に改善されている。
本研究では,より効率的なテキスト記述がモデル性能を増幅できるかどうかを考察する。
論文 参考訳(メタデータ) (2023-10-12T12:31:23Z) - Graph Neural Prompting with Large Language Models [32.97391910476073]
Graph Neural Prompting (GNP)は、知識グラフから有益な知識を学ぶために、事前訓練された言語モデルを支援するための新しいプラグアンドプレイ方式である。
複数のデータセットに対する大規模な実験は、常識的および生物医学的推論タスクにおいて、GNPの優位性を示す。
論文 参考訳(メタデータ) (2023-09-27T06:33:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。