論文の概要: In-context Autoencoder for Context Compression in a Large Language Model
- arxiv url: http://arxiv.org/abs/2307.06945v1
- Date: Thu, 13 Jul 2023 17:59:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-14 13:40:32.642530
- Title: In-context Autoencoder for Context Compression in a Large Language Model
- Title（参考訳）: 大規模言語モデルにおけるコンテキスト圧縮のためのインコンテキストオートエンコーダ
- Authors: Tao Ge, Jing Hu, Xun Wang, Si-Qing Chen, Furu Wei
- Abstract要約: 大規模言語モデル(LLM)における文脈圧縮のためのICAE(In-context Autoencoder)を提案する。
まず,大規模テキストデータを用いた自動符号化と言語モデリングの両目的を用いてICAEを事前学習する。
実験結果から, ICAEが長期的文脈問題に対する新たなアプローチにもたらす影響が示唆された。
- 参考スコア（独自算出の注目度）: 88.38238328983684
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose the In-context Autoencoder (ICAE) for context compression in a
large language model (LLM). The ICAE has two modules: a learnable encoder
adapted with LoRA from an LLM for compressing a long context into a limited
number of memory slots, and a fixed decoder which is the target LLM that can
condition on the memory slots for various purposes. We first pretrain the ICAE
using both autoencoding and language modeling objectives on massive text data,
enabling it to generate memory slots that accurately and comprehensively
represent the original context. Then, we fine-tune the pretrained ICAE on a
small amount of instruct data to enhance its interaction with various prompts
for producing desirable responses. Our experimental results demonstrate that
the ICAE learned with our proposed pretraining and fine-tuning paradigm can
effectively produce memory slots with $4\times$ context compression, which can
be well conditioned on by the target LLM to respond to various prompts. The
promising results demonstrate significant implications of the ICAE for its
novel approach to the long context problem and its potential to reduce
computation and memory overheads for LLM inference in practice, suggesting
further research effort in context management for an LLM. Our code and data
will be released shortly.
- Abstract（参考訳）: 大規模言語モデル(LLM)における文脈圧縮のためのICAE(In-context Autoencoder)を提案する。
ICAEは、長いコンテキストを限られた数のメモリスロットに圧縮するためのLLMからLoRAに適合する学習可能なエンコーダと、様々な目的のためにメモリスロットに条件付け可能なターゲットのLLMである固定デコーダの2つのモジュールを備える。
まず,大規模テキストデータに対する自動エンコーディングと言語モデリングの目的の両方を用いてicaeを事前学習し,元のコンテキストを正確に包括的に表現するメモリスロットを生成する。
そして,事前学習したICAEを少量のインストラクションデータで微調整し,様々なプロンプトとの相互作用を高め,望ましい応答を生成する。
実験結果から,提案した事前学習および微調整のパラダイムを用いてICAEが,目標LLMが様々なプロンプトに応答するように,4-times$コンテキスト圧縮のメモリスロットを効果的に生成できることが示唆された。
その結果, ICAEの長期的文脈問題への新たなアプローチと, LLM推論における計算およびメモリオーバーヘッドを低減する可能性に, ICAEの意義が示され, 文脈管理におけるさらなる研究が示唆された。
コードとデータはまもなくリリースされます。
関連論文リスト
- Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。
低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。
本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
論文 参考訳（メタデータ） (2025-01-31T12:23:28Z) - Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。
この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。
提案手法は2つの共通データセットに対して最先端の性能を達成した。
論文 参考訳（メタデータ） (2024-12-24T16:38:04Z) - E2LLM: Encoder Elongated Large Language Models for Long-Context Understanding and Reasoning [20.660297311025417]
E2LLM (Encodergated Large Language Models) は「不可能な三角形」を効果的にナビゲートする新しい手法である。
この手法では、長いコンテキストをチャンクに分割し、事前訓練されたテキストエンコーダを介してベクターに圧縮し、アダプタを使用してこれらの表現をデコーダのみのLLMで整列させる。
実験により、E2LLMは、事前訓練されたモデルとの効率、性能、互換性のバランスを保ちながら、長期コンテキストシナリオにおいて優れた性能を達成することが示された。
論文 参考訳（メタデータ） (2024-09-10T17:44:35Z) - Needle in the Haystack for Memory Based Large Language Models [31.885539843977472]
現在の大規模言語モデル(LLM)は、単純な事実検索タスクではよく機能しない。
動的に適応可能な外部メモリをLCMに結合することでこの問題を軽減することができるか検討する。
テキストサンプルのエピソードを高速に書き書きできるLarimarの外部メモリは、テスト時に、トレーニング中に見られるものよりもはるかに長いコンテキストを扱うために使用できることを示した。
論文 参考訳（メタデータ） (2024-07-01T16:32:16Z) - AI-native Memory: A Pathway from LLMs Towards AGI [25.19572633670963]
大規模言語モデル(LLM)は、人工知能(AGI)の火花で世界を実証した。
我々は,メモリ統合によるLLMからAGIへの経路を構想する。
中間段階として、メモリは自然言語記述の形式になる可能性が高い。
論文 参考訳（メタデータ） (2024-06-26T12:51:37Z) - Soft Prompting for Unlearning in Large Language Models [11.504012974208466]
この研究は、データ保護規制を動機とした大規模言語モデルのための機械学習の研究に焦点をあてる。
我々はtextbfUntextbflearning (SPUL) のための textbfSoft textbfPrompting フレームワークを提案する。
本研究では,提案手法の厳密な評価を行い,SPULが実用性と忘れとのトレードオフを大幅に改善できることを示す。
論文 参考訳（メタデータ） (2024-06-17T19:11:40Z) - Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。
GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。
本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
論文 参考訳（メタデータ） (2024-05-21T11:59:36Z) - Online Adaptation of Language Models with a Memory of Amortized Contexts [82.02369596879817]
MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。
MACとMACを組み合わせれば,検索の高速化など,一般的な代替手段の性能が向上することを示す。
論文 参考訳（メタデータ） (2024-03-07T08:34:57Z) - Generative Context-aware Fine-tuning of Self-supervised Speech Models [54.389711404209415]
生成型大規模言語モデル(LLM)生成コンテキスト情報の利用について検討する。
自己教師型音声モデルの微調整中に生成した情報を抽出する手法を提案する。
本稿では,SLUE と Libri-light のベンチマークを用いて,自動音声認識,名前付きエンティティ認識,感情分析を行う手法を提案する。
論文 参考訳（メタデータ） (2023-12-15T15:46:02Z) - Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models [11.845239346943067]
パラメータ効率のよい微調整(PEFT)は、大規模言語モデル(LLM)をタスク固有のデータに効率的に専門化するための有望なアプローチである。
本研究は,PEFTと量子化を組み合わせることで,より大きなLCMをチューニングし,メモリ使用量を大幅に削減する可能性を明らかにする。
論文 参考訳（メタデータ） (2023-08-21T04:31:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。