論文の概要: Extending Context Window of Large Language Models via Semantic
Compression
- arxiv url: http://arxiv.org/abs/2312.09571v1
- Date: Fri, 15 Dec 2023 07:04:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-18 16:48:20.255793
- Title: Extending Context Window of Large Language Models via Semantic
Compression
- Title(参考訳): 意味圧縮による大規模言語モデルのコンテキストウィンドウの拡張
- Authors: Weizhi Fei, Xueyan Niu, Pingyi Zhou, Lu Hou, Bo Bai, Lei Deng, Wei Han
- Abstract要約: 大規模言語モデル(LLM)は、しばしば、流動的で関連する応答の生成を保証するために、テキスト入力の長さに制限を課す。
本稿では,テキストを6~8倍長大に一般化するセマンティック圧縮手法を提案する。
- 参考スコア(独自算出の注目度): 21.35020344956721
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Transformer-based Large Language Models (LLMs) often impose limitations on
the length of the text input to ensure the generation of fluent and relevant
responses. This constraint restricts their applicability in scenarios involving
long texts. We propose a novel semantic compression method that enables
generalization to texts that are 6-8 times longer, without incurring
significant computational costs or requiring fine-tuning. Our proposed
framework draws inspiration from source coding in information theory and
employs a pre-trained model to reduce the semantic redundancy of long inputs
before passing them to the LLMs for downstream tasks. Experimental results
demonstrate that our method effectively extends the context window of LLMs
across a range of tasks including question answering, summarization, few-shot
learning, and information retrieval. Furthermore, the proposed semantic
compression method exhibits consistent fluency in text generation while
reducing the associated computational overhead.
- Abstract(参考訳): Transformer-based Large Language Models (LLM) はテキスト入力の長さに制限を課し、流動的で関連する応答の生成を保証する。
この制約は、長いテキストを含むシナリオでの適用性を制限する。
計算コストの大幅な削減や微調整を必要とせず、6~8倍の長文を一般化できる新しい意味圧縮法を提案する。
提案手法は,情報理論におけるソースコーディングから着想を得て,学習済みモデルを用いて,ダウンストリームタスクのllmに渡す前に,長い入力の意味的冗長性を低減する。
実験結果から,本手法は質問応答,要約,少数ショット学習,情報検索など,様々なタスクにおいて,LLMのコンテキストウィンドウを効果的に拡張することを示した。
さらに,提案する意味圧縮法は,計算オーバーヘッドを低減しつつ,テキスト生成の一貫性を示す。
関連論文リスト
- A Comprehensive Evaluation of Constrained Text Generation for Large
Language Models [58.761655924438585]
本研究では,大言語モデル(LLM)の制約付きテキスト生成について検討する。
本稿では,ChatGPT や GPT-4 など複数の LLM について検討し,制約を語彙型,構造型,関係型に分類する。
この研究は、LLMが制約に準拠する範囲など、いくつかの重要な研究課題に対処する。
論文 参考訳(メタデータ) (2023-10-25T03:58:49Z) - Compressing Context to Enhance Inference Efficiency of Large Language
Models [26.75216730927996]
本稿では,大規模言語モデル(LLM)の推論効率を向上させるための選択文脈法を提案する。
我々は、arXiv論文、ニュース記事、長い会話など、長いコンテキスト処理を必要とする共通のデータソースを用いて、アプローチをテストする。
実験の結果,Selective Contextはメモリコストを大幅に削減し,生成遅延を低減させることがわかった。
論文 参考訳(メタデータ) (2023-10-09T23:03:24Z) - LLMLingua: Compressing Prompts for Accelerated Inference of Large
Language Models [22.06402870816756]
大きな言語モデル(LLM)は、その驚くべき能力のために様々なアプリケーションに適用されている。
本稿では,意味的整合性を維持するための予算制御を伴う粗大なプロンプト圧縮手法であるLLMLinguaを提案する。
提案手法により,最先端性能が得られ,最大20倍圧縮が可能であり,性能損失が少ないことを示す。
論文 参考訳(メタデータ) (2023-10-09T14:10:21Z) - Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。
我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。
重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文 参考訳(メタデータ) (2023-10-06T16:36:08Z) - In-context Autoencoder for Context Compression in a Large Language Model [74.9807417009054]
In-context Autoencoder (ICAE) を提案し、長いコンテキストを短いメモリスロットに圧縮する。
ICAEは、大量のテキストデータに基づく自動符号化と言語モデリングの両方の目的を用いて、まず事前訓練を行う。
論文 参考訳(メタデータ) (2023-07-13T17:59:21Z) - Building blocks for complex tasks: Robust generative event extraction
for radiology reports under domain shifts [11.845850292404768]
マルチパスT5ベースのテキスト・テキスト生成モデルでは、BERTベースのタスク固有分類層を用いた手法と比較して、試験モード間の一般化が優れていることを示す。
そこで我々は, 大規模コーパス処理を臨床応用に利用しやすくするため, モデルの推論コストを低減させる手法を開発した。
論文 参考訳(メタデータ) (2023-06-15T23:16:58Z) - Mixture of Soft Prompts for Controllable Data Generation [21.84489422361048]
直接予測ではなく,データ拡張のためのツールとして,ソフトプロンプトの混合(MSP)を提案する。
提案手法は, 強いベースラインと比較した場合の3つのベンチマークに対して, 最先端の結果を得る。
論文 参考訳(メタデータ) (2023-03-02T21:13:56Z) - COLD Decoding: Energy-based Constrained Text Generation with Langevin
Dynamics [69.8062252611486]
コールドデコーディングは、既製の左から右の言語モデルに直接適用可能なフレキシブルなフレームワークである。
制約付き生成タスクの実験は、自動評価と人的評価の両方の観点から、我々のアプローチの有効性を示している。
論文 参考訳(メタデータ) (2022-02-23T18:59:27Z) - SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。
既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
論文 参考訳(メタデータ) (2021-01-02T01:15:57Z) - POINTER: Constrained Progressive Text Generation via Insertion-based
Generative Pre-training [93.79766670391618]
ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。
提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。
結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
論文 参考訳(メタデータ) (2020-05-01T18:11:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。