論文の概要: Extending Context Window of Large Language Models via Semantic Compression

• arxiv url: http://arxiv.org/abs/2312.09571v1
• Date: Fri, 15 Dec 2023 07:04:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 16:48:20.255793
• Title: Extending Context Window of Large Language Models via Semantic Compression
• Title（参考訳）: 意味圧縮による大規模言語モデルのコンテキストウィンドウの拡張
• Authors: Weizhi Fei, Xueyan Niu, Pingyi Zhou, Lu Hou, Bo Bai, Lei Deng, Wei Han
• Abstract要約: 大規模言語モデル(LLM)は、しばしば、流動的で関連する応答の生成を保証するために、テキスト入力の長さに制限を課す。 本稿では,テキストを6～8倍長大に一般化するセマンティック圧縮手法を提案する。
• 参考スコア（独自算出の注目度）: 21.35020344956721
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Transformer-based Large Language Models (LLMs) often impose limitations on the length of the text input to ensure the generation of fluent and relevant responses. This constraint restricts their applicability in scenarios involving long texts. We propose a novel semantic compression method that enables generalization to texts that are 6-8 times longer, without incurring significant computational costs or requiring fine-tuning. Our proposed framework draws inspiration from source coding in information theory and employs a pre-trained model to reduce the semantic redundancy of long inputs before passing them to the LLMs for downstream tasks. Experimental results demonstrate that our method effectively extends the context window of LLMs across a range of tasks including question answering, summarization, few-shot learning, and information retrieval. Furthermore, the proposed semantic compression method exhibits consistent fluency in text generation while reducing the associated computational overhead.
• Abstract（参考訳）: Transformer-based Large Language Models (LLM) はテキスト入力の長さに制限を課し、流動的で関連する応答の生成を保証する。 この制約は、長いテキストを含むシナリオでの適用性を制限する。 計算コストの大幅な削減や微調整を必要とせず、6～8倍の長文を一般化できる新しい意味圧縮法を提案する。 提案手法は,情報理論におけるソースコーディングから着想を得て,学習済みモデルを用いて,ダウンストリームタスクのllmに渡す前に,長い入力の意味的冗長性を低減する。 実験結果から,本手法は質問応答,要約,少数ショット学習,情報検索など,様々なタスクにおいて,LLMのコンテキストウィンドウを効果的に拡張することを示した。 さらに,提案する意味圧縮法は,計算オーバーヘッドを低減しつつ,テキスト生成の一貫性を示す。

関連論文リスト

• LCIRC: A Recurrent Compression Approach for Efficient Long-form Context and Query Dependent Modeling in LLMs [10.84210988032097]
  本稿では,長文列をモデルの長さ制限を超えて効率的に処理できるLCIRC(Long-form Context Injection with Recurrent Compression)を提案する。 また、クエリ依存コンテキストモデリングを導入し、クエリ関連情報を選択的に圧縮し、モデルが最も関連するコンテンツを保持することを保証する。
  論文  参考訳（メタデータ） (2025-02-10T04:02:18Z)
• Efficient Long Context Language Model Retrieval with Compression [57.09163579304332]
  情報検索のための新しいパラダイムとしてLong Context Language Models (LCLM)が登場した。 本稿では,LCLM検索に適した新しい圧縮手法を提案する。 また,CoLoRはテキスト内サイズを1.91倍に圧縮し,検索性能を6%向上することを示した。
  論文  参考訳（メタデータ） (2024-12-24T07:30:55Z)
• Reverse Prompt Engineering [12.46661880219403]
  本稿では,言語モデルからの限られたテキスト出力のみを用いて,プロンプトを再構築する学習自由フレームワークを提案する。 私たちのアプローチは一貫して一貫性と意味論的意味のあるプロンプトをもたらします。
  論文  参考訳（メタデータ） (2024-11-11T05:58:48Z)
• BRIEF: Bridging Retrieval and Inference for Multi-hop Reasoning via Compression [91.23933111083389]
  Retrieval-augmented Generation (RAG)は、外部知識を統合することで、大きな言語モデル(LLM)を補完することができる。 本稿では,クエリ対応マルチホップ推論を行う軽量なアプローチであるBRIEFを提案する。 オープンソースモデルで構築した合成データに基づいて,BRIEFはより簡潔な要約を生成する。
  論文  参考訳（メタデータ） (2024-10-20T04:24:16Z)
• A Novel LLM-based Two-stage Summarization Approach for Long Dialogues [9.835499880812646]
  本研究では,長い文書から情報を分割・凝縮する階層的枠組みを提案する。 凝縮段階は、教師なし生成モデルを用いて凝縮データを生成する。 要約段階は、縮合されたデータ上の抽象的な要約モデルを微調整して最終結果を生成する。
  論文  参考訳（メタデータ） (2024-10-09T03:42:40Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Scaling Up Summarization: Leveraging Large Language Models for Long Text Extractive Summarization [0.27624021966289597]
  本稿では,Large Language Models (LLM) を利用した抽出要約フレームワークであるEYEGLAXSを紹介する。 EYEGLAXSは、事実的および文法的整合性を保証するために抽出的な要約に焦点を当てている。 このシステムはPubMedやArXivといった有名なデータセットに新しいパフォーマンスベンチマークを設定する。
  論文  参考訳（メタデータ） (2024-08-28T13:52:19Z)
• Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of Large Language Models [59.970391602080205]
  本研究では,ジェネレーション空間の制約が推論やドメイン知識の理解など,LLMの能力に影響を及ぼすかどうかを検討する。 各種共通タスクにおける自由形式の応答を生成するよりも,構造化形式に順応することが制限された場合のLLMの性能を評価する。 より厳密なフォーマット制約は、一般的に推論タスクのパフォーマンス低下につながる。
  論文  参考訳（メタデータ） (2024-08-05T13:08:24Z)
• KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
  長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-07-01T17:59:47Z)
• Adapting LLMs for Efficient Context Processing through Soft Prompt Compression [1.1550486371582305]
  本稿では,大規模言語モデルを合理化された文脈処理のために戦略的に調整する,革新的なフレームワークを提案する。 我々の手法はSoftPromptCompと呼ばれ、動的に生成されたソフトプロンプトで自然言語をアマルガメイトし、簡潔でセマンティックに頑健な文脈の描写をフォージする。 我々は,我々のフレームワークが計算オーバーヘッドを著しく減らし,LLMの有効性を様々なベンチマークで向上させることを実証した。
  論文  参考訳（メタデータ） (2024-04-07T15:44:20Z)
• Evaluating, Understanding, and Improving Constrained Text Generation for Large Language Models [49.74036826946397]
  本研究では,大言語モデル(LLM)の制約付きテキスト生成について検討する。 本研究は主に,制約を語彙型,構造型,関係型に分類するオープンソース LLM に重点を置いている。 その結果、LLMの能力と不足を照らし、制約を取り入れ、制約付きテキスト生成における将来の発展に対する洞察を提供する。
  論文  参考訳（メタデータ） (2023-10-25T03:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。