論文の概要: Extensible Embedding: A Flexible Multipler For LLM's Context Length
- arxiv url: http://arxiv.org/abs/2402.11577v1
- Date: Sun, 18 Feb 2024 12:50:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 20:22:28.768209
- Title: Extensible Embedding: A Flexible Multipler For LLM's Context Length
- Title(参考訳): 拡張可能な埋め込み: LLMのコンテキスト長のための柔軟な多重化
- Authors: Ninglu Shao, Shitao Xiao, Zheng Liu, Peitian Zhang
- Abstract要約: 大規模言語モデル(LLM)は、多くの重要なアプリケーションを扱うためにコンテキストの拡張を要求する。
既存のアプローチはコストがかかり、コンテキスト拡張の品質が劣る傾向がある。
高い柔軟性とコスト効率でLLMコンテキストの高品質な拡張を実現するExtensible Embeddingを提案する。
- 参考スコア(独自算出の注目度): 6.9004592877749005
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) call for extension of context to handle many
critical applications. However, the existing approaches are prone to expensive
costs and inferior quality of context extension. In this work, we propose
Extensible Embedding, which realizes high-quality extension of LLM's context
with strong flexibility and cost-effectiveness. Extensible embedding stand as
an enhancement of typical token embedding, which represents the information for
an extensible scope of context instead of a single token. By leveraging such
compact input units of higher information density, the LLM can access to a vast
scope of context even with a small context window. Extensible embedding is
systematically optimized in architecture and training method, which leads to
multiple advantages. 1) High flexibility of context extension, which flexibly
supports ad-hoc extension of diverse context lengths. 2) Strong sample
efficiency of training, which enables the embedding model to be learned in a
cost-effective way. 3) Superior compatibility with the existing LLMs, where the
extensible embedding can be seamlessly introduced as a plug-in component.
Comprehensive evaluations on long-context language modeling and understanding
tasks verify extensible embedding as an effective, efficient, flexible, and
compatible method to extend the LLM's context.
- Abstract(参考訳): 大規模言語モデル(LLM)は、多くの重要なアプリケーションを扱うためにコンテキストの拡張を要求する。
しかし、既存のアプローチはコストがかかり、コンテキスト拡張の品質が劣る傾向にある。
本研究では,LLMのコンテキストを高精細に拡張し,柔軟性とコスト効率を両立させる拡張可能な埋め込みを提案する。
拡張可能な埋め込みは、単一のトークンではなく、拡張可能なコンテキストのスコープの情報を表す典型的なトークン埋め込みの拡張である。
情報密度の高いそのようなコンパクトな入力ユニットを利用することで、LLMは小さなコンテキストウィンドウでも広い範囲のコンテキストにアクセスできる。
拡張可能な埋め込みは、アーキテクチャとトレーニングメソッドに体系的に最適化され、複数の利点をもたらす。
1) 多様なコンテキスト長のアドホック拡張を柔軟にサポートするコンテキスト拡張の柔軟性が高い。
2) 組込みモデルを費用対効果で学習する訓練の強いサンプル効率について検討した。
3) プラグインコンポーネントとして拡張可能な埋め込みをシームレスに導入可能な既存のLLMとの互換性。
長文言語モデリングおよび理解タスクに関する包括的な評価は、LLMのコンテキストを拡張するために、効果的で効率的で柔軟で互換性のある方法として拡張可能な埋め込みを検証する。
関連論文リスト
- Adapting LLMs for Efficient Context Processing through Soft Prompt Compression [1.1550486371582305]
本稿では,大規模言語モデルを合理化された文脈処理のために戦略的に調整する,革新的なフレームワークを提案する。
我々の手法はSoftPromptCompと呼ばれ、動的に生成されたソフトプロンプトで自然言語をアマルガメイトし、簡潔でセマンティックに頑健な文脈の描写をフォージする。
我々は,我々のフレームワークが計算オーバーヘッドを著しく減らし,LLMの有効性を様々なベンチマークで向上させることを実証した。
論文 参考訳(メタデータ) (2024-04-07T15:44:20Z) - FuseChat: Knowledge Fusion of Chat Models [54.05930586705375]
textscFuseChatはチャットLLMの融合を実現するフレームワークである。
textttFuseChat は texttGPT-3.5 (3月) よりも優れており、 textttMixtral-8x7B-Instruct に近づいている。
論文 参考訳(メタデータ) (2024-02-25T15:11:58Z) - Structure Guided Prompt: Instructing Large Language Model in Multi-Step
Reasoning by Exploring Graph Structure of the Text [44.81698187939784]
本稿では,大規模言語モデル(LLM)の多段階推論能力向上を目的としたフレームワークであるStructure Guided Promptを紹介する。
実験の結果,このフレームワークはLLMの推論能力を大幅に向上し,より広い範囲の自然言語シナリオを拡張できることがわかった。
論文 参考訳(メタデータ) (2024-02-20T22:56:23Z) - BGE Landmark Embedding: A Chunking-Free Embedding Method For Retrieval
Augmented Long-Context Large Language Models [13.229325187638432]
大規模言語モデル(LLM)は、多くの重要なアプリケーションを扱うためにコンテキストの拡張を要求する。
既存のアプローチはコストがかかり、コンテキスト拡張の品質が劣る傾向がある。
拡張可能な埋め込みは、典型的なトークン埋め込みの強化である。
論文 参考訳(メタデータ) (2024-02-18T12:41:01Z) - Flexibly Scaling Large Language Models Contexts Through Extensible
Tokenization [6.9004592877749005]
大規模言語モデル(LLM)は、多くの重要なアプリケーションを扱うのに十分なコンテキストを必要とする。
コンテキストウィンドウのサイズは微調整で拡張できるが、トレーニングと推論の段階ではかなりのコストがかかる。
LLMのコンテキストの柔軟なスケーリングを実現する代替手法として,拡張可能なトークン化を提案する。
論文 参考訳(メタデータ) (2024-01-15T16:00:50Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - Towards More Unified In-context Visual Understanding [74.55332581979292]
マルチモーダル出力を有効にした視覚理解のための新しいICLフレームワークを提案する。
まず、テキストと視覚的プロンプトの両方を量子化し、統一された表現空間に埋め込む。
次にデコーダのみのスパーストランスアーキテクチャを用いて生成モデリングを行う。
論文 参考訳(メタデータ) (2023-12-05T06:02:21Z) - Auto-ICL: In-Context Learning without Human Supervision [104.58114779879688]
Vanilla In-Context Learningは人間が提供するコンテキストに依存します。
自動文脈学習(Automatic In-Context Learning)という普遍的なフレームワークを提案する。
提案手法は,既存の手法と比較して,様々なタスクに対して高い性能を示す。
論文 参考訳(メタデータ) (2023-11-15T07:37:28Z) - InfMLLM: A Unified Framework for Visual-Language Tasks [44.29407348046122]
マルチモーダルな大言語モデル (MLLM) が注目されている。
この作業は、LLMがより視覚的な言語に関連したタスクに取り組むことを可能にすることを目的としている。
InfMLLMは、最先端(SOTA)パフォーマンスまたは最近のMLLMに匹敵するパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-11-12T09:58:16Z) - CRAFT: Customizing LLMs by Creating and Retrieving from Specialized
Toolsets [75.64181719386497]
大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。
タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。
本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
論文 参考訳(メタデータ) (2023-09-29T17:40:26Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳(メタデータ) (2023-09-01T09:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。