論文の概要: Ltri-LLM: Streaming Long Context Inference for LLMs with Training-Free Dynamic Triangular Attention Pattern

• arxiv url: http://arxiv.org/abs/2412.04757v1
• Date: Fri, 06 Dec 2024 03:46:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:57:31.724218
• Title: Ltri-LLM: Streaming Long Context Inference for LLMs with Training-Free Dynamic Triangular Attention Pattern
• Title（参考訳）: Ltri-LLM: 学習自由な動的三角形アテンションパターンを用いたLLMの長コンテキスト推論
• Authors: Hongyin Tang, Di Xiu, Lanrui Wang, Xiurui Geng, Jingang Wang, Xunliang Cai,
• Abstract要約: 我々は,KVをスパンに分割し,それらをオフラインインデックスに格納し,関連するKVをメモリに格納するLtri-LLMフレームワークを提案する。 一般的な長文ベンチマークによる実験結果から,Ltri-LLMは効率のよいストリーミングベース推論を維持しつつ,FAに近い性能を達成できることがわかった。
• 参考スコア（独自算出の注目度）: 13.314424072207379
• License:
• Abstract: The quadratic computational complexity of the attention mechanism in current Large Language Models (LLMs) renders inference with long contexts prohibitively expensive. To address this challenge, various approaches aim to retain critical portions of the context to optimally approximate Full Attention (FA) through Key-Value (KV) compression or Sparse Attention (SA), enabling the processing of virtually unlimited text lengths in a streaming manner. However, these methods struggle to achieve performance levels comparable to FA, particularly in retrieval tasks. In this paper, our analysis of attention head patterns reveals that LLMs' attention distributions show strong local correlations, naturally reflecting a chunking mechanism for input context. We propose Ltri-LLM framework, which divides KVs into spans, stores them in an offline index, and retrieves the relevant KVs into memory for various queries. Experimental results on popular long text benchmarks show that Ltri-LLM can achieve performance close to FA while maintaining efficient, streaming-based inference.
• Abstract（参考訳）: 現在のLarge Language Models (LLMs) における注意機構の2次計算の複雑さは、長い文脈での推論を違法に高価にしている。 この課題に対処するために、さまざまなアプローチは、キーバリュー圧縮(KV)またはスパースアテンション(SA)を通じて全アテンション(FA)を最適に近似するためにコンテキストの重要な部分を維持することを目的としており、ストリーミング方式で事実上無制限のテキスト長の処理を可能にする。 しかし、これらの手法は、特に検索タスクにおいて、FAに匹敵するパフォーマンスレベルを達成するのに苦労している。 本稿では,LLMの注意分布が強い局所相関を示し,入力コンテキストのチャンキング機構を自然に反映していることを明らかにする。 我々は,KVをスパンに分割し,それらをオフラインインデックスに格納し,関連するKVをメモリに格納するLtri-LLMフレームワークを提案する。 一般的な長文ベンチマークによる実験結果から,Ltri-LLMは効率のよいストリーミングベース推論を維持しつつ,FAに近い性能を達成できることが示された。

関連論文リスト

• Squeezed Attention: Accelerating Long Context Length LLM Inference [64.11145320159126]
  本稿では,入力プロンプトの大部分を固定したLLMアプリケーションを高速化する機構として,Squeezed Attentionを提案する。 K-meansクラスタリングをオフラインで使用して、セマンティックな類似性に基づいて、固定されたコンテキストのキーをグループ化し、各クラスタを単一のセントロイド値で表現します。 そして、固定された文脈から重要なキーのみを用いて正確な注意を計算し、帯域幅と計算コストを削減する。
  論文  参考訳（メタデータ） (2024-11-14T18:54:19Z)
• Reducing Distraction in Long-Context Language Models by Focused Learning [6.803882766744194]
  本稿では,大規模言語モデルの関連情報を識別する能力を高める新しい学習手法を提案する。 長いコンテキストで微調整を行う際、最も関連性の高いセグメントを抽出するために検索器を用いる。 次に、元のコンテキストと検索したサブコンテキストからの出力が密接に一致していることを明確にするために、補助的なコントラスト学習対象を導入する。
  論文  参考訳（メタデータ） (2024-11-08T19:27:42Z)
• QUITO: Accelerating Long-Context Reasoning through Query-Guided Context Compression [37.08536175557748]
  本稿では,新しいQuery-gUIded aTtention cOmpression (QUITO)法を提案する。 具体的には,質問に対する文脈の注意分布を計算するためにトリガートークンを用いる。 本研究では,2つの広く利用されているデータセットであるNaturalQuestionsとASQAを用いてQUITOを評価する。
  論文  参考訳（メタデータ） (2024-08-01T04:28:38Z)
• Enhancing LLM's Cognition via Structurization [41.13997892843677]
  大規模言語モデル(LLM)は因果的かつシーケンシャルな視点で入力コンテキストを処理する。 本稿では,コンテキスト構造化という新しい概念を提案する。 具体的には、平易で秩序のない文脈文を、適切に順序付けされ階層的に構造化された要素に変換する。
  論文  参考訳（メタデータ） (2024-07-23T12:33:58Z)
• Beyond KV Caching: Shared Attention for Efficient LLMs [5.801044612920816]
  本稿では,大規模言語モデル(LLM)の効率を高めるための新しい共有注意機構を提案する。 提案手法は,先進LLMにおいて観測される注意分布の等方性傾向を利用して,予測に必要な計算フロップとKVキャッシュのサイズを減少させる。 以上の結果から,SAは計算資源の保存だけでなく,頑健なモデル性能も維持し,資源制約環境におけるより効率的なLCMの展開を容易にすることが示唆された。
  論文  参考訳（メタデータ） (2024-07-13T07:23:07Z)
• KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
  長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-07-01T17:59:47Z)
• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Fortify the Shortest Stave in Attention: Enhancing Context Awareness of Large Language Models for Effective Tool Use [74.72150542395487]
  大規模言語モデル(LLM)の注意配分における固有波形パターンは、高い文脈認識を必要とするタスクにおいて、その性能に大きな影響を及ぼす。 この問題に対処するため,Attention Buckets という新しい推論手法を提案する。
  論文  参考訳（メタデータ） (2023-12-07T17:24:51Z)
• Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
  本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。 具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。 ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
  論文  参考訳（メタデータ） (2023-05-22T13:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。