論文の概要: Long-Range Tasks Using Short-Context LLMs: Incremental Reasoning With Structured Memories

• arxiv url: http://arxiv.org/abs/2412.18914v1
• Date: Wed, 25 Dec 2024 14:14:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:26:59.100405
• Title: Long-Range Tasks Using Short-Context LLMs: Incremental Reasoning With Structured Memories
• Title（参考訳）: 短時間LLMを用いた長期タスク:構造化記憶を用いたインクリメンタル推論
• Authors: Dulhan Jayalath, James Bradley Wendt, Nicholas Monath, Sandeep Tata, Beliz Gunel,
• Abstract要約: 本稿では,情報をチャンクのストリームとして処理し,コンテクスト内メモリを構造化したPRISMを提案する。 このアプローチは、少なくとも4倍の小さなコンテキストを使用しながら、多様なタスクのベースラインよりも優れたパフォーマンスを示す。 代替の短文アプローチに比べて54%のコスト削減を実現している。
• 参考スコア（独自算出の注目度）: 12.133230897181594
• License:
• Abstract: Long-range tasks require reasoning over long inputs. Existing solutions either need large compute budgets, training data, access to model weights, or use complex, task-specific approaches. We present PRISM, which alleviates these concerns by processing information as a stream of chunks, maintaining a structured in-context memory specified by a typed hierarchy schema. This approach demonstrates superior performance to baselines on diverse tasks while using at least 4x smaller contexts than long-context models. Moreover, PRISM is token-efficient. By producing short outputs and efficiently leveraging key-value (KV) caches, it achieves up to 54% cost reduction when compared to alternative short-context approaches. The method also scales down to tiny information chunks (e.g., 500 tokens) without increasing the number of tokens encoded or sacrificing quality. Furthermore, we show that it is possible to generate schemas to generalize our approach to new tasks with minimal effort.
• Abstract（参考訳）: 長距離タスクは、長い入力に対する推論を必要とする。 既存のソリューションには、大規模な計算予算、トレーニングデータ、モデルウェイトへのアクセス、複雑なタスク固有のアプローチのいずれかが必要です。 PRISMは、情報をチャンクのストリームとして処理し、型付き階層スキーマで指定された構造化されたインコンテキストメモリを維持することにより、これらの懸念を軽減する。 このアプローチは、長いコンテキストモデルよりも少なくとも4倍小さいコンテキストを使用しながら、多様なタスクのベースラインよりも優れたパフォーマンスを示す。 さらに、PRISMはトークン効率が高い。 ショートアウトプットを生成し、キー値(KV)キャッシュを効率的に活用することにより、代替のショートコンテクストアプローチと比較して最大54%のコスト削減を実現している。 この方法は、コード化されたトークンの数を増やしたり、品質を犠牲にすることなく、小さな情報チャンク(例:500トークン)にまでスケールダウンする。 さらに、最小限の労力で新しいタスクへのアプローチを一般化するためにスキーマを生成することが可能であることを示す。

関連論文リスト

• An Effective Framework to Help Large Language Models Handle Numeric-involved Long-context Tasks [0.0]
  大きな言語モデル(LLM)は、長いテキストを扱う際、顕著な能力を示した。 長文の数値計算では,その性能は著しく低下する。 本稿では,数値型長文タスクを4つの低レベルサブタスクに分解するワークフローを提案する。 2つの数値付き長期コンテキストベンチマークの結果は、ワークフローが精度を向上できるだけでなく、API呼び出しのコストを大幅に削減できることを示している。
  論文  参考訳（メタデータ） (2024-11-15T12:39:02Z)
• KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
  長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-07-01T17:59:47Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• A Training-free Sub-quadratic Cost Transformer Model Serving Framework With Hierarchically Pruned Attention [43.211427581302715]
  大規模言語モデルにおける文脈長を増大させるため,HiP(Hierarchically Pruned Attention)を提案する。 HiPは注意機構の時間的複雑さを$O(T log T)$に減らし、空間的複雑さを$O(T)$に減らし、$T$はシーケンス長である。 HiPは, 劣化を最小限に抑えつつ, プリフィルとデコードの両方のレイテンシとメモリ使用率を著しく低減することを示す。
  論文  参考訳（メタデータ） (2024-06-14T08:32:45Z)
• Long Context Alignment with Short Instructions and Synthesized Positions [56.1267385315404]
  本稿では,ステップスキッピングアライメント(SkipAlign)を紹介する。 これは、Large Language Models(LLMs)の長期コンテキスト機能を強化するために設計された新しい技術である。 ベースモデルとアライメントデータセットを慎重に選択することで、SkipAlignは6Bパラメータだけで最高のパフォーマンスを実現し、LongBenchのGPT-3.5-Turbo-16Kのような強力なベースラインに匹敵する。
  論文  参考訳（メタデータ） (2024-05-07T01:56:22Z)
• Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
  本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。 トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
  論文  参考訳（メタデータ） (2024-04-16T06:34:08Z)
• LLoCO: Learning Long Contexts Offline [63.3458260335454]
  長いコンテキストを処理するための新しいアプローチであるLLoCOを提案する。 LLoCOはコンテキスト圧縮とLoRAによるドメイン内パラメータ効率の微調整を通じて、オフラインでコンテキストを学習する。 提案手法は、4kトークンLLaMA2-7Bモデルの有効コンテキストウインドウを拡張し,最大128kトークンを処理する。
  論文  参考訳（メタデータ） (2024-04-11T17:57:22Z)
• Compressing Context to Enhance Inference Efficiency of Large Language Models [26.75216730927996]
  本稿では,大規模言語モデル(LLM)の推論効率を向上させるための選択文脈法を提案する。 我々は、arXiv論文、ニュース記事、長い会話など、長いコンテキスト処理を必要とする共通のデータソースを用いて、アプローチをテストする。 実験の結果,Selective Contextはメモリコストを大幅に削減し,生成遅延を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-10-09T23:03:24Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。