論文の概要: PRISM: Efficient Long-Range Reasoning With Short-Context LLMs

• arxiv url: http://arxiv.org/abs/2412.18914v2
• Date: Wed, 12 Mar 2025 17:59:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:36:11.256830
• Title: PRISM: Efficient Long-Range Reasoning With Short-Context LLMs
• Title（参考訳）: PRISM: 短時間のLLMによる効率的なロングレンジ推論
• Authors: Dulhan Jayalath, James Bradley Wendt, Nicholas Monath, Sandeep Tata, Beliz Gunel,
• Abstract要約: PRISMは、型付き階層スキーマで指定された構造化されたインコンテキストメモリを維持しながら、情報をチャンクのストリームとして処理する。 PRISMは、長いコンテキストモデルよりも少なくとも4倍短いコンテキストを使用しながら、様々なタスクのベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 12.133230897181594
• License:
• Abstract: Long-range tasks demand reasoning over long inputs. Current solutions require large compute budgets, training data, model weight access, or complex task-specific designs. We introduce PRISM, which processes information as a stream of chunks while maintaining a structured in-context memory specified with a typed hierarchical schema. PRISM outperforms baselines on diverse tasks while using at least 4x shorter contexts than long-context models. This approach is token-efficient, producing concise outputs and efficiently leveraging key-value (KV) caches to reduce costs by up to 54% compared to alternative short-context methods. PRISM scales down to tiny chunks (<500 tokens) without increasing encoding costs or sacrificing quality, and generalizes to new tasks with minimal effort by automatically generating schemas from task descriptions.
• Abstract（参考訳）: 長距離タスクは、長い入力に対して推論を要求する。 現在のソリューションには、大きな計算予算、トレーニングデータ、モデルウェイトアクセス、複雑なタスク固有の設計が必要です。 階層型スキーマで指定された構造化インコンテキストメモリを維持しながら,情報をチャンクのストリームとして処理するPRISMを導入する。 PRISMは、長いコンテキストモデルよりも少なくとも4倍短いコンテキストを使用しながら、様々なタスクのベースラインを上回ります。 このアプローチはトークン効率が高く、簡潔な出力を生成し、キー値(KV)キャッシュを効率よく利用してコストを54%削減する。 PRISMはエンコーディングコストや品質を犠牲にすることなく小さなチャンク(500トークン)までスケールダウンし、タスク記述からスキーマを自動的に生成することで、最小限の労力で新しいタスクに一般化する。

関連論文リスト

• An Effective Framework to Help Large Language Models Handle Numeric-involved Long-context Tasks [0.0]
  大きな言語モデル(LLM)は、長いテキストを扱う際、顕著な能力を示した。 長文の数値計算では,その性能は著しく低下する。 本稿では,数値型長文タスクを4つの低レベルサブタスクに分解するワークフローを提案する。 2つの数値付き長期コンテキストベンチマークの結果は、ワークフローが精度を向上できるだけでなく、API呼び出しのコストを大幅に削減できることを示している。
  論文  参考訳（メタデータ） (2024-11-15T12:39:02Z)
• KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
  長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-07-01T17:59:47Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• A Training-free Sub-quadratic Cost Transformer Model Serving Framework With Hierarchically Pruned Attention [43.211427581302715]
  大規模言語モデルにおける文脈長を増大させるため,HiP(Hierarchically Pruned Attention)を提案する。 HiPは注意機構の時間的複雑さを$O(T log T)$に減らし、空間的複雑さを$O(T)$に減らし、$T$はシーケンス長である。 HiPは, 劣化を最小限に抑えつつ, プリフィルとデコードの両方のレイテンシとメモリ使用率を著しく低減することを示す。
  論文  参考訳（メタデータ） (2024-06-14T08:32:45Z)
• Long Context Alignment with Short Instructions and Synthesized Positions [56.1267385315404]
  本稿では,ステップスキッピングアライメント(SkipAlign)を紹介する。 これは、Large Language Models(LLMs)の長期コンテキスト機能を強化するために設計された新しい技術である。 ベースモデルとアライメントデータセットを慎重に選択することで、SkipAlignは6Bパラメータだけで最高のパフォーマンスを実現し、LongBenchのGPT-3.5-Turbo-16Kのような強力なベースラインに匹敵する。
  論文  参考訳（メタデータ） (2024-05-07T01:56:22Z)
• Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
  本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。 トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
  論文  参考訳（メタデータ） (2024-04-16T06:34:08Z)
• LLoCO: Learning Long Contexts Offline [63.3458260335454]
  長いコンテキストを処理するための新しいアプローチであるLLoCOを提案する。 LLoCOはコンテキスト圧縮とLoRAによるドメイン内パラメータ効率の微調整を通じて、オフラインでコンテキストを学習する。 提案手法は、4kトークンLLaMA2-7Bモデルの有効コンテキストウインドウを拡張し,最大128kトークンを処理する。
  論文  参考訳（メタデータ） (2024-04-11T17:57:22Z)
• Compressing Context to Enhance Inference Efficiency of Large Language Models [26.75216730927996]
  本稿では,大規模言語モデル(LLM)の推論効率を向上させるための選択文脈法を提案する。 我々は、arXiv論文、ニュース記事、長い会話など、長いコンテキスト処理を必要とする共通のデータソースを用いて、アプローチをテストする。 実験の結果,Selective Contextはメモリコストを大幅に削減し,生成遅延を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-10-09T23:03:24Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。