論文の概要: Boosting Long-Context Information Seeking via Query-Guided Activation Refilling

• arxiv url: http://arxiv.org/abs/2412.12486v1
• Date: Tue, 17 Dec 2024 02:43:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 14:02:03.059098
• Title: Boosting Long-Context Information Seeking via Query-Guided Activation Refilling
• Title（参考訳）: クエリ誘導アクティベーションリフィルによる長期情報検索の促進
• Authors: Hongjin Qian, Zheng Liu, Peitian Zhang, Zhicheng Dou, Defu Lian,
• Abstract要約: 本稿では,クエリ誘導型Activation Refilling (ACRE) を用いた長文情報検索タスクの処理手法を提案する。 ACREは2つのキャッシュ間のプロキシ関係を確立し、入力クエリがL1キャッシュに参加し、L2キャッシュから関連するエントリを動的にリフィルする。 様々な長文情報検索の実験は、ACREの有効性を示し、性能と効率の両方の改善を実現している。
• 参考スコア（独自算出の注目度）: 42.71154904685938
• License:
• Abstract: Processing long contexts poses a significant challenge for large language models (LLMs) due to their inherent context-window limitations and the computational burden of extensive key-value (KV) activations, which severely impact efficiency. For information-seeking tasks, full context perception is often unnecessary, as a query's information needs can dynamically range from localized details to a global perspective, depending on its complexity. However, existing methods struggle to adapt effectively to these dynamic information needs. In the paper, we propose a method for processing long-context information-seeking tasks via query-guided Activation Refilling (ACRE). ACRE constructs a Bi-layer KV Cache for long contexts, where the layer-1 (L1) cache compactly captures global information, and the layer-2 (L2) cache provides detailed and localized information. ACRE establishes a proxying relationship between the two caches, allowing the input query to attend to the L1 cache and dynamically refill it with relevant entries from the L2 cache. This mechanism integrates global understanding with query-specific local details, thus improving answer decoding. Experiments on a variety of long-context information-seeking datasets demonstrate ACRE's effectiveness, achieving improvements in both performance and efficiency.
• Abstract（参考訳）: 長いコンテキストの処理は、大きな言語モデル(LLM)にとって、その固有のコンテキストウィンドウの制限と、広範囲なキー値(KV)アクティベーションの計算負担が効率に重大な影響を及ぼすため、大きな課題となる。 情報検索タスクでは、クエリの必要な情報はその複雑さに応じて、局所化された詳細からグローバルな視点まで動的に変化できるため、完全なコンテキスト認識は不要であることが多い。 しかし、既存の手法はこれらの動的な情報要求に効果的に対応するのに苦労している。 本稿では,クエリ誘導型Activation Refilling (ACRE) を用いた長文情報検索タスクの処理手法を提案する。 ACREは、2層KVキャッシュを構築し、レイヤ-1(L1)キャッシュはグローバル情報をコンパクトにキャプチャし、レイヤ-2(L2)キャッシュは詳細でローカライズされた情報を提供する。 ACREは2つのキャッシュ間のプロキシ関係を確立し、入力クエリがL1キャッシュに参加し、L2キャッシュから関連するエントリを動的にリフィルする。 このメカニズムは、グローバルな理解とクエリ固有のローカル詳細を統合し、回答の復号化を改善する。 さまざまな長期コンテキスト情報検索データセットの実験は、ACREの有効性を示し、パフォーマンスと効率の両方の改善を実現している。

関連論文リスト

• CacheFocus: Dynamic Cache Re-Positioning for Efficient Retrieval-Augmented Generation [6.544043376474944]
  LLM(Large Language Models)は、入力長と計算コストの制限により、様々な言語タスクを排他的に拡張する。 既存のアプローチであるtextemdashは、これらの問題を部分的に緩和するが、しばしば追加のトレーニングを必要とするか、より長い入力でパフォーマンス劣化に悩まされる。 textbftextitCacheFocusは、長さの正規化を強化し、さらなるトレーニングを行わずに推論遅延を低減する方法である。
  論文  参考訳（メタデータ） (2025-02-16T12:33:16Z)
• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• Core Context Aware Attention for Long Context Language Modeling [50.774702091154204]
  本稿では,CCA(Core Context Aware)アテンションを効果的に長距離コンテキストモデリングのためのプラグイン・アンド・プレイとして提案する。 CCA-Attentionは、計算効率と長文モデリング能力の観点から、最先端モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-12-17T01:54:08Z)
• SCBench: A KV Cache-Centric Analysis of Long-Context Methods [61.025422435235456]
  KVキャッシュ中心の視点から長文の手法を評価するベンチマークであるSCBenchを紹介する。 我々は、Gated Linear RNNsやMamba-Attention Hybridsを含む8つのカテゴリの長期コンテキストソリューションについて、広範なKVキャッシュ中心の分析を行う。 本研究は,O(n)メモリとサブO(n2)プリフィルによるスパース符号化が堅牢に動作する一方で,サブO(n)メモリ手法がマルチターンシナリオに悩まされていることを示す。
  論文  参考訳（メタデータ） (2024-12-13T17:59:52Z)
• Retrieval or Global Context Understanding? On Many-Shot In-Context Learning for Long-Context Evaluation [10.500629810624769]
  マルチショットインコンテキスト学習(ICL)による長文言語モデルの評価について検討する。 ICLタスクが必要とするスキルを特定し、それらに対するモデルの長期コンテキスト能力を調べる。 我々は、LCLMの検索機能とグローバルコンテキスト理解機能を別々に特徴付けるために、新しいマルチショットICLベンチマークMANYICLBENCHを導入する。
  論文  参考訳（メタデータ） (2024-11-11T17:00:59Z)
• EPIC: Efficient Position-Independent Context Caching for Serving Large Language Models [19.510078997414606]
  EPICは、大きな言語モデルのための位置非依存のコンテキストキャッシュを導入している。 EPICはTTFTの最大8倍のスループットと既存のシステムに対する7倍のスループットを提供する。
  論文  参考訳（メタデータ） (2024-10-20T08:42:29Z)
• Holistic Reasoning with Long-Context LMs: A Benchmark for Database Operations on Massive Textual Data [6.195658947075431]
  HoloBenchは、テキストベースのコンテキストにデータベース推論操作をもたらすフレームワークです。 本研究では,文脈内の情報量が文脈長よりもLCLMの性能に大きく影響していることを示す。 複数の情報の集約を必要とするタスクは、コンテキスト長が増加するにつれて顕著な精度低下を示す。
  論文  参考訳（メタデータ） (2024-10-15T19:04:13Z)
• RoRA-VLM: Robust Retrieval-Augmented Vision Language Models [41.09545760534495]
  RORA-VLMは、視覚言語モデルに特化して設計された、新規で堅牢な検索拡張フレームワークである。 提案手法の有効性とロバスト性を,広く採用されている3つのベンチマークデータセット上で検証する。
  論文  参考訳（メタデータ） (2024-10-11T14:51:00Z)
• SEGMENT+: Long Text Processing with Short-Context Language Models [53.40059130780192]
  SEGMENT+は、LMが限られたコンテキストウィンドウ内で拡張入力を効率的に処理できるフレームワークである。 SEGMENT+は構造化音符とフィルタリングモジュールを使用して情報の流れを管理し、制御可能かつ解釈可能なシステムを実現する。
  論文  参考訳（メタデータ） (2024-10-09T03:40:22Z)
• KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
  長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-07-01T17:59:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。