論文の概要: EpMAN: Episodic Memory AttentioN for Generalizing to Longer Contexts

• arxiv url: http://arxiv.org/abs/2502.14280v1
• Date: Thu, 20 Feb 2025 05:41:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:29:48.017632
• Title: EpMAN: Episodic Memory AttentioN for Generalizing to Longer Contexts
• Title（参考訳）: EpMAN: より長いコンテキストに一般化するためのエピソードメモリアテンシオN
• Authors: Subhajit Chaudhury, Payel Das, Sarathkrishna Swaminathan, Georgios Kollias, Elliot Nelson, Khushbu Pahwa, Tejaswini Pedapati, Igor Melnyk, Matthew Riemer,
• Abstract要約: textbfEpMANは、textitepisodicメモリモジュールで長いコンテキストを処理する方法である。 LLMデコーダが textbfEpMAN を使用してトレーニングされると、その性能は16kから256kトークンの範囲でより強く、より堅牢であることが分かる。
• 参考スコア（独自算出の注目度）: 31.14170988151509
• License:
• Abstract: Recent advances in Large Language Models (LLMs) have yielded impressive successes on many language tasks. However, efficient processing of long contexts using LLMs remains a significant challenge. We introduce \textbf{EpMAN} -- a method for processing long contexts in an \textit{episodic memory} module while \textit{holistically attending to} semantically relevant context chunks. The output of \textit{episodic attention} is then used to reweigh the decoder's self-attention to the stored KV cache of the context during training and generation. When an LLM decoder is trained using \textbf{EpMAN}, its performance on multiple challenging single-hop long-context recall and question-answering benchmarks is found to be stronger and more robust across the range from 16k to 256k tokens than baseline decoders trained with self-attention, and popular retrieval-augmented generation frameworks.
• Abstract（参考訳）: 近年のLarge Language Models (LLM) の進歩は、多くの言語タスクにおいて驚くべき成功を収めている。 しかし、LLMを用いた長いコンテキストの効率的な処理は依然として大きな課題である。 本稿では,<textit{episodic memory} モジュールで長いコンテキストを処理する方法である \textbf{EpMAN} について紹介する。 次に、textit{episodic attention} の出力は、トレーニングと生成の間、デコーダの自己アテンションを、コンテキストの格納されたKVキャッシュに戻すために使用される。 LLMデコーダが‘textbf{EpMAN}’を使ってトレーニングされると、複数の挑戦的なシングルホップ長文リコールと質問応答ベンチマークのパフォーマンスが、16kから256kトークンの範囲で、自己注意でトレーニングされたベースラインデコーダよりも強く、より堅牢であることが分かる。

関連論文リスト

• MemLong: Memory-Augmented Retrieval for Long Text Modeling [37.49036666949963]
  この研究はMemLong: Memory-Augmented Retrieval for Long Text Generationを紹介します。 MemLongは、非微分可能なret-mem'モジュールと部分的にトレーニング可能なデコーダのみの言語モデルを組み合わせる。 複数の長文言語モデリングベンチマークに関する総合的な評価は、MemLongが他の最先端のLLMよりも一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2024-08-30T02:01:56Z)
• FocusLLM: Precise Understanding of Long Context by Dynamic Condensing [16.642675785000176]
  FocusLLM は、デコーダのみの LLM の固定コンテキスト長を拡張するように設計されたフレームワークである。 動的凝縮法を用いて、各チャンクから重要な情報を蒸留する。 最終的に、新しい並列デコーディング機構によって、FocusLLMは抽出した情報をそのローカルコンテキストに統合することができる。
  論文  参考訳（メタデータ） (2024-08-21T16:11:59Z)
• KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
  長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-07-01T17:59:47Z)
• HMT: Hierarchical Memory Transformer for Efficient Long Context Language Processing [33.720656946186885]
  Hierarchical Memory Transformer (HMT) はモデル長文処理を容易にする新しいフレームワークである。 HMTは、既存のモデルの長文処理能力を一貫して改善する。
  論文  参考訳（メタデータ） (2024-05-09T19:32:49Z)
• Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
  本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。 トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
  論文  参考訳（メタデータ） (2024-04-16T06:34:08Z)
• InfLLM: Training-Free Long-Context Extrapolation for LLMs with an Efficient Context Memory [93.20588235940453]
  本稿では,トレーニング不要なメモリベースのInfLLMを提案する。 InfLLMは、リモートコンテキストを追加のメモリユニットに格納し、トークン関連ユニットを注目するために効率的なメカニズムを使用する。 シーケンス長が$1,024$Kにスケールしても、InfLLMは依然として、長距離依存関係を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2024-02-07T06:50:42Z)
• Efficient Streaming Language Models with Attention Sinks [72.20260088848987]
  StreamingLLMは、大規模言語モデルが微調整なしで無限のシーケンス長に一般化できる効率的なフレームワークである。 StreamingLLMはLlama-2, MPT, Falcon, Pythiaを最大400万のトークンで安定かつ効率的な言語モデリングを実現できることを示す。
  論文  参考訳（メタデータ） (2023-09-29T17:59:56Z)
• LM-Infinite: Zero-Shot Extreme Length Generalization for Large Language Models [83.98062659664785]
  大規模言語モデル(LLM)は通常、トランスフォーマーアーキテクチャの2次複雑さのために短いテキストセグメント(例:4Kトークン)でトレーニングする。 この研究は、この長大一般化失敗に寄与する3つの主要な要因を特定する。 本研究では,LLMの長期処理能力を高めるための簡易かつ効果的な手法であるLM-Infiniteを提案する。
  論文  参考訳（メタデータ） (2023-08-30T16:47:51Z)
• LongBench: A Bilingual, Multitask Benchmark for Long Context Understanding [58.20031627237889]
  LongBenchは、コンテキスト理解のための最初のバイリンガルでマルチタスクのベンチマークである。 英語と中国語の6つのタスクカテゴリにまたがる21のデータセットで構成され、平均的な長さは6,711語(英語)と13,386文字(中国語)である。
  論文  参考訳（メタデータ） (2023-08-28T11:53:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。