論文の概要: HMT: Hierarchical Memory Transformer for Efficient Long Context Language Processing

• arxiv url: http://arxiv.org/abs/2405.06067v3
• Date: Thu, 06 Feb 2025 17:35:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:30:31.182334
• Title: HMT: Hierarchical Memory Transformer for Efficient Long Context Language Processing
• Title（参考訳）: HMT:高能率長文脈言語処理のための階層型メモリ変換器
• Authors: Zifan He, Yingqi Cao, Zongyue Qin, Neha Prakriya, Yizhou Sun, Jason Cong,
• Abstract要約: Hierarchical Memory Transformer (HMT) はモデル長文処理を容易にする新しいフレームワークである。 HMTは、既存のモデルの長文処理能力を一貫して改善する。
• 参考スコア（独自算出の注目度）: 33.720656946186885
• License:
• Abstract: Transformer-based large language models (LLM) have been widely used in language processing applications. However, due to the memory constraints of the devices, most of them restrict the context window. Even though recurrent models in previous works can memorize past tokens to enable unlimited context and maintain effectiveness, they have ``flat'' memory architectures. Such architectures have limitations in selecting and filtering information. Since humans are good at learning and self-adjustment, we believe that imitating brain memory hierarchy is beneficial for model memorization. Thus, we propose the Hierarchical Memory Transformer (HMT), a novel framework that facilitates a model's long-context processing ability by imitating human memorization behavior. Leveraging memory-augmented segment-level recurrence, we organize the memory hierarchy by preserving tokens from early input segments, passing memory embeddings along the sequence, and recalling relevant information from history. Evaluating general language modeling, question-answering tasks, and the summarization task, we show that HMT consistently improves the long-context processing ability of existing models. Furthermore, HMT achieves a comparable or superior generation quality to long-context LLMs with $2 \sim 57\times$ fewer parameters and $2.5 \sim 116\times$ less inference memory, significantly outperforming previous memory-augmented models. Code on Github: https://github.com/OswaldHe/HMT-pytorch.
• Abstract（参考訳）: トランスフォーマーベースの大規模言語モデル(LLM)は、言語処理アプリケーションで広く使われている。 しかし、デバイスのメモリ制限のため、ほとんどのデバイスはコンテキストウィンドウを制限している。 以前の作業で繰り返し発生するモデルは、過去のトークンを記憶して、無制限のコンテキストを有効にし、有効性を維持することができるが、それらは ``flat'' メモリアーキテクチャを持っている。 このようなアーキテクチャは情報の選択とフィルタリングに制限がある。 人間は学習と自己調整に長けており、脳の記憶階層を模倣することはモデル記憶に有益であると信じている。 そこで我々は,人間の記憶動作を模倣して,モデル長文処理を容易にする新しいフレームワークである階層記憶変換器(HMT)を提案する。 メモリ拡張セグメントレベルの再実行を利用して、初期入力セグメントからのトークンを保存し、シーケンスに沿ってメモリ埋め込みを渡し、履歴から関連する情報をリコールすることで、メモリ階層を編成する。 一般的な言語モデリング,質問応答タスク,要約タスクを評価することで,HMTは既存のモデルの長文処理能力を一貫して改善することを示す。 さらに、HMTは2ドル$sim 57\times$少ないパラメータと2.5ドル$sim 116\times$低い推論メモリでLLMに匹敵するあるいは優れた生成品質を実現し、以前のメモリ拡張モデルよりも大幅に優れている。 Githubのコード: https://github.com/OswaldHe/HMT-pytorch.com

関連論文リスト

• B'MOJO: Hybrid State Space Realizations of Foundation Models with Eidetic and Fading Memory [91.81390121042192]
  我々はB'MOJOと呼ばれるモデル群を開発し、構成可能なモジュール内で理想的メモリと暗黙的メモリをシームレスに結合する。 B'MOJOのイデオティックメモリとフェードメモリを変調する能力は、32Kトークンまでテストされた長いシーケンスの推論をより良くする。
  論文  参考訳（メタデータ） (2024-07-08T18:41:01Z)
• Needle in the Haystack for Memory Based Large Language Models [31.885539843977472]
  現在の大規模言語モデル(LLM)は、単純な事実検索タスクではよく機能しない。 動的に適応可能な外部メモリをLCMに結合することでこの問題を軽減することができるか検討する。 テキストサンプルのエピソードを高速に書き書きできるLarimarの外部メモリは、テスト時に、トレーニング中に見られるものよりもはるかに長いコンテキストを扱うために使用できることを示した。
  論文  参考訳（メタデータ） (2024-07-01T16:32:16Z)
• Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
  本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。 トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
  論文  参考訳（メタデータ） (2024-04-16T06:34:08Z)
• Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models [75.98775135321355]
  長い会話をすると、大きな言語モデル(LLM)は過去の情報を思い出さず、一貫性のない応答を生成する傾向がある。 本稿では,長期記憶能力を高めるために,大規模言語モデル(LLM)を用いて要約/メモリを生成することを提案する。
  論文  参考訳（メタデータ） (2023-08-29T04:59:53Z)
• Augmenting Language Models with Long-Term Memory [142.04940250657637]
  既存の大規模言語モデル(LLM)では、入力長制限のため、固定サイズの入力しかできない。 本稿では,Long-Term Memory (LongMem) を付加した言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-06-12T15:13:39Z)
• Extending Memory for Language Modelling [0.0]
  無限に長いシーケンスから学習するためにLong Term Memory Network (LTM)を導入する。 LTMは現在の入力に優先順位を与え、高いインパクトを与える。 我々はLTMを長期記憶を必要とする他の言語モデルと比較する。
  論文  参考訳（メタデータ） (2023-05-19T06:30:19Z)
• Enhancing Large Language Model with Self-Controlled Memory Framework [56.38025154501917]
  大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。 本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-26T07:25:31Z)
• LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
  右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。 LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。 広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
  論文  参考訳（メタデータ） (2022-04-15T06:11:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。