論文の概要: Logarithmic Memory Networks (LMNs): Efficient Long-Range Sequence Modeling for Resource-Constrained Environments

• arxiv url: http://arxiv.org/abs/2501.07905v1
• Date: Tue, 14 Jan 2025 07:50:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:26:38.170242
• Title: Logarithmic Memory Networks (LMNs): Efficient Long-Range Sequence Modeling for Resource-Constrained Environments
• Title（参考訳）: 対数メモリネットワーク(LMNs):資源制約環境に対する効率的なロングレンジシーケンスモデリング
• Authors: Mohamed A. Taha,
• Abstract要約: 本稿では,階層型対数木構造を利用して過去の情報を効率的に保存・取得する新しいアーキテクチャである,対数記憶ネットワーク(LMN)を紹介する。 LMNは歴史的文脈を動的に要約し、注意機構のメモリフットプリントと計算複雑性を著しく低減する。 これらの特徴により、LMNsはリソース制約のある環境で長距離シーケンスを処理するための堅牢でスケーラブルなソリューションとなる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Long-range sequence modeling is a crucial aspect of natural language processing and time series analysis. However, traditional models like Recurrent Neural Networks (RNNs) and Transformers suffer from computational and memory inefficiencies, especially when dealing with long sequences. This paper introduces Logarithmic Memory Networks (LMNs), a novel architecture that leverages a hierarchical logarithmic tree structure to efficiently store and retrieve past information. LMNs dynamically summarize historical context, significantly reducing the memory footprint and computational complexity of attention mechanisms from O(n2) to O(log(n)). The model employs a single-vector, targeted attention mechanism to access stored information, and the memory block construction worker (summarizer) layer operates in two modes: a parallel execution mode during training for efficient processing of hierarchical tree structures and a sequential execution mode during inference, which acts as a memory management system. It also implicitly encodes positional information, eliminating the need for explicit positional encodings. These features make LMNs a robust and scalable solution for processing long-range sequences in resource-constrained environments, offering practical improvements in efficiency and scalability. The code is publicly available under the MIT License on GitHub: https://github.com/AhmedBoin/LogarithmicMemory.
• Abstract（参考訳）: 長距離シーケンスモデリングは自然言語処理と時系列解析において重要な側面である。 しかしながら、リカレントニューラルネットワーク(RNN)やトランスフォーマーといった従来のモデルは、特に長いシーケンスを扱う場合、計算とメモリの非効率に悩まされる。 本稿では,階層型対数木構造を利用して過去の情報を効率的に保存・取得する新しいアーキテクチャである,対数記憶ネットワーク(LMN)を紹介する。 LMNは歴史的文脈を動的に要約し、O(n2)からO(log(n))への注意機構のメモリフットプリントと計算複雑性を著しく低減する。 モデルは、格納された情報にアクセスするために単一のベクタ、ターゲットの注意機構を使用し、メモリブロック構築作業者(サマリザ)層は、トレーニング中の並列実行モードと、メモリ管理システムとして機能する推論時のシーケンシャル実行モードの2つのモードで動作する。 また、位置情報を暗黙的にエンコードし、明示的な位置エンコーディングの必要性を排除している。 これらの特徴により、LMNはリソース制約のある環境での長距離シーケンスを処理するための堅牢でスケーラブルなソリューションとなり、効率とスケーラビリティの実用的な改善を提供する。 コードはGitHubのMITライセンスで公開されている。

関連論文リスト

• B'MOJO: Hybrid State Space Realizations of Foundation Models with Eidetic and Fading Memory [91.81390121042192]
  我々はB'MOJOと呼ばれるモデル群を開発し、構成可能なモジュール内で理想的メモリと暗黙的メモリをシームレスに結合する。 B'MOJOのイデオティックメモリとフェードメモリを変調する能力は、32Kトークンまでテストされた長いシーケンスの推論をより良くする。
  論文  参考訳（メタデータ） (2024-07-08T18:41:01Z)
• Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
  本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。 トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
  論文  参考訳（メタデータ） (2024-04-16T06:34:08Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Universal Recurrent Event Memories for Streaming Data [0.0]
  本稿では、リカレントニューラルネットワークのための新しいイベントメモリアーキテクチャ(MemNet)を提案する。 MemNetはキーと値のペアを格納し、アドレスとコンテンツの情報を分離する。 MemNetアーキテクチャはスカラー時系列、文字列上の論理演算子、自然言語処理に修正を加えることなく適用することができる。
  論文  参考訳（メタデータ） (2023-07-28T17:40:58Z)
• Blockwise Parallel Transformer for Large Context Models [70.97386897478238]
  Blockwise Parallel Transformer (BPT) は、メモリコストを最小限に抑えるために、自己アテンションとフィードフォワードネットワーク融合のブロックワイズ計算である。 メモリ効率を維持しながら、長い入力シーケンスを処理することにより、BPTはバニラ変換器の32倍、以前のメモリ効率の4倍のトレーニングシーケンスを可能にする。
  論文  参考訳（メタデータ） (2023-05-30T19:25:51Z)
• Sequence Modeling with Multiresolution Convolutional Memory [27.218134279968062]
  我々は、MultiresLayerと呼ばれるシーケンスモデリングのための新しいビルディングブロックを構築します。 我々のモデルの主要な構成要素はマルチレゾリューション・コンボリューションであり、入力シーケンスにおけるマルチスケールトレンドをキャプチャする。 本モデルでは,多数のシーケンス分類と自己回帰密度推定タスクについて,最先端の性能を示す。
  論文  参考訳（メタデータ） (2023-05-02T17:50:54Z)
• A Theory of I/O-Efficient Sparse Neural Network Inference [17.862408781750126]
  機械学習モデルは、その精度を速い速度で向上させるため、エネルギーと計算資源の需要は増大する。 低レベルでは、これらのリソースの大部分は異なるメモリユニット間でのデータ移動によって消費されます。 我々は、スパースフィードフォワードニューラルネットワーク(FFNN)推論に必要なI/Oを厳密に理論的に分析する。
  論文  参考訳（メタデータ） (2023-01-03T11:23:46Z)
• NumS: Scalable Array Programming for the Cloud [82.827921577004]
  タスクベース分散システム上でNumPyのような表現を最適化する配列プログラミングライブラリであるNumSを提案する。 これはLoad Simulated Hierarchical Scheduling (LSHS)と呼ばれる新しいスケジューラによって実現される。 LSHSは、ネットワーク負荷を2倍減らし、メモリを4倍減らし、ロジスティック回帰問題において実行時間を10倍減らし、Rayの性能を向上させる。
  論文  参考訳（メタデータ） (2022-06-28T20:13:40Z)
• Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
  本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。 我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
  論文  参考訳（メタデータ） (2020-10-14T09:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。