論文の概要: Extending Memory for Language Modelling

• arxiv url: http://arxiv.org/abs/2305.11462v1
• Date: Fri, 19 May 2023 06:30:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-22 16:05:42.878483
• Title: Extending Memory for Language Modelling
• Title（参考訳）: 言語モデリングのためのメモリ拡張
• Authors: Anupiya Nugaliyadde
• Abstract要約: 無限に長いシーケンスから学習するためにLong Term Memory Network (LTM)を導入する。 LTMは現在の入力に優先順位を与え、高いインパクトを与える。 我々はLTMを長期記憶を必要とする他の言語モデルと比較する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Breakthroughs in deep learning and memory networks have made major advances in natural language understanding. Language is sequential and information carried through the sequence can be captured through memory networks. Learning the sequence is one of the key aspects in learning the language. However, memory networks are not capable of holding infinitely long sequences in their memories and are limited by various constraints such as the vanishing or exploding gradient problem. Therefore, natural language understanding models are affected when presented with long sequential text. We introduce Long Term Memory network (LTM) to learn from infinitely long sequences. LTM gives priority to the current inputs to allow it to have a high impact. Language modeling is an important factor in natural language understanding. LTM was tested in language modeling, which requires long term memory. LTM is tested on Penn Tree bank dataset, Google Billion Word dataset and WikiText-2 dataset. We compare LTM with other language models which require long term memory.
• Abstract（参考訳）: ディープラーニングとメモリネットワークのブレークスルーは、自然言語理解に大きな進歩をもたらした。 言語はシーケンシャルであり、シーケンシャルを通じて運ばれる情報はメモリネットワークを介してキャプチャできる。 シーケンスを学ぶことは、言語を学ぶ上で重要な側面の1つです。 しかし、メモリネットワークは無限に長いシーケンスを記憶に保持できず、消滅や爆発といった様々な制約によって制限される。 したがって、長い逐次テキストを提示する場合、自然言語理解モデルが影響を受ける。 無限に長いシーケンスから学習するためにLong Term Memory Network (LTM)を導入する。 LTMは現在の入力に優先順位を与え、高いインパクトを与える。 言語モデリングは自然言語理解において重要な要素である。 LTMは長期記憶を必要とする言語モデリングでテストされた。 ltmはpenn tree bank dataset、google billion word dataset、wikitext-2 datasetでテストされている。 ltmを長期記憶を必要とする他の言語モデルと比較する。

関連論文リスト

• MemLong: Memory-Augmented Retrieval for Long Text Modeling [37.49036666949963]
  この研究はMemLong: Memory-Augmented Retrieval for Long Text Generationを紹介します。 MemLongは、非微分可能なret-mem'モジュールと部分的にトレーニング可能なデコーダのみの言語モデルを組み合わせる。 複数の長文言語モデリングベンチマークに関する総合的な評価は、MemLongが他の最先端のLLMよりも一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2024-08-30T02:01:56Z)
• SirLLM: Streaming Infinite Retentive LLM [74.40196814292426]
  大きな言語モデル(LLM)は任意の長さの入力を処理し、メモリの程度を維持する。 近年の取り組みでは、過度に長いテキスト入力の圧力を軽減するためにストリーミング入力が採用されている。 本稿では,SirLLM(Streaming Infinite Retentive LLM)を提案する。
  論文  参考訳（メタデータ） (2024-05-21T06:37:03Z)
• HMT: Hierarchical Memory Transformer for Long Context Language Processing [35.730941605490194]
  Hierarchical Memory Transformer (HMT) は、モデル長文処理機能を実現し、改善する新しいフレームワークである。 我々は,HMTがコンテキスト制約付き長文モデルの長文処理能力を着実に改善していることを示す。
  論文  参考訳（メタデータ） (2024-05-09T19:32:49Z)
• The Ups and Downs of Large Language Model Inference with Vocabulary Trimming by Language Heuristics [74.99898531299148]
  本研究は,興味のある言語への埋め込みエントリを制限し,時間と記憶効率を高めることによる語彙トリミング(VT)について検討する。 Unicodeベースのスクリプトフィルタリングとコーパスベースの選択という2つの言語を異なる言語ファミリやサイズに適用する。 その結果、VTは小型モデルのメモリ使用量を50%近く削減し、生成速度が25%向上した。
  論文  参考訳（メタデータ） (2023-11-16T09:35:50Z)
• Aspects of human memory and Large Language Models [0.0]
  大規模言語モデル(LLM)は、主にテキストを生成するために機能する巨大な人工ニューラルネットワークである。 我々は、人間の記憶の重要な特徴と驚くべき類似点を見出した。
  論文  参考訳（メタデータ） (2023-11-07T09:39:12Z)
• Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models [75.98775135321355]
  長い会話をすると、大きな言語モデル(LLM)は過去の情報を思い出さず、一貫性のない応答を生成する傾向がある。 本稿では,長期記憶能力を高めるために,大規模言語モデル(LLM)を用いて要約/メモリを生成することを提案する。
  論文  参考訳（メタデータ） (2023-08-29T04:59:53Z)
• Augmenting Language Models with Long-Term Memory [142.04940250657637]
  既存の大規模言語モデル(LLM)では、入力長制限のため、固定サイズの入力しかできない。 本稿では,Long-Term Memory (LongMem) を付加した言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-06-12T15:13:39Z)
• LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
  右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。 LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。 広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
  論文  参考訳（メタデータ） (2022-04-15T06:11:25Z)
• Neural Machine Translation with Monolingual Translation Memory [58.98657907678992]
  本稿では,モノリンガルメモリを用いて学習可能なメモリ検索を行う新しいフレームワークを提案する。 実験の結果,提案手法は大幅な改善が得られた。
  論文  参考訳（メタデータ） (2021-05-24T13:35:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。