論文の概要: Extending Memory for Language Modelling
- arxiv url: http://arxiv.org/abs/2305.11462v1
- Date: Fri, 19 May 2023 06:30:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-22 16:05:42.878483
- Title: Extending Memory for Language Modelling
- Title(参考訳): 言語モデリングのためのメモリ拡張
- Authors: Anupiya Nugaliyadde
- Abstract要約: 無限に長いシーケンスから学習するためにLong Term Memory Network (LTM)を導入する。
LTMは現在の入力に優先順位を与え、高いインパクトを与える。
我々はLTMを長期記憶を必要とする他の言語モデルと比較する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Breakthroughs in deep learning and memory networks have made major advances
in natural language understanding. Language is sequential and information
carried through the sequence can be captured through memory networks. Learning
the sequence is one of the key aspects in learning the language. However,
memory networks are not capable of holding infinitely long sequences in their
memories and are limited by various constraints such as the vanishing or
exploding gradient problem. Therefore, natural language understanding models
are affected when presented with long sequential text. We introduce Long Term
Memory network (LTM) to learn from infinitely long sequences. LTM gives
priority to the current inputs to allow it to have a high impact. Language
modeling is an important factor in natural language understanding. LTM was
tested in language modeling, which requires long term memory. LTM is tested on
Penn Tree bank dataset, Google Billion Word dataset and WikiText-2 dataset. We
compare LTM with other language models which require long term memory.
- Abstract(参考訳): ディープラーニングとメモリネットワークのブレークスルーは、自然言語理解に大きな進歩をもたらした。
言語はシーケンシャルであり、シーケンシャルを通じて運ばれる情報はメモリネットワークを介してキャプチャできる。
シーケンスを学ぶことは、言語を学ぶ上で重要な側面の1つです。
しかし、メモリネットワークは無限に長いシーケンスを記憶に保持できず、消滅や爆発といった様々な制約によって制限される。
したがって、長い逐次テキストを提示する場合、自然言語理解モデルが影響を受ける。
無限に長いシーケンスから学習するためにLong Term Memory Network (LTM)を導入する。
LTMは現在の入力に優先順位を与え、高いインパクトを与える。
言語モデリングは自然言語理解において重要な要素である。
LTMは長期記憶を必要とする言語モデリングでテストされた。
ltmはpenn tree bank dataset、google billion word dataset、wikitext-2 datasetでテストされている。
ltmを長期記憶を必要とする他の言語モデルと比較する。
関連論文リスト
- How do Large Language Models Handle Multilingualism? [87.06210331315451]
大規模言語モデル(LLM)は、様々な言語で顕著な性能を示す。
LLMの多言語入力処理を記述したフレームワークを提案する。
さらに,特定の言語処理における言語特異的ニューロンの存在について検討する。
論文 参考訳(メタデータ) (2024-02-29T02:55:26Z) - Opening the black box of language acquisition [0.0]
我々は、学習言語のための、より透明で認知的に妥当なアーキテクチャを提案する。
ディープラーニングの代わりに、シーケンスメモリとチャンキングに基づいた最小限の認知アーキテクチャを使用します。
その結果、モデルがこれらの人工言語をスクラッチから学習し、学習を支援する文法情報を抽出できることが示唆された。
論文 参考訳(メタデータ) (2024-02-18T19:11:58Z) - Aspects of human memory and Large Language Models [0.0]
大規模言語モデル(LLM)は、主にテキストを生成するために機能する巨大な人工ニューラルネットワークである。
我々は、人間の記憶の重要な特徴と驚くべき類似点を見出した。
論文 参考訳(メタデータ) (2023-11-07T09:39:12Z) - SoK: Memorization in General-Purpose Large Language Models [25.448127387943053]
大規模言語モデル(LLM)は、無数のアプリケーションが開発中で、目覚ましいペースで進んでいる。
LLMはトレーニングデータの短い秘密を記憶できるだけでなく、さまざまな方法でテキストで表現できる事実や書体スタイルといった概念を記憶することもできる。
本稿では,文章,事実,アイデア,アルゴリズム,書式,分布特性,アライメント目標を網羅したLLMにおける記憶のための分類法を提案する。
論文 参考訳(メタデータ) (2023-10-24T14:25:53Z) - Recursively Summarizing Enables Long-Term Dialogue Memory in Large
Language Models [75.98775135321355]
長い会話をすると、大きな言語モデル(LLM)は過去の情報を思い出さず、一貫性のない応答を生成する傾向がある。
本稿では,長期記憶能力を高めるために,大規模言語モデル(LLM)を用いて要約/メモリを生成することを提案する。
論文 参考訳(メタデータ) (2023-08-29T04:59:53Z) - Augmenting Language Models with Long-Term Memory [142.04940250657637]
既存の大規模言語モデル(LLM)では、入力長制限のため、固定サイズの入力しかできない。
本稿では,Long-Term Memory (LongMem) を付加した言語モデルを提案する。
論文 参考訳(メタデータ) (2023-06-12T15:13:39Z) - LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。
LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。
広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
論文 参考訳(メタデータ) (2022-04-15T06:11:25Z) - Towards Language Modelling in the Speech Domain Using Sub-word
Linguistic Units [56.52704348773307]
音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。
限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。
補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
論文 参考訳(メタデータ) (2021-10-31T22:48:30Z) - Neural Machine Translation with Monolingual Translation Memory [58.98657907678992]
本稿では,モノリンガルメモリを用いて学習可能なメモリ検索を行う新しいフレームワークを提案する。
実験の結果,提案手法は大幅な改善が得られた。
論文 参考訳(メタデータ) (2021-05-24T13:35:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。