論文の概要: Beyond Memorization: The Challenge of Random Memory Access in Language Models

• arxiv url: http://arxiv.org/abs/2403.07805v1
• Date: Tue, 12 Mar 2024 16:42:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 20:29:03.229266
• Title: Beyond Memorization: The Challenge of Random Memory Access in Language Models
• Title（参考訳）: beyond memorization:言語モデルにおけるランダムメモリアクセスの課題
• Authors: Tongyao Zhu, Qian Liu, Liang Pang, Zhengbao Jiang, Min-Yen Kan, Min Lin
• Abstract要約: 生成言語モデル(LM)がそのメモリに逐次的またはランダムにアクセスできるかどうかを検討する。 本手法により, LMのランダムメモリアクセス性能が向上することがわかった。
• 参考スコア（独自算出の注目度）: 59.89551649808259
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent developments in Language Models (LMs) have shown their effectiveness in NLP tasks, particularly in knowledge-intensive tasks. However, the mechanisms underlying knowledge storage and memory access within their parameters remain elusive. In this paper, we investigate whether a generative LM (e.g., GPT-2) is able to access its memory sequentially or randomly. Through carefully-designed synthetic tasks, covering the scenarios of full recitation, selective recitation and grounded question answering, we reveal that LMs manage to sequentially access their memory while encountering challenges in randomly accessing memorized content. We find that techniques including recitation and permutation improve the random memory access capability of LMs. Furthermore, by applying this intervention to realistic scenarios of open-domain question answering, we validate that enhancing random access by recitation leads to notable improvements in question answering. The code to reproduce our experiments can be found at https://github. com/sail-sg/lm-random-memory-access.
• Abstract（参考訳）: 言語モデル(LM)の最近の進歩は、NLPタスク、特に知識集約タスクにおいてその効果を示している。 しかし、そのパラメータ内の知識記憶とメモリアクセスのメカニズムは解明されていない。 本稿では、生成型LM(例えば、GPT-2)がそのメモリに順次またはランダムにアクセスできるかどうかを検討する。 入念に設計した合成タスクを通じて, 記憶されたコンテンツをランダムにアクセスする際の課題に遭遇しながら, LMが連続的にメモリにアクセスできることを明らかにする。 本手法により, LMのランダムメモリアクセス性能が向上することがわかった。 さらに,この介入をオープンドメイン質問応答の現実的なシナリオに適用することにより,リテーションによるランダムアクセスの促進が質問応答の著しい改善につながることを検証した。 実験を再現するコードは https://github.com で確認できます。 .com/sail-sg/lm-random-Memory- Access。

関連論文リスト

• Assessing Episodic Memory in LLMs with Sequence Order Recall Tasks [42.22616978679253]
  本稿では,認知心理学におけるエピソード記憶研究の課題から順応する逐次リコールタスク(SORT)を紹介する。 SORTはLLMにテキストセグメントの正しい順序を思い出させる必要があり、拡張が容易で追加のアノテーションを必要としない一般的なフレームワークを提供する。 155人の被験者による人間実験から,本書の長期記憶に基づくシーケンス順序を再現できることが示唆された。
  論文  参考訳（メタデータ） (2024-10-10T17:17:38Z)
• Unlocking Memorization in Large Language Models with Dynamic Soft Prompting [66.54460367290146]
  大規模言語モデル(LLM)は、要約、質問応答、翻訳などの自然言語処理(NLP)タスクに革命をもたらした。 LLMはトレーニングデータを記憶する傾向があるため、重大なセキュリティリスクを生じ、プライバシー侵害や著作権侵害につながる可能性がある。 動的,プレフィックスに依存したソフトプロンプトを用いたLLM記憶推定手法を提案する。
  論文  参考訳（メタデータ） (2024-09-20T18:56:32Z)
• MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
  本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,知識能力を向上させる新しい手法であるMemLLMを紹介する。 実験の結果,MemLLMは言語モデリング全般,特に言語モデルにおいて,性能と解釈可能性を向上させることが示唆された。 私たちは MemLLM を,メモリ拡張による LLM の基盤化と現実化に向けた重要なステップと捉えています。
  論文  参考訳（メタデータ） (2024-04-17T18:13:16Z)
• Empowering Working Memory for Large Language Model Agents [9.83467478231344]
  本稿では,認知心理学のワーキングメモリフレームワークを大規模言語モデル(LLM)に適用する可能性について検討する。 エピソード間の記憶を維持するために、集中型ワーキングメモリハブとエピソディックバッファアクセスを取り入れた革新的なモデルが提案されている。 このアーキテクチャは、複雑なタスクと協調シナリオの間のニュアンス付きコンテキスト推論に対して、より継続的なものを提供することを目的としている。
  論文  参考訳（メタデータ） (2023-12-22T05:59:00Z)
• Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models [75.98775135321355]
  長い会話をすると、大きな言語モデル(LLM)は過去の情報を思い出さず、一貫性のない応答を生成する傾向がある。 本稿では,長期記憶能力を高めるために,大規模言語モデル(LLM)を用いて要約/メモリを生成することを提案する。
  論文  参考訳（メタデータ） (2023-08-29T04:59:53Z)
• RET-LLM: Towards a General Read-Write Memory for Large Language Models [53.288356721954514]
  RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。 デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。 本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
  論文  参考訳（メタデータ） (2023-05-23T17:53:38Z)
• Learning to Rehearse in Long Sequence Memorization [107.14601197043308]
  既存の推論タスクは、しばしば、推論中に入力内容が常にアクセス可能であるという重要な仮定を持つ。 メモリ拡張ニューラルネットワークは、人間のような書き込み読み取りメモリを導入し、1回のパスで長い入力シーケンスを圧縮し記憶する。 しかし、2つの重大な欠点がある: 1) メモリを現在の情報から継続的に更新し、必然的に初期の内容を忘れる; 2) 重要な情報を区別せず、全てのコンテンツを平等に扱う。 本稿では,履歴サンプリング装置を用いた自己教師型リハーサルによる長期記憶向上のためのリハーサルメモリを提案する。
  論文  参考訳（メタデータ） (2021-06-02T11:58:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。