論文の概要: Dynamic Long Short-Term Memory Based Memory Storage For Long Horizon LLM Interaction
- arxiv url: http://arxiv.org/abs/2507.03042v1
- Date: Thu, 03 Jul 2025 07:53:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-08 15:46:34.552552
- Title: Dynamic Long Short-Term Memory Based Memory Storage For Long Horizon LLM Interaction
- Title（参考訳）: 長期LLMインタラクションのための動的長期記憶型メモリストレージ
- Authors: Yuyang Lou, Charles Li,
- Abstract要約: 本稿では,BERTベースの分類器とLSTMメモリモジュールを組み合わせた,動的で軽量なフレームワークであるPref-LSTMを提案する。
我々は、好みのデータセットと非参照会話のターンを合成的にキュレートし、BERTベースの分類器を訓練する。
本研究は,LSTMゲーティングプリンシパルを用いた嗜好フィルタリングを,スケーラブルなユーザ嗜好モデリングへの効率的な経路として活用できることを実証する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Memory storage for Large Language models (LLMs) is becoming an increasingly active area of research, particularly for enabling personalization across long conversations. We propose Pref-LSTM, a dynamic and lightweight framework that combines a BERT-based classifier with a LSTM memory module that generates memory embedding which then is soft-prompt injected into a frozen LLM. We synthetically curate a dataset of preference and non-preference conversation turns to train our BERT-based classifier. Although our LSTM-based memory encoder did not yield strong results, we find that the BERT-based classifier performs reliably in identifying explicit and implicit user preferences. Our research demonstrates the viability of using preference filtering with LSTM gating principals as an efficient path towards scalable user preference modeling, without extensive overhead and fine-tuning.
- Abstract（参考訳）: 大規模言語モデル(LLM)のためのメモリストレージは、特に長い会話におけるパーソナライズを可能にするために、ますます活発な研究領域になりつつある。
本稿では,BERT ベースの分類器と LSTM メモリモジュールを組み合わせた動的かつ軽量なフレームワーク Pref-LSTM を提案する。
我々は、好みのデータセットと非参照会話のターンを合成的にキュレートし、BERTベースの分類器を訓練する。
LSTMベースのメモリエンコーダでは強い結果が得られなかったが,BERTベースの分類器は明示的で暗黙的なユーザの嗜好を確実に識別する。
本研究は,LSTMゲーティングプリンシパルを用いた選好フィルタリングを,広範囲なオーバーヘッドや微調整を伴わずに,スケーラブルなユーザ選好モデリングへの効率的な経路として活用できることを実証する。
関連論文リスト
- Towards Multi-Granularity Memory Association and Selection for Long-Term Conversational Agents [73.77930932005354]
我々は,多粒度アソシエーション,適応選択,検索を構築することで,メモリ統合を向上するフレームワークであるMemGASを提案する。
MemGASは多粒度メモリユニットに基づいており、ガウス混合モデルを用いて新しい記憶と過去の記憶をクラスタリングし関連付けている。
4つの長期メモリベンチマークの実験により、MemGASは質問応答と検索タスクの両方において最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2025-05-26T06:13:07Z) - LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。
LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。
LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文 参考訳（メタデータ） (2025-02-15T02:55:22Z) - xLSTM: Extended Long Short-Term Memory [26.607656211983155]
1990年代、Long Short-Term Memory (LSTM) の中心概念として、定数エラーカルーセルとゲーティングが導入された。
正規化と安定化を適切に行う指数ゲーティングを導入する。
i)スカラーメモリ,スカラー更新,新しいメモリ混合,(ii)行列メモリと共分散更新ルールと完全に並列化可能なmLSTM。
論文 参考訳（メタデータ） (2024-05-07T17:50:21Z) - MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,大規模言語モデル(LLM)の拡張手法であるMemLLMを紹介する。
実験の結果, 言語モデリング, 特に知識集約型タスクにおいて, MemLLMはLLMの性能と解釈可能性を向上させることが示唆された。
論文 参考訳（メタデータ） (2024-04-17T18:13:16Z) - LLM-based Medical Assistant Personalization with Short- and Long-Term Memory Coordination [20.269899169364397]
大規模言語モデル(LLM)は、自然言語の理解と生成に優れた能力を発揮している。
本稿では,パラメータ効率のよい微細チューニング(PEFT)スキーマを備え,医療アシスタントをパーソナライズするための新しい計算バイオニックメモリ機構を提案する。
論文 参考訳（メタデータ） (2023-09-21T00:34:33Z) - SCM: Enhancing Large Language Model with Self-Controlled Memory Framework [54.33686574304374]
大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。
本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-04-26T07:25:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。