論文の概要: Lift Yourself Up: Retrieval-augmented Text Generation with Self Memory

• arxiv url: http://arxiv.org/abs/2305.02437v3
• Date: Sat, 23 Dec 2023 11:11:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-12-27 22:56:29.589864
• Title: Lift Yourself Up: Retrieval-augmented Text Generation with Self Memory
• Title（参考訳）: 自分自身を解放する: 自己記憶による検索強化テキスト生成
• Authors: Xin Cheng, Di Luo, Xiuying Chen, Lemao Liu, Dongyan Zhao, Rui Yan
• Abstract要約: 本稿では,検索拡張生成モデルを改善するための新しいフレームワーク,Selfmemを提案する。 Selfmemは、検索拡張ジェネレータを反復的に使用して、無制限のメモリプールを生成し、メモリセレクタを使用して、続く生成ラウンドの1つの出力をメモリとして選択する。 我々は,3つの異なるテキスト生成タスクにおける自己メモの有効性を評価する。
• 参考スコア（独自算出の注目度）: 72.36736686941671
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With direct access to human-written reference as memory, retrieval-augmented generation has achieved much progress in a wide range of text generation tasks. Since better memory would typically prompt better generation~(we define this as primal problem). The traditional approach for memory retrieval involves selecting memory that exhibits the highest similarity to the input. However, this method is constrained by the quality of the fixed corpus from which memory is retrieved. In this paper, by exploring the duality of the primal problem: better generation also prompts better memory, we propose a novel framework, selfmem, which addresses this limitation by iteratively employing a retrieval-augmented generator to create an unbounded memory pool and using a memory selector to choose one output as memory for the subsequent generation round. This enables the model to leverage its own output, referred to as self-memory, for improved generation. We evaluate the effectiveness of selfmem on three distinct text generation tasks: neural machine translation, abstractive text summarization, and dialogue generation, under two generation paradigms: fine-tuned small model and few-shot LLM. Our approach achieves state-of-the-art results in four directions in JRC-Acquis, XSum (50.3 ROUGE-1), and BigPatent (62.9 ROUGE-1), demonstrating the potential of self-memory in enhancing retrieval-augmented generation models. Furthermore, we conduct thorough analyses of each component in the selfmem framework to identify bottlenecks and provide insights for future research.
• Abstract（参考訳）: 人書き参照をメモリとして直接アクセスすることで、検索強化生成は幅広いテキスト生成タスクにおいて大きな進歩を遂げた。 より優れたメモリは、通常、より良いジェネレーション−(プリミティブ問題として定義する)を促す。 メモリ検索の伝統的なアプローチは、入力と最もよく似たメモリを選択することである。 しかし、この方法はメモリが検索される固定コーパスの品質によって制限される。 本稿では,より優れた生成がより良いメモリを誘導する,プライマル問題の双対性を検討することにより,検索型ジェネレータを反復的に使用し,未バウンドメモリプールを作成し,メモリセレクタを用いて1つの出力をメモリとして選択することで,この制限に対処する新しいフレームワークであるselfmemを提案する。 これにより、モデルが自己メモリと呼ばれる独自の出力を活用し、生成を改善することができる。 本研究では,ニューラルマシン翻訳,抽象的テキスト要約,対話生成の3つのタスクにおけるselfmemの有効性を,微調整小モデルと少数ショットllmの2世代パラダイムの下で評価した。 提案手法は, JRC-Acquis, XSum (50.3 ROUGE-1), BigPatent (62.9 ROUGE-1) の4つの方向において, 自己記憶の可能性を示す。 さらに,selfmemフレームワークの各コンポーネントについて詳細な分析を行い,ボトルネックを特定し,今後の研究への洞察を提供する。

関連論文リスト

• MemAdapter: Fast Alignment across Agent Memory Paradigms via Generative Subgraph Retrieval [25.68006224976726]
  メモリメカニズムはLLMベースのエージェントの中核的なコンポーネントであり、長期のコンテキスト上での推論と知識発見を可能にする。 既存のエージェントメモリシステムは通常、密結合した検索手法で分離されたパラダイムで設計される。 MemAdapterは、エージェントメモリパラダイム間の高速アライメントを可能にするメモリ検索フレームワークである。
  論文  参考訳（メタデータ） (2026-02-09T08:09:25Z)
• MemGen: Weaving Generative Latent Memory for Self-Evolving Agents [57.1835920227202]
  本稿では,エージェントに人間的な認知機能を持たせる動的生成記憶フレームワークであるMemGenを提案する。 MemGenは、エージェントが推論を通して潜在記憶をリコールし、増大させ、記憶と認知の密接なサイクルを生み出すことを可能にする。
  論文  参考訳（メタデータ） (2025-09-29T12:33:13Z)
• Multiple Memory Systems for Enhancing the Long-term Memory of Agent [9.43633399280987]
  MemoryBankやA-MEMといった既存の手法は、記憶されているメモリの質が劣っている。 我々は認知心理学理論にインスパイアされた多重記憶システムを設計した。
  論文  参考訳（メタデータ） (2025-08-21T06:29:42Z)
• From Single to Multi-Granularity: Toward Long-Term Memory Association and Selection of Conversational Agents [79.87304940020256]
  大言語モデル(LLM)は会話エージェントで広く採用されている。 MemGASは、多粒度アソシエーション、適応選択、検索を構築することにより、メモリ統合を強化するフレームワークである。 4つの長期メモリベンチマークの実験により、MemGASは質問応答と検索タスクの両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2025-05-26T06:13:07Z)
• Rethinking Memory in AI: Taxonomy, Operations, Topics, and Future Directions [55.19217798774033]
  メモリは、大規模言語モデル(LLM)ベースのエージェントを支える、AIシステムの基本コンポーネントである。 本稿ではまず,メモリ表現をパラメトリックおよびコンテキスト形式に分類する。 次に、コンソリデーション、更新、インデックス付け、フォッティング、検索、圧縮の6つの基本的なメモリ操作を紹介します。
  論文  参考訳（メタデータ） (2025-05-01T17:31:33Z)
• Improving Factuality with Explicit Working Memory [68.39261790277615]
  大規模な言語モデルは、幻覚として知られる、事実的に不正確なコンテンツを生成することができる。 EWE(Explicit Working Memory)は、外部リソースからのリアルタイムフィードバックを受信するワーキングメモリを統合することで、長文テキスト生成における事実性を高める新しい手法である。
  論文  参考訳（メタデータ） (2024-12-24T00:55:59Z)
• $\text{Memory}^3$: Language Modeling with Explicit Memory [22.572376536612015]
  我々は、大言語モデル(LLM)に明示的なメモリ、モデルパラメータよりも安いメモリフォーマット、テキスト検索拡張生成(RAG)を装備する。 予備的な概念実証として, 2.4B LLM をゼロからトレーニングし, より大きな LLM モデルやRAG モデルよりも優れた性能を実現する。 本稿では,知識の外部化を支援するメモリ回路理論を導入し,記憶をトラクタブルにするメモリスペーサー化機構を含む新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T11:07:23Z)
• HMT: Hierarchical Memory Transformer for Efficient Long Context Language Processing [33.720656946186885]
  Hierarchical Memory Transformer (HMT) はモデル長文処理を容易にする新しいフレームワークである。 HMTは、既存のモデルの長文処理能力を一貫して改善する。
  論文  参考訳（メタデータ） (2024-05-09T19:32:49Z)
• Re2G: Retrieve, Rerank, Generate [14.848179433828252]
  ニューラル初期検索とBARTに基づくシーケンス・ツー・シーケンス生成を併用したRe2Gを提案する。 エンド・ツー・エンドをトレーニングするために,本システムでは,対象シーケンスの出力に対して,基礎的真理のみを用いて,知識蒸留の新たなバリエーションを導入し,初期検索,再ランカ,生成を訓練する。 KILTのリーダーボード上では、ゼロショットスロットフィリング、質問応答、ファクトチェック、ダイアログの4つのタスクにおいて、従来の最先端よりも9%から34%向上した。
  論文  参考訳（メタデータ） (2022-07-13T15:51:40Z)
• Classification and Generation of real-world data with an Associative Memory Model [0.0]
  マルチモーダル・フレームワークを用いて,基本的な連想記憶モデルの能力を拡張する。 イメージとラベルの両方をモダリティとして保存することで、単一のメモリを使用してパターンを検索し、完了させることができる。
  論文  参考訳（メタデータ） (2022-07-11T12:51:27Z)
• Training Language Models with Memory Augmentation [28.4608705738799]
  本稿では,メモリ拡張による言語モデル学習のための新しいトレーニング手法を提案する。 当社のアプローチでは、バッチ内のサンプルをアクセス可能なメモリとして直接取り込むトレーニング目標を用いています。 従来のメモリ拡張アプローチよりも大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2022-05-25T11:37:29Z)
• LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
  右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。 LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。 広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
  論文  参考訳（メタデータ） (2022-04-15T06:11:25Z)
• Memory-Based Semantic Parsing [79.48882899104997]
  文脈依存型セマンティック解析のためのメモリベースモデルを提案する。 逐次的ユーザ発話の累積的意味を維持することにより,メモリ管理を行うコンテキストメモリコントローラを学習する。
  論文  参考訳（メタデータ） (2021-09-07T16:15:13Z)
• Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory [75.65949969000596]
  エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。 我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。 この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2021-02-20T18:40:40Z)
• Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
  本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。 我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
  論文  参考訳（メタデータ） (2020-10-14T09:03:36Z)
• Self-Attentive Associative Memory [69.40038844695917]
  我々は、個々の体験(記憶)とその発生する関係(関連記憶)の記憶を分離することを提案する。 機械学習タスクの多様性において,提案した2メモリモデルと競合する結果が得られる。
  論文  参考訳（メタデータ） (2020-02-10T03:27:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。