論文の概要: ChatDB: Augmenting LLMs with Databases as Their Symbolic Memory

• arxiv url: http://arxiv.org/abs/2306.03901v1
• Date: Tue, 6 Jun 2023 17:58:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 14:06:49.949542
• Title: ChatDB: Augmenting LLMs with Databases as Their Symbolic Memory
• Title（参考訳）: ChatDB: シンボリックメモリとしてのデータベースによるLLMの拡張
• Authors: Chenxu Hu, Jie Fu, Chenzhuang Du, Simian Luo, Junbo Zhao, Hang Zhao
• Abstract要約: メモリを持つ大規模言語モデル(LLM)は計算的に普遍的である。 我々は、複雑なマルチホップ推論のためのシンボリックメモリを備えたLLMを増強するために、現代のコンピュータアーキテクチャからインスピレーションを得る。 複雑な推論を必要とする合成データセットにおけるメモリフレームワークの有効性を検証する。
• 参考スコア（独自算出の注目度）: 29.822360561150475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) with memory are computationally universal. However, mainstream LLMs are not taking full advantage of memory, and the designs are heavily influenced by biological brains. Due to their approximate nature and proneness to the accumulation of errors, conventional neural memory mechanisms cannot support LLMs to simulate complex reasoning. In this paper, we seek inspiration from modern computer architectures to augment LLMs with symbolic memory for complex multi-hop reasoning. Such a symbolic memory framework is instantiated as an LLM and a set of SQL databases, where the LLM generates SQL instructions to manipulate the SQL databases. We validate the effectiveness of the proposed memory framework on a synthetic dataset requiring complex reasoning. The project website is available at https://chatdatabase.github.io/ .
• Abstract（参考訳）: メモリを持つ大規模言語モデル(LLM)は計算的に普遍的である。 しかし、メインストリームのLSMはメモリを十分に活用しておらず、その設計は生物学的脳の影響を強く受けている。 誤差の蓄積に近似した性質と傾向のため、従来のニューラルメモリ機構は複雑な推論をシミュレートするLLMをサポートできない。 本稿では,計算機アーキテクチャからインスピレーションを得て,複雑なマルチホップ推論のためのシンボリックメモリを付加する。 このようなシンボリックメモリフレームワークは、LCMとSQLデータベースのセットとしてインスタンス化され、LCMはSQLデータベースを操作するSQL命令を生成する。 複雑な推論を必要とする合成データセット上で提案するメモリフレームワークの有効性を検証する。 プロジェクトのwebサイトはhttps://chatdatabase.github.io/で入手できる。

関連論文リスト

• Relational Database Augmented Large Language Model [59.38841050766026]
  大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクに優れる。 彼らは、トレーニングや教師付き微調整プロセスを通じてのみ、新しい知識を取り入れることができる。 この正確で最新のプライベート情報は、通常リレーショナルデータベースに格納される。
  論文  参考訳（メタデータ） (2024-07-21T06:19:10Z)
• $\text{Memory}^3$: Language Modeling with Explicit Memory [22.572376536612015]
  我々は、大言語モデル(LLM)に明示的なメモリ、モデルパラメータよりも安いメモリフォーマット、テキスト検索拡張生成(RAG)を装備する。 予備的な概念実証として, 2.4B LLM をゼロからトレーニングし, より大きな LLM モデルやRAG モデルよりも優れた性能を実現する。 本稿では,知識の外部化を支援するメモリ回路理論を導入し,記憶をトラクタブルにするメモリスペーサー化機構を含む新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T11:07:23Z)
• Do LLMs dream of elephants (when told not to)? Latent concept association and associative memory in transformers [40.964584197528175]
  LLM(Large Language Models)は、事実を保存およびリコールする能力を持つ。 LLMは、コンテキスト内の特定のトークンが事実を取得する手がかりとなる連想記憶モデルのように振る舞う。
  論文  参考訳（メタデータ） (2024-06-26T14:49:54Z)
• AI-native Memory: A Pathway from LLMs Towards AGI [25.19572633670963]
  大規模言語モデル(LLM)は、人工知能(AGI)の火花で世界を実証した。 我々は,メモリ統合によるLLMからAGIへの経路を構想する。 中間段階として、メモリは自然言語記述の形式になる可能性が高い。
  論文  参考訳（メタデータ） (2024-06-26T12:51:37Z)
• MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
  本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,知識能力を向上させる新しい手法であるMemLLMを紹介する。 実験の結果,MemLLMは言語モデリング全般,特に言語モデルにおいて,性能と解釈可能性を向上させることが示唆された。 私たちは MemLLM を,メモリ拡張による LLM の基盤化と現実化に向けた重要なステップと捉えています。
  論文  参考訳（メタデータ） (2024-04-17T18:13:16Z)
• Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
  本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。 トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
  論文  参考訳（メタデータ） (2024-04-16T06:34:08Z)
• Augmenting Language Models with Long-Term Memory [142.04940250657637]
  既存の大規模言語モデル(LLM)では、入力長制限のため、固定サイズの入力しかできない。 本稿では,Long-Term Memory (LongMem) を付加した言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-06-12T15:13:39Z)
• Logic-LM: Empowering Large Language Models with Symbolic Solvers for Faithful Logical Reasoning [101.26814728062065]
  大規模言語モデル(LLM)は人間のような推論能力を示しているが、それでも複雑な論理的問題に悩まされている。 本稿では,論理問題の解法を改善するために,LLMとシンボリックソルバを統合した新しいフレームワークであるLogic-LMを紹介する。
  論文  参考訳（メタデータ） (2023-05-20T22:25:38Z)
• Enhancing Large Language Model with Self-Controlled Memory Framework [56.38025154501917]
  大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。 本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-26T07:25:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。