論文の概要: MemoChat: Tuning LLMs to Use Memos for Consistent Long-Range Open-Domain Conversation

• arxiv url: http://arxiv.org/abs/2308.08239v2
• Date: Wed, 23 Aug 2023 03:37:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-24 17:40:14.660169
• Title: MemoChat: Tuning LLMs to Use Memos for Consistent Long-Range Open-Domain Conversation
• Title（参考訳）: MemoChat: 長期間のオープンドメイン会話にメモを使用するためのLLMのチューニング
• Authors: Junru Lu, Siyu An, Mingbao Lin, Gabriele Pergola, Yulan He, Di Yin, Xing Sun, Yunsheng Wu
• Abstract要約: そこで本稿では,大規模言語モデルに対して,自己合成メモを効果的に活用するためのパイプラインを提案する。 我々は、反復的な「記憶-記憶-記憶-応答」サイクルを通して、長い範囲のオープンドメイン会話を実演する。 これらの命令は、LLMに、構造化されたメモによる過去の対話を記憶し、検索するように教えるために、公開データセットの集合から再構築される。
• 参考スコア（独自算出の注目度）: 43.24092422054248
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose MemoChat, a pipeline for refining instructions that enables large language models (LLMs) to effectively employ self-composed memos for maintaining consistent long-range open-domain conversations. We demonstrate a long-range open-domain conversation through iterative "memorization-retrieval-response" cycles. This requires us to carefully design tailored tuning instructions for each distinct stage. The instructions are reconstructed from a collection of public datasets to teach the LLMs to memorize and retrieve past dialogues with structured memos, leading to enhanced consistency when participating in future conversations. We invite experts to manually annotate a test set designed to evaluate the consistency of long-range conversations questions. Experiments on three testing scenarios involving both open-source and API-accessible chatbots at scale verify the efficacy of MemoChat, which outperforms strong baselines. Our codes, data and models are available here: https://github.com/LuJunru/MemoChat.
• Abstract（参考訳）: 我々は,大規模言語モデル (LLM) を効果的に活用し,一貫した長距離オープンドメイン会話を維持するための命令を精錬するためのパイプラインであるMemoChatを提案する。 我々は、反復的な「記憶-記憶-記憶-応答」サイクルによる長距離オープンドメイン会話を実演する。 これにより、異なるステージごとに調整されたチューニング命令を慎重に設計する必要があります。 これらの命令は、公共データセットの集合から再構築され、LCMに構造化されたメモとの過去の対話を記憶し、取り出すように教えられ、将来の会話に参加する際の一貫性が向上する。 長距離会話質問の一貫性を評価するためのテストセットを手動でアノテートするために専門家を招待する。 大規模なオープンソースとAPIアクセス可能なチャットボットを含む3つのテストシナリオの実験は、MemoChatの有効性を検証する。 私たちのコード、データ、モデルはここで利用可能です。

関連論文リスト

• Hidden in Plain Sight: Exploring Chat History Tampering in Interactive Language Models [12.920884182101142]
  大規模言語モデル(LLM)は、実世界のアプリケーションで普及し、素晴らしいテキスト生成性能を示している。 LLMベースのチャットシステムは、対話的に振る舞うためには、事前に定義された構造に従って、事前のチャット履歴を入力のコンテキストとして統合する必要がある。 本稿では,目標モデルの事前知識を必要とせずに,LLM会話にユーザ提供履歴を注入するための体系的手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T16:36:47Z)
• Evaluating Very Long-Term Conversational Memory of LLM Agents [95.84027826745609]
  我々は,高品質で長期的な対話を生成するための,マシン・ヒューマン・パイプラインを導入する。 我々は、各エージェントに画像の共有と反応の能力を持たせる。 生成した会話は、長距離一貫性のために人間のアノテーションによって検証され、編集される。
  論文  参考訳（メタデータ） (2024-02-27T18:42:31Z)
• Effective and Efficient Conversation Retrieval for Dialogue State Tracking with Implicit Text Summaries [48.243879779374836]
  LLM (Large Language Models) を用いたDST (Few-shot dialogue state tracking) では,会話検索を効果的かつ効率的に行うことで,学習の迅速化を図っている。 従来は検索キーやクエリとして生の対話コンテキストを使用していた。 会話のテキスト要約に基づいて会話検索を行う。 LLMに基づく会話要約器がクエリとキー生成に採用され、効果的な内部製品探索が可能となる。
  論文  参考訳（メタデータ） (2024-02-20T14:31:17Z)
• Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models [75.98775135321355]
  長い会話をすると、大きな言語モデル(LLM)は過去の情報を思い出さず、一貫性のない応答を生成する傾向がある。 本稿では,長期記憶能力を高めるために,大規模言語モデル(LLM)を用いて要約/メモリを生成することを提案する。
  論文  参考訳（メタデータ） (2023-08-29T04:59:53Z)
• Cue-CoT: Chain-of-thought Prompting for Responding to In-depth Dialogue Questions with LLMs [59.74002011562726]
  我々は、よりパーソナライズされ魅力的な応答を提供するために、新しい言語的キューに基づく思考の連鎖(textitCue-CoT)を提案する。 中国語と英語の6つのデータセットからなる詳細な対話質問を用いたベンチマークを構築した。 実験により,提案手法は,すべてのデータセットにおいて,テクステルパーフルネスとテクスチタアクセプタビリティの両方の観点から,標準的プロンプト法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-19T16:27:43Z)
• Prompted LLMs as Chatbot Modules for Long Open-domain Conversation [7.511596831927614]
  MPCは、微調整を必要とせず、高品質な会話エージェントを作成するための新しいアプローチである。 本手法は,長期的一貫性と柔軟性のために,事前訓練された大規模言語モデル(LLM)を個別モジュールとして利用する。
  論文  参考訳（メタデータ） (2023-05-08T08:09:00Z)
• Disentangling Online Chats with DAG-Structured LSTMs [55.33014148383343]
  DAG-LSTMはTree-LSTMの一般化であり、間接的な非循環的依存関係を処理できる。 提案する新モデルでは,リプライ・トゥ・リレーション(Repend-to-Relation)を回復する作業において,アート・ステータスの状態を達成できることが示される。
  論文  参考訳（メタデータ） (2021-06-16T18:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。