論文の概要: Efficient and Accurate Memorable Conversation Model using DPO based on sLLM

• arxiv url: http://arxiv.org/abs/2407.06537v1
• Date: Tue, 9 Jul 2024 04:17:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 19:15:33.069919
• Title: Efficient and Accurate Memorable Conversation Model using DPO based on sLLM
• Title（参考訳）: sLLMに基づくDPOを用いた効率よく正確な記憶可能会話モデル
• Authors: Youngkyung Seo, Yoonseok Heo, Jun-Seok Koh, Du-Seoung Chang,
• Abstract要約: 本稿では,セッション進行時にメモリを効率的に管理する会話モデルを提案する。 DPOアルゴリズムを用いたモデルでは,BERTScoreの約0.0591のメモリ精度が向上した。 本モデルでは, 精度だけでなく資源利用においても効率性を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In multi-session dialog system, it is essential to continuously update the memory as the session progresses. Simply accumulating memory can make it difficult to focus on the content of the conversation for inference due to the limited input sentence size. Therefore, efficient and accurate conversation model that is capable of managing memory to reflect the conversation history continuously is necessary. This paper presents a conversation model that efficiently manages memory as sessions progress and incorporates this into the model to reflect the conversation history accurately with 3 methodologies: SFT, DPO and DPO with SFT model. Our model using DPO algorithm shows an improvement about 0.0591 of BERTScore in memory accuracy, and the rate of responses reflecting the memory increased as well. Also, response generation performance enhanced about 4.292 in fluency, 3.935 in coherence, and 2.896 in consistency. This paper describes a training method that yields better performance than models with more than twice the parameter size, even when the model size is smaller. Thus, our model demonstrates efficiency not only in terms of accuracy but also in resource utilization.
• Abstract（参考訳）: マルチセッションダイアログシステムでは、セッションが進行するにつれてメモリを継続的に更新することが不可欠である。 メモリを蓄積するだけでは、限られた入力文サイズのため、推論のための会話の内容に焦点を合わせるのが難しくなる。 したがって,会話履歴を連続的に反映するメモリ管理が可能な,効率的かつ正確な会話モデルが必要である。 本稿では,セッション進行時にメモリを効率的に管理し,SFT,DPO,DPOの3つの手法を用いて,会話履歴を正確に反映する会話モデルを提案する。 DPOアルゴリズムを用いたモデルでは,BERTScoreのメモリ精度が約0.0591向上し,メモリを反映する応答率も向上した。 また、応答生成性能は約4.292回、コヒーレンス3.935回、一貫性2.896回向上した。 本稿では,モデルサイズが小さい場合でも,パラメータサイズが2倍以上のモデルよりも優れた性能を示す訓練手法について述べる。 したがって,本モデルでは,精度だけでなく資源利用においても効率性を示す。

関連論文リスト

• Self-Updatable Large Language Models with Parameter Integration [21.742149718161716]
  周囲のオブジェクトとのインタラクションのような小規模なエクスペリエンスは、大規模な言語モデルに頻繁に統合する必要があります。 現在の手法では、連続学習、モデル編集、知識蒸留技術を用いてモデルパラメータに経験を組み込む。 モデルパラメータに直接経験を組み込むSELF-PARAMを提案する。
  論文  参考訳（メタデータ） (2024-10-01T08:18:17Z)
• Compressed Context Memory For Online Language Model Interaction [39.72054168889216]
  本稿では,オンラインシナリオにおけるトランスフォーマー言語モデルに対する文脈キー/値圧縮手法を提案する。 コンテキストが長くなるにつれて、アテンションプロセスはメモリと計算量の増加を必要とし、それによって言語モデルのスループットが低下する。 本稿では,注目鍵/値ペアを連続的にコンパクトなメモリ空間に圧縮するコンテクストメモリシステムを提案する。
  論文  参考訳（メタデータ） (2023-12-06T10:50:43Z)
• SSP: Self-Supervised Post-training for Conversational Search [63.28684982954115]
  本稿では,対話型検索モデルを効率的に初期化するための3つの自己教師型タスクを備えた学習後パラダイムであるフルモデル(モデル)を提案する。 提案手法の有効性を検証するために,CAsT-19 と CAsT-20 の2つのベンチマークデータセットを用いて,会話検索タスクにモデルにより訓練後の会話エンコーダを適用した。
  論文  参考訳（メタデータ） (2023-07-02T13:36:36Z)
• UniMC: A Unified Framework for Long-Term Memory Conversation via Relevance Representation Learning [15.313416157905685]
  We propose a Unified framework for Long-term Memory Conversations (UniMC)。 主タスクを確率グラフに基づいて3つのサブタスクに分解する。 各サブタスクは、クエリとメモリ間の関連性を計算するための表現を学習する。
  論文  参考訳（メタデータ） (2023-06-18T12:30:50Z)
• Enhancing Large Language Model with Self-Controlled Memory Framework [56.38025154501917]
  大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。 本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-26T07:25:31Z)
• Stateful Memory-Augmented Transformers for Efficient Dialogue Modeling [69.31802246621963]
  本稿では、既存のトレーニング済みエンコーダデコーダモデルと互換性のある新しいメモリ拡張トランスを提案する。 事前訓練された変換器と共に別々のメモリモジュールを組み込むことで、モデルはメモリ状態と現在の入力コンテキストの間で情報を効果的に交換することができる。
  論文  参考訳（メタデータ） (2022-09-15T22:37:22Z)
• A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
  CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。 モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。 本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-05-26T08:24:01Z)
• A Bi-Encoder LSTM Model For Learning Unstructured Dialogs [0.0]
  本稿では,非構造化マルチターンダイアログを学習するLong Short Term Memory(LSTM)アーキテクチャを提案する。 ベンチマークモデルよりRecall@1,Recall@2,Recall@5の精度が0.8%,1.0%,0.3%向上していることを示した。
  論文  参考訳（メタデータ） (2021-04-25T21:37:35Z)
• Plug-and-Play Conversational Models [62.77150879036442]
  我々はデコード時にさらなる計算を必要としないアプローチを導入し、また大きな言語モデルの微調整も必要としない。 我々は、広範囲な自動的・人的評価を通じて、複数の望ましい属性について、生成した会話応答に対する高い制御を実証する。
  論文  参考訳（メタデータ） (2020-10-09T03:17:51Z)
• Modality-Balanced Models for Visual Dialogue [102.35406085738325]
  Visual Dialogタスクは、対話に対する次の応答を生成するために、画像情報と会話コンテキスト情報の両方を利用するモデルを必要とする。 過去の共同モダリティ(歴史とイメージ)モデルが過度に再現され,対話履歴を記憶する傾向が強いことを示す。 本稿では,共有パラメータを用いたアンサンブルとコンセンサス・ドロップアウト融合による2つのモデルの統合手法を提案する。
  論文  参考訳（メタデータ） (2020-01-17T14:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。