論文の概要: DFA-RAG: Conversational Semantic Router for Large Language Model with Definite Finite Automaton

• arxiv url: http://arxiv.org/abs/2402.04411v2
• Date: Mon, 3 Jun 2024 01:40:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 19:03:18.272495
• Title: DFA-RAG: Conversational Semantic Router for Large Language Model with Definite Finite Automaton
• Title（参考訳）: DFA-RAG:有限オートマトンを持つ大言語モデルのための対話型セマンティックルータ
• Authors: Yiyou Sun, Junjie Hu, Wei Cheng, Haifeng Chen,
• Abstract要約: 本稿では,Definite Finite Automaton (DFA-RAG)を用いた検索強化大言語モデルを提案する。 DFA-RAGは,大規模言語モデル(LLM)を用いた対話エージェントの機能向上を目的としたフレームワークである。
• 参考スコア（独自算出の注目度）: 44.26173742405563
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces the retrieval-augmented large language model with Definite Finite Automaton (DFA-RAG), a novel framework designed to enhance the capabilities of conversational agents using large language models (LLMs). Traditional LLMs face challenges in generating regulated and compliant responses in special scenarios with predetermined response guidelines, like emotional support and customer service. Our framework addresses these challenges by embedding a Definite Finite Automaton (DFA), learned from training dialogues, within the LLM. This structured approach acts as a semantic router which enables the LLM to adhere to a deterministic response pathway. The routing is achieved by the retrieval-augmentation generation (RAG) strategy, which carefully selects dialogue examples aligned with the current conversational context. The advantages of DFA-RAG include an interpretable structure through human-readable DFA, context-aware retrieval for responses in conversations, and plug-and-play compatibility with existing LLMs. Extensive benchmarks validate DFA-RAG's effectiveness, indicating its potential as a valuable contribution to the conversational agent.
• Abstract（参考訳）: 本稿では,多言語モデル (LLM) を用いた対話型エージェントの能力向上を目的とした新フレームワークであるDefinite Finite Automaton (DFA-RAG) を用いた検索拡張大型言語モデルを提案する。 従来のLLMは、感情的サポートやカスタマーサービスなど、所定のレスポンスガイドラインを持つ特別なシナリオにおいて、規制された、コンプライアンスされたレスポンスを生成する上で、課題に直面しています。 我々のフレームワークは、LLM内のトレーニング対話から学んだDFA(Definite Finite Automaton)を組み込むことによって、これらの課題に対処する。 この構造的アプローチは、LLMが決定論的応答経路に従うことを可能にするセマンティックルータとして機能する。 ルーティングは、現在の会話コンテキストに沿った対話例を慎重に選択する検索拡張生成(RAG)戦略によって達成される。 DFA-RAGの利点は、人間可読なDFAによる解釈可能な構造、会話における応答の文脈認識検索、既存のLLMとのプラグアンドプレイ互換性である。 広範囲なベンチマークにより、DFA-RAGの有効性が検証され、会話エージェントに重要な貢献をする可能性が示唆された。

関連論文リスト

• RAD-Bench: Evaluating Large Language Models Capabilities in Retrieval Augmented Dialogues [8.036117602566074]
  RAD-Benchは、検索後のマルチターン対話における大規模言語モデルの能力を評価するために設計されたベンチマークである。 また, LLM の評価結果から, モデルの性能が劣化し, 追加の条件や制約が適用されることが判明した。
  論文  参考訳（メタデータ） (2024-09-19T08:26:45Z)
• Large Language Model Can Transcribe Speech in Multi-Talker Scenarios with Versatile Instructions [68.98811048970963]
  我々は,多話者環境における音声の書き起こしにおける大規模言語モデル(LLM)の能力について,先駆的な研究を行う。 提案手法では,WavLMとWhisperエンコーダを用いて,話者の特徴や意味的文脈に敏感な多面的音声表現を抽出する。 包括的実験により,カクテルパーティーのシナリオにおいて提案システムであるMT-LLMが期待できる性能を示した。
  論文  参考訳（メタデータ） (2024-09-13T07:28:28Z)
• Learning to Clarify: Multi-turn Conversations with Action-Based Contrastive Self-Training [33.57497419019826]
  アクションベースのコントラスト自己学習は、多ターン会話におけるサンプル効率のよい対話ポリシー学習を可能にする。 ACTは、教師付き微調整とDPOのための標準的なアプローチよりも、相当な会話モデリングの改善を示す。
  論文  参考訳（メタデータ） (2024-05-31T22:44:48Z)
• When Emotional Stimuli meet Prompt Designing: An Auto-Prompt Graphical Paradigm [43.2625101868969]
  本稿では,大規模言語モデル (LLM) の素早い単語を要約する。 次に、刺激とフレームワークのプロンプトを組み合わせたオートプロンプトグラフィカルパラダイム(APGP)を提案する。 このフレームワークは、感情刺激因子の自動生成と考慮を含む。
  論文  参考訳（メタデータ） (2024-04-16T12:19:08Z)
• Generative Context-aware Fine-tuning of Self-supervised Speech Models [54.389711404209415]
  生成型大規模言語モデル(LLM)生成コンテキスト情報の利用について検討する。 自己教師型音声モデルの微調整中に生成した情報を抽出する手法を提案する。 本稿では,SLUE と Libri-light のベンチマークを用いて,自動音声認識,名前付きエンティティ認識,感情分析を行う手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T15:46:02Z)
• Prompting and Evaluating Large Language Models for Proactive Dialogues: Clarification, Target-guided, and Non-collaboration [72.04629217161656]
  本研究は, 明瞭化, 目標誘導, 非協調対話の3つの側面に焦点をあてる。 LLMの能動性を高めるために,プロアクティブ・チェーン・オブ・ソート・プロンプト方式を提案する。
  論文  参考訳（メタデータ） (2023-05-23T02:49:35Z)
• Cue-CoT: Chain-of-thought Prompting for Responding to In-depth Dialogue Questions with LLMs [59.74002011562726]
  我々は、よりパーソナライズされ魅力的な応答を提供するために、新しい言語的キューに基づく思考の連鎖(textitCue-CoT)を提案する。 中国語と英語の6つのデータセットからなる詳細な対話質問を用いたベンチマークを構築した。 実験により,提案手法は,すべてのデータセットにおいて,テクステルパーフルネスとテクスチタアクセプタビリティの両方の観点から,標準的プロンプト法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-19T16:27:43Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。