論文の概要: A Survey of the Evolution of Language Model-Based Dialogue Systems
- arxiv url: http://arxiv.org/abs/2311.16789v1
- Date: Tue, 28 Nov 2023 13:51:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-29 18:18:11.765699
- Title: A Survey of the Evolution of Language Model-Based Dialogue Systems
- Title（参考訳）: 言語モデルに基づく対話システムの進化に関する調査
- Authors: Hongru Wang, Lingzhi Wang, Yiming Du, Liang Chen, Jingyan Zhou, Yufei
Wang, Kam-Fai Wong
- Abstract要約: Task-oriented_dialogue_system (TOD) とopen-domain_dialogue_system (ODD) は大きな変換を経ている。
この調査は、対話システムの歴史的軌跡を掘り下げ、言語モデルの進歩と関係を解明するものである。
我々の調査は、LMのブレークスルーに沿った時系列的な視点を提供し、最先端の研究成果の包括的なレビューを提供する。
- 参考スコア（独自算出の注目度）: 25.329617430417752
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Dialogue systems, including task-oriented_dialogue_system (TOD) and
open-domain_dialogue_system (ODD), have undergone significant transformations,
with language_models (LM) playing a central role. This survey delves into the
historical trajectory of dialogue systems, elucidating their intricate
relationship with advancements in language models by categorizing this
evolution into four distinct stages, each marked by pivotal LM breakthroughs:
1) Early_Stage: characterized by statistical LMs, resulting in rule-based or
machine-learning-driven dialogue_systems; 2) Independent development of TOD and
ODD based on neural_language_models (NLM; e.g., LSTM and GRU), since NLMs lack
intrinsic knowledge in their parameters; 3) fusion between different types of
dialogue systems with the advert of pre-trained_language_models (PLMs),
starting from the fusion between four_sub-tasks_within_TOD, and then
TOD_with_ODD; and 4) current LLM-based_dialogue_system, wherein LLMs can be
used to conduct TOD and ODD seamlessly. Thus, our survey provides a
chronological perspective aligned with LM breakthroughs, offering a
comprehensive review of state-of-the-art research outcomes. What's more, we
focus on emerging topics and discuss open challenges, providing valuable
insights into future directions for LLM-based_dialogue_systems. Through this
exploration, we pave the way for a deeper_comprehension of the evolution,
guiding future developments in LM-based dialogue_systems.
- Abstract（参考訳）: タスク指向_dialogue_system (TOD) やopen- domain_dialogue_system (ODD) などの対話システムは、言語モデル (LM) が中心的な役割を担っている。
この調査は、対話システムの歴史的軌跡を解明し、その進化を4つの異なる段階に分類することで、言語モデルの進歩と複雑な関係を解明した。
1)アーリーステージ:統計的lmsによって特徴づけられ、ルールベースまたは機械学習駆動の対話_systemsとなる。
2)NLMのパラメータに固有の知識がないため,Nural_lang_models(NLM,LSTM,GRU)に基づくTODおよびODDの独立開発
3) 4_sub-tasks_within_TODとTOD_within_ODDの融合から始まるPLM(pre-trained_lang_models)の広告付き対話システム間の融合
4)現在のLLMベースの_dialogue_systemでは、TODおよびODDをシームレスに実行することができる。
そこで本研究では,lmのブレークスルーに沿った時系列的な視点を提供し,最先端の研究成果の総合的なレビューを提供する。
さらに、新しいトピックに注目し、オープンな課題について議論し、LLMベースの_dialogue_systemsの今後の方向性について貴重な洞察を提供する。
この調査を通じて,lmベースの対話システムにおける今後の発展を導く,進化の深い_理解への道を開く。
関連論文リスト
- A Philosophical Introduction to Language Models - Part II: The Way Forward [0.0]
大規模言語モデル(LLM)の最近の進歩によって提起された新しい哲学的問題について考察する。
我々は特に,LLMの内部表現と計算の性質に関する因果介入手法の証拠を検証し,解釈可能性に関する問題に焦点をあてる。
建築的特徴や学習シナリオが適切に制約されている場合、LLMのようなシステムが人間の認知のモデル化に関係があるかどうかを論じる。
論文 参考訳（メタデータ） (2024-05-06T07:12:45Z) - Simulating Task-Oriented Dialogues with State Transition Graphs and Large Language Models [16.94819621353007]
SynTODは、エンドツーエンドのタスク指向対話(TOD)システムを開発するための新しい合成データ生成手法である。
大規模言語モデルを用いたランダムウォークと応答シミュレーションにより多様な構造化された会話を生成する。
実験では,グラフ誘導応答シミュレーションを用いて意図分類,スロット充填,応答関連性を大幅に改善した。
論文 参考訳（メタデータ） (2024-04-23T06:23:34Z) - A Survey on Recent Advances in LLM-Based Multi-turn Dialogue Systems [12.999001024463453]
本稿では,既存のLLMの概要と,下流タスクにLLMを適用するためのアプローチを提案する。
LLMベースのオープンドメイン対話(ODD)とタスク指向対話(TOD)の両方をカバーするマルチターン対話システムにおける最近の進歩を詳述する。
論文 参考訳（メタデータ） (2024-02-28T03:16:44Z) - DIALIGHT: Lightweight Multilingual Development and Evaluation of
Task-Oriented Dialogue Systems with Large Language Models [76.79929883963275]
DIALIGHTは多言語タスク指向対話(ToD)システムの開発と評価のためのツールキットである。
ローカル発話レベルとグローバル対話レベルの両方において、人間のきめ細かい評価のためのセキュアでユーザフレンドリーなWebインターフェースを備えている。
評価の結果, PLMの微調整により精度とコヒーレンスが向上する一方, LLMベースのシステムは多様で類似した応答を生成するのに優れていた。
論文 参考訳（メタデータ） (2024-01-04T11:27:48Z) - Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。
自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。
このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
論文 参考訳（メタデータ） (2023-10-10T03:06:38Z) - Prompting and Evaluating Large Language Models for Proactive Dialogues:
Clarification, Target-guided, and Non-collaboration [72.04629217161656]
本研究は, 明瞭化, 目標誘導, 非協調対話の3つの側面に焦点をあてる。
LLMの能動性を高めるために,プロアクティブ・チェーン・オブ・ソート・プロンプト方式を提案する。
論文 参考訳（メタデータ） (2023-05-23T02:49:35Z) - A Mixture-of-Expert Approach to RL-based Dialogue Management [56.08449336469477]
我々は、強化学習を用いて、近視性(一般的な発話の出力)を回避し、全体的なユーザ満足度を最大化する対話エージェントを開発する。
既存のRLアプローチのほとんどは、単語レベルでエージェントを訓練するので、中規模の語彙であっても、非常に複雑なアクション空間を扱う必要がある。
i)会話履歴の多様な意味を学習できるLMと、(ii)対応する発話を生成できる専門的なLM(または専門家)からなる、新しい専門家言語モデル(MoE-LM)を用いたRLベースのDMを開発する。
論文 参考訳（メタデータ） (2022-05-31T19:00:41Z) - Back to the Future: Bidirectional Information Decoupling Network for
Multi-turn Dialogue Modeling [80.51094098799736]
ユニバーサル対話エンコーダとして双方向情報デカップリングネットワーク(BiDeN)を提案する。
BiDeNは過去と将来の両方のコンテキストを明示的に取り入れており、幅広い対話関連のタスクに一般化することができる。
異なる下流タスクのデータセットに対する実験結果は、我々のBiDeNの普遍性と有効性を示している。
論文 参考訳（メタデータ） (2022-04-18T03:51:46Z) - Cross-Lingual Dialogue Dataset Creation via Outline-Based Generation [70.81596088969378]
言語間アウトラインに基づく対話データセット(COD)は、自然言語の理解を可能にする。
CODは、4つの異なる言語で対話状態の追跡とエンドツーエンドの対話モデリングと評価を可能にする。
論文 参考訳（メタデータ） (2022-01-31T18:11:21Z) - Robustness Testing of Language Understanding in Dialog Systems [33.30143655553583]
自然言語理解モデルの頑健性に関して総合的な評価と分析を行う。
本稿では,実世界の対話システムにおける言語理解に関連する3つの重要な側面,すなわち言語多様性,音声特性,雑音摂動について紹介する。
対話システムにおける堅牢性問題をテストするための自然摂動を近似するモデル非依存型ツールキットLAUGを提案する。
論文 参考訳（メタデータ） (2020-12-30T18:18:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。