論文の概要: Balancing Accuracy and Efficiency in Multi-Turn Intent Classification for LLM-Powered Dialog Systems in Production

• arxiv url: http://arxiv.org/abs/2411.12307v1
• Date: Tue, 19 Nov 2024 07:48:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:38:20.959712
• Title: Balancing Accuracy and Efficiency in Multi-Turn Intent Classification for LLM-Powered Dialog Systems in Production
• Title（参考訳）: LLM駆動ダイアログシステムにおけるマルチターンインテント分類におけるバランシング精度と効率性
• Authors: Junhua Liu, Yong Keat Tan, Bin Fu, Kwan Hui Lim,
• Abstract要約: 本稿では,本システムにおけるスケーラビリティ向上と遅延低減のための新しい2つのアプローチを提案する。 まず,タスクの複雑さを低減し,マルチターン対話におけるパフォーマンスを向上させるために,意図ラベルを簡略化するシンボリックチューニングを提案する。 第2に,データ拡張と擬似ラベル作成にLLMを用いるフレームワークであるC-LARAを提案する。
• 参考スコア（独自算出の注目度）: 6.459396785817196
• License:
• Abstract: Accurate multi-turn intent classification is essential for advancing conversational AI systems. However, challenges such as the scarcity of comprehensive datasets and the complexity of contextual dependencies across dialogue turns hinder progress. This paper presents two novel approaches leveraging Large Language Models (LLMs) to enhance scalability and reduce latency in production dialogue systems. First, we introduce Symbol Tuning, which simplifies intent labels to reduce task complexity and improve performance in multi-turn dialogues. Second, we propose C-LARA (Consistency-aware, Linguistics Adaptive Retrieval Augmentation), a framework that employs LLMs for data augmentation and pseudo-labeling to generate synthetic multi-turn dialogues. These enriched datasets are used to fine-tune a small, efficient model suitable for deployment. Experiments conducted on multilingual dialogue datasets demonstrate significant improvements in classification accuracy and resource efficiency. Our methods enhance multi-turn intent classification accuracy by 5.09%, reduce annotation costs by 40%, and enable scalable deployment in low-resource multilingual industrial systems, highlighting their practicality and impact.
• Abstract（参考訳）: 会話型AIシステムの進化には、正確なマルチターンインテント分類が不可欠である。 しかし、包括的なデータセットの不足や対話間のコンテキスト依存の複雑さといった課題は、進歩を妨げる。 本稿では,Large Language Models (LLMs) を利用した拡張性の向上と実運用対話システムのレイテンシ低減のための2つの新しいアプローチを提案する。 まず,タスクの複雑さを低減し,マルチターン対話の性能を向上させるために,意図ラベルを簡略化するシンボルチューニングを提案する。 次に,C-LARA(Consistency-aware, Linguistics Adaptive Retrieval Augmentation)を提案する。 これらの豊富なデータセットは、デプロイメントに適した小型で効率的なモデルを微調整するために使用される。 多言語対話データセットを用いた実験は、分類精度と資源効率を大幅に改善した。 提案手法は,マルチターンインテント分類の精度を5.09%向上し,アノテーションコストを40%削減し,低リソース多言語産業システムへのスケーラブルな展開を可能にした。

関連論文リスト

• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• LARA: Linguistic-Adaptive Retrieval-Augmentation for Multi-Turn Intent Classification [6.459396785817196]
  LARAは言語適応型検索・拡張フレームワークで、6言語にわたるマルチターン分類タスクの精度を高める。 実験により,LARAは多ターン目的分類タスクにおける最先端性能を実現することが示された。
  論文  参考訳（メタデータ） (2024-03-25T07:38:40Z)
• DIALIGHT: Lightweight Multilingual Development and Evaluation of Task-Oriented Dialogue Systems with Large Language Models [76.79929883963275]
  DIALIGHTは多言語タスク指向対話(ToD)システムの開発と評価のためのツールキットである。 ローカル発話レベルとグローバル対話レベルの両方において、人間のきめ細かい評価のためのセキュアでユーザフレンドリーなWebインターフェースを備えている。 評価の結果, PLMの微調整により精度とコヒーレンスが向上する一方, LLMベースのシステムは多様で類似した応答を生成するのに優れていた。
  論文  参考訳（メタデータ） (2024-01-04T11:27:48Z)
• Creating Spoken Dialog Systems in Ultra-Low Resourced Settings [0.0]
  我々はフレミッシュにおける意図分類のための既存の光モデルを構築している。 音声レベルと音声書き起こしレベルという2つのレベルに異なる拡張手法を適用した。 両レベルにおいて、我々のデータ拡張技術は、多くのタスクにおけるモデルパフォーマンスを改善していることがわかった。
  論文  参考訳（メタデータ） (2023-12-11T10:04:05Z)
• LaDA: Latent Dialogue Action For Zero-shot Cross-lingual Neural Network Language Modeling [20.002861239367704]
  言語間適応は限られた資源を持つ音声言語理解システムにおいて有効であることが証明されている。 既存の方法はしばしばインテント検出やスロットフィリングに不満足である。 復号化戦略を最適化するために、潜在対話アクション層が提案されている。
  論文  参考訳（メタデータ） (2023-08-05T15:51:45Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• Quick Starting Dialog Systems with Paraphrase Generation [0.0]
  本稿では,既存の事例からより多くのデータを人工的に生成することで,対話エージェント作成のコストと労力を削減する手法を提案する。 提案手法は,人間の努力がほとんどないダイアログシステムを起動し,実際のエンドユーザーとの対話を可能にするのに十分なレベルの性能を実現する。
  論文  参考訳（メタデータ） (2022-04-06T02:35:59Z)
• Cross-Lingual Dialogue Dataset Creation via Outline-Based Generation [70.81596088969378]
  言語間アウトラインに基づく対話データセット(COD)は、自然言語の理解を可能にする。 CODは、4つの異なる言語で対話状態の追跡とエンドツーエンドの対話モデリングと評価を可能にする。
  論文  参考訳（メタデータ） (2022-01-31T18:11:21Z)
• Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
  言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。 データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。 データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
  論文  参考訳（メタデータ） (2021-11-02T15:48:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。