論文の概要: LARA: Linguistic-Adaptive Retrieval-Augmented LLMs for Multi-Turn Intent Classification

• arxiv url: http://arxiv.org/abs/2403.16504v1
• Date: Mon, 25 Mar 2024 07:38:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 15:37:57.107630
• Title: LARA: Linguistic-Adaptive Retrieval-Augmented LLMs for Multi-Turn Intent Classification
• Title（参考訳）: LARA:多段階インテント分類のための言語適応型検索型LLM
• Authors: Liu Junhua, Tan Yong Keat, Fu Bin,
• Abstract要約: LARA(Linguistic-Adaptive Retrieval-Augmented Language Models)を導入し、6言語にわたるマルチターン分類タスクの精度を向上させる。 LARAは、微調整された小さなモデルと検索拡張機構を組み合わせることで、大きな言語モデルのアーキテクチャに組み込まれる。 総合的な実験により、LARAはマルチターン意図分類タスクにおいて最先端のパフォーマンスを達成し、既存の手法と比較して平均精度を3.67%向上することを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Following the significant achievements of large language models (LLMs), researchers have employed in-context learning for text classification tasks. However, these studies focused on monolingual, single-turn classification tasks. In this paper, we introduce LARA (Linguistic-Adaptive Retrieval-Augmented Language Models), designed to enhance accuracy in multi-turn classification tasks across six languages, accommodating numerous intents in chatbot interactions. Multi-turn intent classification is notably challenging due to the complexity and evolving nature of conversational contexts. LARA tackles these issues by combining a fine-tuned smaller model with a retrieval-augmented mechanism, integrated within the architecture of LLMs. This integration allows LARA to dynamically utilize past dialogues and relevant intents, thereby improving the understanding of the context. Furthermore, our adaptive retrieval techniques bolster the cross-lingual capabilities of LLMs without extensive retraining and fine-tune. Comprehensive experiments demonstrate that LARA achieves state-of-the-art performance on multi-turn intent classification tasks, enhancing the average accuracy by 3.67% compared to existing methods.
• Abstract（参考訳）: 大規模言語モデル(LLM)の重要な成果に続き、研究者はテキスト分類タスクにコンテキスト内学習を採用している。 しかし、これらの研究は単言語、単旋律の分類タスクに焦点をあてた。 本稿では,LARA(Linguistic-Adaptive Retrieval-Augmented Language Models)を提案する。 会話コンテキストの複雑さと進化の性質のため、多ターン意図分類は特に困難である。 LARAは、細調整された小さなモデルと、LLMのアーキテクチャに組み込まれた検索拡張機構を組み合わせることで、これらの問題に対処する。 この統合により、LARAは過去の対話や関連する意図を動的に活用し、コンテキストの理解を改善することができる。 さらに, 適応検索技術により, LLMの言語横断能力が向上し, 広範囲なリトレーニングや微調整が不要となった。 総合的な実験により、LARAはマルチターン意図分類タスクにおいて最先端のパフォーマンスを達成し、既存の手法と比較して平均精度を3.67%向上することを示した。

関連論文リスト

• Intent-Aware Dialogue Generation and Multi-Task Contrastive Learning for Multi-Turn Intent Classification [6.459396785817196]
  Chain-of-Intentは、セルフプレイを通じて意図駆動の会話を生成する。 MINT-CLはマルチタスクコントラスト学習を用いたマルチターンインテント分類のためのフレームワークである。 MINT-Eは多言語対応のマルチターンeコマース対話コーパスである。
  論文  参考訳（メタデータ） (2024-11-21T15:59:29Z)
• Balancing Accuracy and Efficiency in Multi-Turn Intent Classification for LLM-Powered Dialog Systems in Production [6.459396785817196]
  本稿では,本システムにおけるスケーラビリティ向上と遅延低減のための新しい2つのアプローチを提案する。 まず,タスクの複雑さを低減し,マルチターン対話におけるパフォーマンスを向上させるために,意図ラベルを簡略化するシンボリックチューニングを提案する。 第2に,データ拡張と擬似ラベル作成にLLMを用いるフレームワークであるC-LARAを提案する。
  論文  参考訳（メタデータ） (2024-11-19T07:48:35Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。 既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models [56.25156596019168]
  本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。 我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
  論文  参考訳（メタデータ） (2023-11-30T03:59:31Z)
• From Classification to Generation: Insights into Crosslingual Retrieval Augmented ICL [8.065775937617417]
  クロスランガル検索強化インコンテキスト学習(CREA-ICL)を利用した新しい手法を提案する。 高ソース言語から意味論的に類似したプロンプトを抽出することにより、多言語事前学習言語モデル(MPLM)のゼロショット性能の向上を目指す。 我々の手法は分類タスクを着実に改善するが、生成タスクでは課題に直面している。
  論文  参考訳（メタデータ） (2023-11-11T15:40:21Z)
• Efficient Spoken Language Recognition via Multilabel Classification [53.662747523872305]
  我々のモデルは,現在の最先端手法よりも桁違いに小さく,高速でありながら,競争力のある結果が得られることを示す。 我々のマルチラベル戦略は、マルチクラス分類よりも非ターゲット言語の方が堅牢である。
  論文  参考訳（メタデータ） (2023-06-02T23:04:19Z)
• A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference [54.678516076366506]
  自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。 本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-31T05:54:18Z)
• Multilingual Speech Recognition using Knowledge Transfer across Learning Processes [15.927513451432946]
  実験結果から,WER全体の3.55%の相対的な減少が得られた。 LEAPとSSLの組み合わせにより、言語IDを使用する場合、WER全体の3.51%が相対的に減少する。
  論文  参考訳（メタデータ） (2021-10-15T07:50:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。