Fugu-MT 論文翻訳(概要): Efficient Intent-Based Filtering for Multi-Party Conversations Using Knowledge Distillation from LLMs

論文の概要: Efficient Intent-Based Filtering for Multi-Party Conversations Using Knowledge Distillation from LLMs

arxiv url: http://arxiv.org/abs/2503.17336v1
Date: Fri, 21 Mar 2025 17:34:37 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-24 14:58:30.563003
Title: Efficient Intent-Based Filtering for Multi-Party Conversations Using Knowledge Distillation from LLMs
Title（参考訳）: LLMの知識蒸留を用いた多人数会話のための効率的なインテントベースフィルタリング
Authors: Reem Gody, Mohamed Abdelghaffar, Mohammed Jabreel, Ahmed Tawfik,
Abstract要約: 大規模言語モデル(LLM)は、対話型AIにおいて顕著な能力を示した。これらのモデルはリソース集約型であり、かなりのメモリと計算能力を必要とする。そこで本稿では,LLM処理における関心の会話スニペットを,対象の下流アプリケーションに合わせてフィルタする,コスト効率のよいソリューションを提案する。
参考スコア（独自算出の注目度）: 0.3249879651054463
License:
Abstract: Large language models (LLMs) have showcased remarkable capabilities in conversational AI, enabling open-domain responses in chat-bots, as well as advanced processing of conversations like summarization, intent classification, and insights generation. However, these models are resource-intensive, demanding substantial memory and computational power. To address this, we propose a cost-effective solution that filters conversational snippets of interest for LLM processing, tailored to the target downstream application, rather than processing every snippet. In this work, we introduce an innovative approach that leverages knowledge distillation from LLMs to develop an intent-based filter for multi-party conversations, optimized for compute power constrained environments. Our method combines different strategies to create a diverse multi-party conversational dataset, that is annotated with the target intents and is then used to fine-tune the MobileBERT model for multi-label intent classification. This model achieves a balance between efficiency and performance, effectively filtering conversation snippets based on their intents. By passing only the relevant snippets to the LLM for further processing, our approach significantly reduces overall operational costs depending on the intents and the data distribution as demonstrated in our experiments.
Abstract（参考訳）: 大規模言語モデル(LLM)は、チャットボットでのオープンドメイン応答や、要約、意図分類、洞察生成といった会話の高度な処理を可能にする、会話型AIにおける顕著な機能を示している。しかし、これらのモデルはリソース集約型であり、かなりのメモリと計算能力を必要とする。そこで本稿では,LLM処理における関心の会話スニペットを,すべてのスニペットを処理するのではなく,対象の下流アプリケーションに合わせてフィルタする,コスト効率のよいソリューションを提案する。本研究では, LLMの知識蒸留を利用して, 計算パワー制約環境に最適化された多人数会話のためのインテントベースフィルタを開発する, 革新的な手法を提案する。提案手法は,対象意図にアノテートされた多人数会話データセットを作成し,マルチラベル意図分類のためのMobileBERTモデルを微調整する。このモデルは効率と性能のバランスを保ち、意図に基づいて会話スニペットを効果的にフィルタリングする。さらなる処理のために,関連するスニペットのみをLLMに渡すことで,本実験で実証した意図やデータ分布に応じて,全体の運用コストを大幅に削減する。

関連論文リスト

Intent-Aware Dialogue Generation and Multi-Task Contrastive Learning for Multi-Turn Intent Classification [6.459396785817196]
Chain-of-Intentは、セルフプレイを通じて意図駆動の会話を生成する。 MINT-CLはマルチタスクコントラスト学習を用いたマルチターンインテント分類のためのフレームワークである。 MINT-Eは多言語対応のマルチターンeコマース対話コーパスである。
論文参考訳（メタデータ） (2024-11-21T15:59:29Z)
RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
近年,MLLM (Multimodal Large Language Models) が注目されている。検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
論文参考訳（メタデータ） (2024-10-18T03:45:19Z)
QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
論文参考訳（メタデータ） (2024-08-20T03:06:48Z)
FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-08-15T16:45:16Z)
Fine-tuning Multimodal Large Language Models for Product Bundling [53.01642741096356]
Bundle-MLLMは,大規模言語モデル(LLM)をハイブリットアイテムトークン化アプローチにより微調整する新しいフレームワークである。具体的には、テキスト、メディア、およびリレーショナルデータを統一トークン化に統合し、テキストトークンと非テキストトークンを区別するソフトな分離トークンを導入する。 1)バンドルパターンを学習し,2)製品バンドル固有のマルチモーダルセマンティック理解の強化を行う。
論文参考訳（メタデータ） (2024-07-16T13:30:14Z)
Sub-goal Distillation: A Method to Improve Small Language Agents [21.815417165548187]
大規模言語モデル(LLM)は対話型タスクにおけるエージェントとして大きな可能性を証明している。数十億のパラメータを持つLLMの性能を、はるかに小さな言語モデルに転送する手法を提案する。困難かつマルチタスクな対話型テキスト環境であるScienceWorldでは,基本動作のみに基づく標準的な模倣学習を16.7%超えている。
論文参考訳（メタデータ） (2024-05-04T20:34:06Z)
Adapting LLMs for Efficient, Personalized Information Retrieval: Methods and Implications [0.7832189413179361]
LLM(Large Language Models)は、人間に似たテキストの理解と生成に優れた言語モデルである。本稿では,言語モデル(LLM)と情報検索(IR)システムの統合戦略について検討する。
論文参考訳（メタデータ） (2023-11-21T02:01:01Z)
Zero-Shot Goal-Directed Dialogue via RL on Imagined Conversations [70.7884839812069]
大規模言語モデル(LLM)は、多くの自然言語タスクに対する強力で一般的な解決策として登場した。しかしながら、言語生成の最も重要なアプリケーションの多くは対話的であり、エージェントは望ましい結果に達するために相手と話し合わなければならない。本研究では,そのような目標指向対話に対して,RLでLLMを適応させる新しい手法について検討する。
論文参考訳（メタデータ） (2023-11-09T18:45:16Z)
OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文参考訳（メタデータ） (2023-05-24T10:08:04Z)
Dialog Intent Induction via Density-based Deep Clustering Ensemble [12.05997006407326]
リアルタイムアプリケーションでは,会話ログから新たな対話意図を誘導し,ユーザエクスペリエンスを向上させることが重要である。ダイアログ意図誘導のための密度ベースDeep Clustering Ensemble (DDCE) 手法を提案する。提案手法は,多数の外れ値が存在する実生活シナリオの処理に有効である。
論文参考訳（メタデータ） (2022-01-18T04:13:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。