論文の概要: IDALC: A Semi-Supervised Framework for Intent Detection and Active Learning based Correction
- arxiv url: http://arxiv.org/abs/2511.05921v1
- Date: Sat, 08 Nov 2025 08:32:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-11 21:18:44.653788
- Title: IDALC: A Semi-Supervised Framework for Intent Detection and Active Learning based Correction
- Title(参考訳): IDALC: インテント検出とアクティブラーニングに基づく補正のための半教師付きフレームワーク
- Authors: Ankan Mullick, Sukannya Purkayastha, Saransh Sharma, Pawan Goyal, Niloy Ganguly,
- Abstract要約: IDALCは、ユーザの意図を検知し、システム削除された発話を修正するための半教師付きフレームワークである。
システムで利用可能なデータの6~10%のコストで、全体的なアノテーションのコストを維持します。
- 参考スコア(独自算出の注目度): 29.961460339925424
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Voice-controlled dialog systems have become immensely popular due to their ability to perform a wide range of actions in response to diverse user queries. These agents possess a predefined set of skills or intents to fulfill specific user tasks. But every system has its own limitations. There are instances where, even for known intents, if any model exhibits low confidence, it results in rejection of utterances that necessitate manual annotation. Additionally, as time progresses, there may be a need to retrain these agents with new intents from the system-rejected queries to carry out additional tasks. Labeling all these emerging intents and rejected utterances over time is impractical, thus calling for an efficient mechanism to reduce annotation costs. In this paper, we introduce IDALC (Intent Detection and Active Learning based Correction), a semi-supervised framework designed to detect user intents and rectify system-rejected utterances while minimizing the need for human annotation. Empirical findings on various benchmark datasets demonstrate that our system surpasses baseline methods, achieving a 5-10% higher accuracy and a 4-8% improvement in macro-F1. Remarkably, we maintain the overall annotation cost at just 6-10% of the unlabelled data available to the system. The overall framework of IDALC is shown in Fig. 1
- Abstract(参考訳): 音声制御ダイアログシステムは、多様なユーザクエリに応答して幅広いアクションを実行することができるため、非常に人気がある。
これらのエージェントは、特定のユーザータスクを達成するための、事前に定義されたスキルや意図を持っている。
しかし、どのシステムにも独自の制限がある。
既知の意図であっても、もしモデルが低信頼を示したとしても、手動のアノテーションを必要とする発話を拒否することがある。
さらに、時間が経つにつれて、追加のタスクを実行するために、システムにリジェクトされたクエリから新しいインテントでこれらのエージェントをリトレーニングする必要があるかもしれない。
これらの出現する意図をラベル付けし、時間の経過とともに発話を拒否することは現実的ではないため、アノテーションのコストを削減するための効率的なメカニズムを要求します。
Intent Detection and Active Learning based Correction, IDALC(Intent Detection and Active Learning based Correction)は、人間のアノテーションの必要性を最小限に抑えつつ、ユーザの意図を検知し、システムから削除された発話を補正する半教師付きフレームワークである。
各種ベンチマークデータセットにおける実験結果から,本システムはベースライン法を超越し,精度が5~10%向上し,マクロF1が4~8%向上したことが明らかとなった。
注目すべきは、システムで利用可能なデータの6~10%のアノテーションコストを維持することです。
IDALCの全体的なフレームワークは図1に示されています。
関連論文リスト
- Scalable and Robust LLM Unlearning by Correcting Responses with Retrieved Exclusions [49.55618517046225]
Webスケールのコーパスリスクを記憶し、センシティブな情報を暴露する言語モデル。
本稿では,新しいアンラーニングフレームワークであるCorrective Unlearning with Retrieved Exclusions (CURE)を提案する。
CUREは、リークのモデル出力を確認し、安全な応答に修正する。
論文 参考訳(メタデータ) (2025-09-30T09:07:45Z) - Fast or Better? Balancing Accuracy and Cost in Retrieval-Augmented Generation with Flexible User Control [52.405085773954596]
Retrieval-Augmented Generationは、大規模な言語モデル幻覚を緩和するための強力なアプローチとして登場した。
既存のRAGフレームワークは、しばしば無差別に検索を適用し、非効率な再検索につながる。
本稿では,精度・コストのトレードオフを動的に調整できる新しいユーザ制御可能なRAGフレームワークを提案する。
論文 参考訳(メタデータ) (2025-02-17T18:56:20Z) - On the Necessity of World Knowledge for Mitigating Missing Labels in Extreme Classification [17.309987565818577]
Extreme Classification (XC) は、クエリを非常に大きなドキュメントセットから最も関連性の高いドキュメントにマッピングすることを目的としている。
我々は、体系的なラベルの欠落が知識の欠如を招き、クエリとドキュメント間の関連性を正確にモデル化するために重要であることを観察する。
SKIMは、小さいLMと豊富な非構造化メタデータの組み合わせを利用して、欠落ラベル問題を効果的に軽減するアルゴリズムである。
論文 参考訳(メタデータ) (2024-08-18T20:08:42Z) - Improved Out-of-Scope Intent Classification with Dual Encoding and Threshold-based Re-Classification [6.975902383951604]
現在の手法は、予測不可能なアウトリーチ分布で困難に直面している。
本稿では,これらの課題に対処するため,Dual for Threshold-Based Re-Classification (DETER)を提案する。
我々のモデルは以前のベンチマークより優れており、未知のインテントに対するF1スコアの13%と5%に向上しています。
論文 参考訳(メタデータ) (2024-05-30T11:46:42Z) - Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。
ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。
具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
論文 参考訳(メタデータ) (2024-03-24T12:41:58Z) - One-bit Supervision for Image Classification: Problem, Solution, and
Beyond [114.95815360508395]
本稿では,ラベルの少ない新しい学習環境である,画像分類のための1ビット監督について述べる。
多段階学習パラダイムを提案し、負ラベル抑圧を半教師付き半教師付き学習アルゴリズムに組み込む。
複数のベンチマークにおいて、提案手法の学習効率は、フルビットの半教師付き監視手法よりも優れている。
論文 参考訳(メタデータ) (2023-11-26T07:39:00Z) - Template-based Approach to Zero-shot Intent Recognition [7.330908962006392]
本稿では、意図認識のための一般化されたゼロショット設定について検討する。
ゼロショットテキスト分類のベストプラクティスに従い、文ペアモデリングアプローチを用いてタスクを扱います。
未確認の意図に対して,従来のf1尺度を最大16%上回りました。
論文 参考訳(メタデータ) (2022-06-22T08:44:59Z) - A Framework to Generate High-Quality Datapoints for Multiple Novel
Intent Detection [24.14668837496296]
MNIDは、予算的な人的アノテーションコストで複数の新しい意図を検出するためのフレームワークである。
精度とF1スコアの点でベースライン法より優れている。
論文 参考訳(メタデータ) (2022-05-04T11:32:15Z) - FLAVA: Find, Localize, Adjust and Verify to Annotate LiDAR-Based Point
Clouds [93.3595555830426]
アノテーションプロセスにおけるヒューマンインタラクションを最小化するための体系的アプローチであるFLAVAを提案する。
具体的には、アノテーションパイプラインを、検索、ローカライズ、調整、検証の4つの部分に分割します。
また,本システムでは,実験結果を伝搬する軽量で効果的な機構を導入することにより,インタラクションの量を大幅に削減する。
論文 参考訳(メタデータ) (2020-11-20T02:22:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。