論文の概要: One Stone, Four Birds: A Comprehensive Solution for QA System Using Supervised Contrastive Learning
- arxiv url: http://arxiv.org/abs/2407.09011v1
- Date: Fri, 12 Jul 2024 06:01:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 00:36:46.065043
- Title: One Stone, Four Birds: A Comprehensive Solution for QA System Using Supervised Contrastive Learning
- Title（参考訳）: 1羽, 4羽の鳥:教師付きコントラスト学習を用いたQAシステムの総合的解法
- Authors: Bo Wang, Tsunenori Mine,
- Abstract要約: 本稿では,教師付きコントラスト学習(SCL)による質問応答システム(QA)の堅牢性と効率を高めるための,新しい総合的ソリューションを提案する。
ユーザ入力意図分類、ドメイン外入力検出、新しい意図発見、継続学習の4つの重要なタスクを定義した。
下流タスクに最小限のチューニングを加えることで、モデル効率を大幅に改善し、すべてのタスクにまたがる新しい最先端のパフォーマンスを実現する。
- 参考スコア（独自算出の注目度）: 3.6790609942543187
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a novel and comprehensive solution to enhance both the robustness and efficiency of question answering (QA) systems through supervised contrastive learning (SCL). Training a high-performance QA system has become straightforward with pre-trained language models, requiring only a small amount of data and simple fine-tuning. However, despite recent advances, existing QA systems still exhibit significant deficiencies in functionality and training efficiency. We address the functionality issue by defining four key tasks: user input intent classification, out-of-domain input detection, new intent discovery, and continual learning. We then leverage a unified SCL-based representation learning method to efficiently build an intra-class compact and inter-class scattered feature space, facilitating both known intent classification and unknown intent detection and discovery. Consequently, with minimal additional tuning on downstream tasks, our approach significantly improves model efficiency and achieves new state-of-the-art performance across all tasks.
- Abstract（参考訳）: 本稿では,教師付きコントラスト学習(SCL)による質問応答(QA)システムの堅牢性と効率性を両立させる,新しい総合的ソリューションを提案する。
事前訓練された言語モデルでは、少量のデータと単純な微調整を必要とせず、高性能なQAシステムのトレーニングが簡単になっている。
しかし、近年の進歩にもかかわらず、既存のQAシステムは機能や訓練効率に重大な欠陥をみせている。
ユーザ入力意図分類、ドメイン外入力検出、新しい意図発見、継続学習の4つの重要なタスクを定義することで、機能問題に対処する。
次に,SCLをベースとした表現学習手法を活用し,クラス内およびクラス間分散特徴空間を効率的に構築し,既知の意図分類と未知の意図検出と発見を容易にする。
その結果、下流タスクに最小限のチューニングを施すことで、モデル効率を大幅に改善し、全てのタスクにまたがる新しい最先端パフォーマンスを実現することができる。
関連論文リスト
- Beyond Prompt Learning: Continual Adapter for Efficient Rehearsal-Free Continual Learning [22.13331870720021]
C-ADA (Continuous Adapter) という,RFCL タスクに対する超高速学習手法を提案する。
C-ADAは、CALの特定の重みを柔軟に拡張し、各タスクの新たな知識を学び、古い重みを凍結して以前の知識を保存する。
提案手法は,現状のSOTA(State-of-the-art)法よりも優れ,性能とトレーニング速度を大幅に向上させる。
論文 参考訳（メタデータ） (2024-07-14T17:40:40Z) - Multi-agent Reinforcement Learning-based Network Intrusion Detection System [3.4636217357968904]
侵入検知システム(IDS)は,コンピュータネットワークのセキュリティ確保において重要な役割を担っている。
本稿では,自動,効率的,堅牢なネットワーク侵入検出が可能な,新しいマルチエージェント強化学習(RL)アーキテクチャを提案する。
我々のソリューションは、新しい攻撃の追加に対応し、既存の攻撃パターンの変更に効果的に適応するように設計されたレジリエントなアーキテクチャを導入します。
論文 参考訳（メタデータ） (2024-07-08T09:18:59Z) - Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。
アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。
ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文 参考訳（メタデータ） (2024-05-23T08:43:09Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - Neural Weight Search for Scalable Task Incremental Learning [6.413209417643468]
タスクインクリメンタル学習は,新たなタスクを学習しながら,それまでの学習したタスクのパフォーマンスを維持することを目的として,破滅的な忘れを解消する。
有望なアプローチの1つは、将来のタスクのために個々のネットワークやサブネットワークを構築することである。
これにより、新しいタスクに対する余分な負担を省き、この問題に対処する方法がタスクインクリメンタルな学習においてオープンな問題として残されているため、メモリの増大が続く。
論文 参考訳（メタデータ） (2022-11-24T23:30:23Z) - Contextual Squeeze-and-Excitation for Efficient Few-Shot Image
Classification [57.36281142038042]
本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。
また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
論文 参考訳（メタデータ） (2022-06-20T15:25:08Z) - An Evolutionary Approach to Dynamic Introduction of Tasks in Large-scale
Multitask Learning Systems [4.675744559395732]
マルチタスク学習は、複数のタスクから学習できるモデルが知識伝達によってより良い品質と効率を達成すると仮定する。
最先端のMLモデルは、タスクごとに高いカスタマイズに依存し、タスクの数をスケールするのではなく、サイズとデータスケールを活用する。
本稿では,大規模マルチタスクモデルを生成でき,新しいタスクの動的かつ連続的な追加を支援する進化的手法を提案する。
論文 参考訳（メタデータ） (2022-05-25T13:10:47Z) - Continual Object Detection via Prototypical Task Correlation Guided
Gating Mechanism [120.1998866178014]
pRotOtypeal taSk corrElaTion guided gaTingAnism (ROSETTA)による連続物体検出のためのフレキシブルなフレームワークを提案する。
具体的には、統一されたフレームワークはすべてのタスクで共有され、タスク対応ゲートは特定のタスクのサブモデルを自動的に選択するために導入されます。
COCO-VOC、KITTI-Kitchen、VOCのクラスインクリメンタル検出、および4つのタスクの逐次学習の実験により、ROSETTAが最先端のパフォーマンスを得ることが示された。
論文 参考訳（メタデータ） (2022-05-06T07:31:28Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳（メタデータ） (2020-12-31T08:21:37Z) - One-Shot Object Detection without Fine-Tuning [62.39210447209698]
本稿では,第1ステージのMatching-FCOSネットワークと第2ステージのStructure-Aware Relation Moduleからなる2段階モデルを提案する。
また,検出性能を効果的に向上する新たなトレーニング戦略を提案する。
提案手法は,複数のデータセット上で一貫した最先端のワンショット性能を上回る。
論文 参考訳（メタデータ） (2020-05-08T01:59:23Z) - Incremental Object Detection via Meta-Learning [77.55310507917012]
本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。
既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
論文 参考訳（メタデータ） (2020-03-17T13:40:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。