論文の概要: DemoNSF: A Multi-task Demonstration-based Generative Framework for Noisy
Slot Filling Task
- arxiv url: http://arxiv.org/abs/2310.10169v1
- Date: Mon, 16 Oct 2023 08:16:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 15:50:29.529628
- Title: DemoNSF: A Multi-task Demonstration-based Generative Framework for Noisy
Slot Filling Task
- Title(参考訳): DemoNSF: ノイズの多いスロットフィリングタスクのためのマルチタスクデモベースの生成フレームワーク
- Authors: Guanting Dong, Tingfeng Hui, Zhuoma GongQue, Jinxu Zhao, Daichi Guo,
Gang Zhao, Keqing He, Weiran Xu
- Abstract要約: ノイズの多いスロットフィリングのためのデモベース生成フレームワークDemoNSFを提案する。
具体的には、ノイズ回復(NR)、ランダムマスク(RM)、ハイブリッド識別(HD)の3つのノイズ補助タスクを導入する。
下流のメインタスクでは、学習と推論中にタスク固有の情報と摂動分布を明示的に組み込んだ、生成フレームワークのためのノイズの多い実演構成戦略を設計する。
2つのベンチマークの実験では、DemoNSFはすべてのベースラインメソッドより優れ、強力な一般化を実現している。
- 参考スコア(独自算出の注目度): 22.105151515616363
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, prompt-based generative frameworks have shown impressive
capabilities in sequence labeling tasks. However, in practical dialogue
scenarios, relying solely on simplistic templates and traditional corpora
presents a challenge for these methods in generalizing to unknown input
perturbations. To address this gap, we propose a multi-task demonstration based
generative framework for noisy slot filling, named DemoNSF. Specifically, we
introduce three noisy auxiliary tasks, namely noisy recovery (NR), random mask
(RM), and hybrid discrimination (HD), to implicitly capture semantic structural
information of input perturbations at different granularities. In the
downstream main task, we design a noisy demonstration construction strategy for
the generative framework, which explicitly incorporates task-specific
information and perturbed distribution during training and inference.
Experiments on two benchmarks demonstrate that DemoNSF outperforms all baseline
methods and achieves strong generalization. Further analysis provides empirical
guidance for the practical application of generative frameworks. Our code is
released at https://github.com/dongguanting/Demo-NSF.
- Abstract(参考訳): 近年,シークエンスラベリングタスクにおいて,プロンプトベースの生成フレームワークが目覚ましい機能を示している。
しかし、実際の対話シナリオでは、単純なテンプレートと従来のコーパスのみに頼ることが、これらの手法が未知の入力摂動に一般化する上での課題となる。
このギャップに対処するため,マルチタスクによるノイズの多いスロットフィリングのための生成フレームワークDemoNSFを提案する。
具体的には,ノイズリカバリ (nr), ランダムマスク (rm), ハイブリッド識別 (hd) という3つのノイズ補助タスクを導入し, 異なる粒度における入力摂動の意味的構造情報を暗黙的に捉えた。
下流のメインタスクでは、トレーニングや推論中にタスク固有の情報と摂動分布を明示的に組み込んだ生成フレームワークのためのノイズの多いデモンストレーション構築戦略を設計する。
2つのベンチマークの実験では、DemoNSFはすべてのベースラインメソッドより優れ、強力な一般化を実現している。
さらなる分析は、生成フレームワークの実践的応用のための経験的ガイダンスを提供する。
私たちのコードはhttps://github.com/dongguanting/Demo-NSFで公開されています。
関連論文リスト
- DiffVein: A Unified Diffusion Network for Finger Vein Segmentation and
Authentication [50.017055360261665]
DiffVeinは、静脈分割と認証タスクを同時に処理する統合拡散モデルベースのフレームワークである。
これら2つのブランチ間の機能相互作用を改善するために,2つの特別なモジュールを導入する。
このようにして、我々のフレームワークは拡散とセグメンテーションの埋め込みの間の動的相互作用を可能にする。
論文 参考訳(メタデータ) (2024-02-03T06:49:42Z) - A Multi-Task Semantic Decomposition Framework with Task-specific
Pre-training for Few-Shot NER [26.008350261239617]
マルチタスク・セマンティック・デコンストラクション・フレームワークを提案する。
本稿では,MLM(Demonstration-based Masked Language Modeling)とクラスコントラスト識別(Class Contrastive Discrimination)の2つの新しい事前学習タスクを紹介する。
下流のメインタスクでは,エンティティ分類のための2つの異なるセマンティック情報の統合を容易にするセマンティックデコンポーザリング手法を用いたマルチタスク共同最適化フレームワークを導入する。
論文 参考訳(メタデータ) (2023-08-28T12:46:21Z) - Meta-training with Demonstration Retrieval for Efficient Few-shot
Learning [11.723856248352007]
大規模な言語モデルは、数ショットのNLPタスクで印象的な結果を示す。
これらのモデルはメモリと計算集約である。
本稿では,実演検索によるメタトレーニングを提案する。
論文 参考訳(メタデータ) (2023-06-30T20:16:22Z) - Diffusion Model is an Effective Planner and Data Synthesizer for
Multi-Task Reinforcement Learning [101.66860222415512]
Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。
生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
論文 参考訳(メタデータ) (2023-05-29T05:20:38Z) - An Efficient Membership Inference Attack for the Diffusion Model by
Proximal Initialization [58.88327181933151]
本稿では,効率的なクエリベースのメンバシップ推論攻撃(MIA)を提案する。
実験結果から,提案手法は離散時間と連続時間の両方の拡散モデル上で,2つのクエリで競合性能を達成できることが示唆された。
我々の知る限り、本研究はテキスト音声タスクにおけるMIAへの拡散モデルのロバスト性について初めて研究するものである。
論文 参考訳(メタデータ) (2023-05-26T16:38:48Z) - Unified Demonstration Retriever for In-Context Learning [56.06473069923567]
Unified Demonstration Retriever (textbfUDR)は、幅広いタスクのデモを検索する単一のモデルである。
我々は,高品質な候補を見つけるための反復的なマイニング戦略を備えたマルチタスクリストワイド・トレーニング・フレームワークを提案する。
13のタスクファミリーと複数のデータドメインにわたる30以上のタスクの実験は、UDRがベースラインを大幅に上回っていることを示している。
論文 参考訳(メタデータ) (2023-05-07T16:07:11Z) - InstructionNER: A Multi-Task Instruction-Based Generative Framework for
Few-shot NER [31.32381919473188]
InstructionNERというマルチタスク命令ベースの生成フレームワークを提案する。
具体的には、NERタスクを生成問題として再構成し、タスク固有の命令と回答オプションでソース文を豊かにし、自然言語のエンティティと型を推論する。
実験結果から,本手法は5つのデータセットのベースラインを数ショット設定で一貫的に上回っていることがわかった。
論文 参考訳(メタデータ) (2022-03-08T07:56:36Z) - Demonstration Informed Specification Search [9.03950827864517]
本稿では,時間的タスク仕様(例えばオートマタや時間的論理など)を専門家による実証から学習する際の問題点について考察する。
3つの特徴は, 時間的タスク仕様の学習を困難にしている。(1) 考慮中のタスクの無限個数, (2) タスクのエンコードに必要なメモリの予備的無知,(3) 離散解空間。
本稿では,最大エントロピープランナにブラックボックスアクセスを要求されるアルゴリズム群と,ラベル付き例からタスクサンプリングを行うタスク群であるDemonstration Informed Specification Search (DISS)を提案する。
論文 参考訳(メタデータ) (2021-12-20T19:08:25Z) - Unified Multimodal Pre-training and Prompt-based Tuning for
Vision-Language Understanding and Generation [86.26522210882699]
視覚言語理解と生成のための統一型マルチモーダル事前学習を提案する。
提案したUniVLは、理解タスクと生成タスクの両方を扱うことができる。
実験の結果,同じモデルを用いた場合,理解タスクと生成タスクとの間にはトレードオフがあることが判明した。
論文 参考訳(メタデータ) (2021-12-10T14:59:06Z) - MIST: Multiple Instance Self-Training Framework for Video Anomaly
Detection [76.80153360498797]
タスク固有の識別表現を効率的に洗練するためのマルチインスタンス自己学習フレームワーク(MIST)を開発した。
mistは1)スパース連続サンプリング戦略を適用し,より信頼性の高いクリップレベル擬似ラベルを生成するマルチインスタンス擬似ラベル生成器,2)自己誘導型注意強調特徴エンコーダで構成される。
本手法は,上海技術におけるフレームレベルのAUC 94.83%の取得において,既存の教師付きおよび弱教師付き手法と同等あるいはそれ以上に機能する。
論文 参考訳(メタデータ) (2021-04-04T15:47:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。