論文の概要: HierarchicalContrast: A Coarse-to-Fine Contrastive Learning Framework
for Cross-Domain Zero-Shot Slot Filling
- arxiv url: http://arxiv.org/abs/2310.09135v2
- Date: Fri, 20 Oct 2023 11:29:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 02:27:56.486538
- Title: HierarchicalContrast: A Coarse-to-Fine Contrastive Learning Framework
for Cross-Domain Zero-Shot Slot Filling
- Title（参考訳）: HierarchicalContrast: クロスドメインゼロショットスロット充足のための粗大な相互比較学習フレームワーク
- Authors: Junwen Zhang and Yin Zhang
- Abstract要約: ドメイン間のゼロショットスロットフィリングは、モデルを学ぶためにソースドメイン知識を活用する上で重要な役割を果たす。
既存のゼロショットスロット充填法では、ターゲット領域での一般化能力が制限されている。
ゼロショットスロットフィリングのための新しい階層型コントラスト学習フレームワーク(HiCL)を提案する。
- 参考スコア（独自算出の注目度）: 4.1940152307593515
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In task-oriented dialogue scenarios, cross-domain zero-shot slot filling
plays a vital role in leveraging source domain knowledge to learn a model with
high generalization ability in unknown target domain where annotated data is
unavailable. However, the existing state-of-the-art zero-shot slot filling
methods have limited generalization ability in target domain, they only show
effective knowledge transfer on seen slots and perform poorly on unseen slots.
To alleviate this issue, we present a novel Hierarchical Contrastive Learning
Framework (HiCL) for zero-shot slot filling. Specifically, we propose a coarse-
to fine-grained contrastive learning based on Gaussian-distributed embedding to
learn the generalized deep semantic relations between utterance-tokens, by
optimizing inter- and intra-token distribution distance. This encourages HiCL
to generalize to the slot types unseen at training phase. Furthermore, we
present a new iterative label set semantics inference method to unbiasedly and
separately evaluate the performance of unseen slot types which entangled with
their counterparts (i.e., seen slot types) in the previous zero-shot slot
filling evaluation methods. The extensive empirical experiments on four
datasets demonstrate that the proposed method achieves comparable or even
better performance than the current state-of-the-art zero-shot slot filling
approaches.
- Abstract（参考訳）: タスク指向の対話シナリオでは、アノテートされたデータが利用できない未知のターゲットドメインにおいて、ソースドメイン知識を活用する上で、クロスドメインゼロショットスロットフィリングが重要な役割を果たす。
しかし、既存のゼロショットスロットフィリング手法はターゲット領域での一般化能力が限られており、参照スロット上では効果的な知識伝達しか示さず、未確認スロットでは性能が悪い。
そこで本研究では,ゼロショットスロット充填のための階層型コントラスト学習フレームワーク(hicl)を提案する。
具体的には,ガウス分布埋め込みに基づく粗粒度コントラスト学習を提案し,声道間および声道内分布距離を最適化することにより,発話音間の一般化した深い意味関係を学習する。
これにより、HiCLはトレーニング段階で見えないスロットタイプに一般化する。
さらに,前回のゼロショットスロット充填評価法において,対応するスロットタイプ(つまりスロットタイプ)と絡み合った未検出スロット型の性能を偏りなく別々に評価する,新しい反復ラベルセット意味論推定法を提案する。
4つのデータセットに対する広範な実験実験により、提案手法は現在の最先端ゼロショットスロットフィリング手法と同等あるいはそれ以上の性能を達成することを示した。
関連論文リスト
- Adaptive End-to-End Metric Learning for Zero-Shot Cross-Domain Slot
Filling [2.6056468338837457]
スロットフィリングは、トレーニング中にサンプルを見ることのない新しいドメインを扱う上で重要な課題である。
ほとんどの先行研究は、メートル法学習に基づく2パスパイプライン方式でこの問題に対処している。
そこで本研究では,ゼロショットスロットの補充に挑戦する手法として,適応的なエンドツーエンドの計量学習手法を提案する。
論文 参考訳（メタデータ） (2023-10-23T19:01:16Z) - Slot Induction via Pre-trained Language Model Probing and Multi-level
Contrastive Learning [62.839109775887025]
トークンレベルのスロットアノテーションの明示的な知識なしでスロット境界を誘導することを目的としたスロットインジェクション(SI)タスク。
PLMから抽出した教師なし意味知識を活用するために、教師なし事前学習言語モデル(PLM)探索とコントラスト学習機構を活用することを提案する。
提案手法は,2つのNLUベンチマークデータセット上でトークンレベルの教師付きモデルとのギャップを埋めることができ,SIタスクに有効であることが示されている。
論文 参考訳（メタデータ） (2023-08-09T05:08:57Z) - Generative Zero-Shot Prompt Learning for Cross-Domain Slot Filling with
Inverse Prompting [27.186526104248696]
クロスドメインスロットフィリングは、ラベル付きドメインからラベルなしのターゲットドメインに知識を転送することを目的としている。
クロスドメインスロットフィリングのための生成ゼロショットプロンプト学習フレームワークを提案する。
実験と分析により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2023-07-06T07:53:46Z) - Robust Saliency-Aware Distillation for Few-shot Fine-grained Visual
Recognition [57.08108545219043]
サンプルが少ない新しいサブカテゴリを認識することは、コンピュータビジョンにおいて不可欠で挑戦的な研究課題である。
既存の文献は、ローカルベースの表現アプローチを採用することでこの問題に対処している。
本稿では,ロバスト・サリエンシ・アウェア蒸留法(RSaD)を提案する。
論文 参考訳（メタデータ） (2023-05-12T00:13:17Z) - Few-Shot Point Cloud Semantic Segmentation via Contrastive
Self-Supervision and Multi-Resolution Attention [6.350163959194903]
数発の学習事前学習のための対照的な自己超越フレームワークを提案する。
具体的には、3Dポイントクラウドのための学習可能な拡張子を用いて、新しいコントラスト学習アプローチを実装した。
最接近点と最遠点の両方を用いて多分解能アテンションモジュールを開発し,局所点と大域点の情報をより効率的に抽出する。
論文 参考訳（メタデータ） (2023-02-21T07:59:31Z) - Bridge to Target Domain by Prototypical Contrastive Learning and Label
Confusion: Re-explore Zero-Shot Learning for Slot Filling [18.19818129121059]
クロスドメインスロットフィリングは、ターゲットドメインでデータ不足が発生した場合のデータ依存を軽減する。
ゼロショットスロットフィリングのための動的ラベル混乱戦略を用いた,プロトタイプ型コントラスト学習に基づく新しい手法を提案する。
本モデルでは,未確認スロットの大幅な改善に加えて,スロット充足タスクに新たな最先端技術を設定する。
論文 参考訳（メタデータ） (2021-10-07T15:50:56Z) - Leveraging Slot Descriptions for Zero-Shot Cross-Domain Dialogue State
Tracking [50.04597636485369]
ゼロショットクロスドメイン状態追跡(DST)により、ドメイン内のデータを収集することなく、未確認領域でのタスク指向対話を処理できる。
ゼロショットクロスドメインDSTのためのスロット記述拡張生成手法を提案する。
論文 参考訳（メタデータ） (2021-05-10T09:34:01Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳（メタデータ） (2020-10-09T15:42:35Z) - Coach: A Coarse-to-Fine Approach for Cross-domain Slot Filling [65.09621991654745]
クロスドメインスロットフィリングはタスク指向ダイアログシステムにおいて重要なタスクである。
クロスドメインスロットフィリングのための粗粒度アプローチ(Coach)を提案する。
実験結果から,本モデルはスロット充填における最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2020-04-24T13:07:12Z) - Generalized Zero-Shot Learning Via Over-Complete Distribution [79.5140590952889]
そこで本稿では,CVAE (Conditional Variational Autoencoder) を用いたOCD(Over-Complete Distribution) の生成を提案する。
フレームワークの有効性は,Zero-Shot LearningプロトコルとGeneralized Zero-Shot Learningプロトコルの両方を用いて評価する。
論文 参考訳（メタデータ） (2020-04-01T19:05:28Z) - From Anchor Generation to Distribution Alignment: Learning a
Discriminative Embedding Space for Zero-Shot Recognition [46.47620562161315]
ゼロショット学習(ZSL)では、分類されるサンプルは通常、属性などのサイド情報テンプレートに投影される。
我々は,DAGDA(Distriminative Anchor Generation and Distribution Alignment Model)と呼ばれる新しいフレームワークを提案する。
まず, 拡散型グラフ畳み込みネットワークを用いて, クラス情報と側情報の相互作用を明示的にモデル化し, 識別的アンカーを生成する手法を提案する。
第二に、アンカー空間におけるサンプルと対応するアンカーとをさらに整合させるため、細粒度に分布を洗練させることを目的として、意味的関係正則化を導入する。
論文 参考訳（メタデータ） (2020-02-10T05:25:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。