論文の概要: Divide, Conquer, and Combine: Mixture of Semantic-Independent Experts
for Zero-Shot Dialogue State Tracking
- arxiv url: http://arxiv.org/abs/2306.00434v1
- Date: Thu, 1 Jun 2023 08:21:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 17:30:26.392870
- Title: Divide, Conquer, and Combine: Mixture of Semantic-Independent Experts
for Zero-Shot Dialogue State Tracking
- Title(参考訳): 分割、征服、結合:ゼロショット対話状態追跡のための意味独立専門家の混合
- Authors: Qingyue Wang, Liang Ding, Yanan Cao, Yibing Zhan, Zheng Lin, Shi Wang,
Dacheng Tao and Li Guo
- Abstract要約: 対話状態追跡(DST)のためのゼロショット転送学習は、ドメイン内のデータを収集するコストを伴わずに、様々なタスク指向の対話ドメインを扱うのに役立つ。
既存の研究は主に一般化を強化するために、一般的なデータまたはモデルレベルの拡張方法を研究する。
我々は、見られているデータのセマンティクスを明示的に切り離す、単純で効果的な「分割、征服、結合」ソリューションを提案する。
- 参考スコア(独自算出の注目度): 83.40120598637665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Zero-shot transfer learning for Dialogue State Tracking (DST) helps to handle
a variety of task-oriented dialogue domains without the cost of collecting
in-domain data. Existing works mainly study common data- or model-level
augmentation methods to enhance the generalization but fail to effectively
decouple the semantics of samples, limiting the zero-shot performance of DST.
In this paper, we present a simple and effective "divide, conquer and combine"
solution, which explicitly disentangles the semantics of seen data, and
leverages the performance and robustness with the mixture-of-experts mechanism.
Specifically, we divide the seen data into semantically independent subsets and
train corresponding experts, the newly unseen samples are mapped and inferred
with mixture-of-experts with our designed ensemble inference. Extensive
experiments on MultiWOZ2.1 upon the T5-Adapter show our schema significantly
and consistently improves the zero-shot performance, achieving the SOTA on
settings without external knowledge, with only 10M trainable parameters1.
- Abstract(参考訳): 対話状態追跡(DST)のためのゼロショット転送学習は、ドメイン内のデータを集めるコストを伴わずに、様々なタスク指向の対話ドメインを扱うのに役立つ。
既存の研究は主に、一般化を強化するために一般的なデータやモデルレベルの拡張方法を研究するが、サンプルのセマンティクスを効果的に分離することができず、DSTのゼロショット性能を制限している。
本稿では,参照データのセマンティクスを明示的に分離し,その性能とロバスト性を活用する,シンプルで効果的な「分割,征服,結合」ソリューションを提案する。
具体的には、得られたデータを意味的に独立したサブセットに分割し、対応する専門家を訓練する。
T5-Adapter上でのMultiWOZ2.1の大規模な実験により、我々のスキーマは、外部知識のない設定でSOTAを10Mのトレーニング可能なパラメータで達成し、ゼロショット性能を大幅に改善する。
関連論文リスト
- DAMEX: Dataset-aware Mixture-of-Experts for visual understanding of
mixture-of-datasets [34.780870585656395]
本稿では,データセット・アウェア・ミックス・オブ・エクササイズ,DAMEXを提案する。
データセットトークンをマップされた専門家にルーティングすることを学ぶことで、データセットのエキスパートになるように専門家を訓練します。
Universal Object-Detection Benchmarkの実験では、既存の最先端技術よりも優れています。
論文 参考訳(メタデータ) (2023-11-08T18:55:24Z) - CSS: Combining Self-training and Self-supervised Learning for Few-shot
Dialogue State Tracking [36.18207750352937]
DST(Few-shot dialogue state tracking)は、ラベル付きデータでDSTモデルを訓練する現実的な問題である。
自己学習と自己教師型学習を組み合わせたDSTフレームワークCSSを提案する。
また,MultiWOZデータセットを用いた実験結果から,提案したCSSはいくつかのシナリオで競合性能を達成できた。
論文 参考訳(メタデータ) (2022-10-11T04:55:16Z) - Textual Entailment for Event Argument Extraction: Zero- and Few-Shot
with Multi-Source Learning [22.531385318852426]
近年の研究では,NLPタスクを文章化を用いてテキスト・エンターテイメント・タスクとして再キャストできることが示されている。
イベント引数抽出(EAE)においてもエンテーメントが有効であることを示し,手作業によるアノテーションの必要性を50%と20%に削減した。
論文 参考訳(メタデータ) (2022-05-03T08:53:55Z) - CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。
このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。
提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
論文 参考訳(メタデータ) (2022-03-03T05:58:49Z) - Robust Dialogue State Tracking with Weak Supervision and Sparse Data [2.580163308334609]
対話状態追跡(DST)を新しいデータに一般化することは、トレーニング中の豊富なきめ細かい監督に依存しているため困難である。
サンプルの間隔、分布シフト、新しい概念やトピックの発生は、しばしば推論中に深刻なパフォーマンス劣化を引き起こす。
そこで本研究では,詳細な手動スパンラベルを必要とせず,抽出DSTモデルを構築するためのトレーニング戦略を提案する。
論文 参考訳(メタデータ) (2022-02-07T16:58:12Z) - On Covariate Shift of Latent Confounders in Imitation and Reinforcement
Learning [69.48387059607387]
模擬・強化学習において,未観測の共同設立者と専門家データを併用することの問題点を考察する。
我々は、外部報酬を伴わずに、確立した専門家データから学ぶことの限界を分析する。
我々は,支援医療とレコメンデーションシステムシミュレーションの課題に挑戦する上で,我々の主張を実証的に検証する。
論文 参考訳(メタデータ) (2021-10-13T07:31:31Z) - Zero-Shot Dialogue State Tracking via Cross-Task Transfer [69.70718906395182]
我々は,ゼロショット対話状態追跡タスクに対して,一般質問応答(QA)コーパスからテキストクロスタスク知識を転送することを提案する。
具体的には,抽出QAと複数選択QAをシームレスに組み合わせた転送可能な生成QAモデルであるTransferQAを提案する。
さらに,否定的質問サンプリングと文脈トランケーションという,解決不可能な質問を構築するための2つの効果的な方法を紹介した。
論文 参考訳(メタデータ) (2021-09-10T03:57:56Z) - Effectiveness of Arbitrary Transfer Sets for Data-free Knowledge
Distillation [28.874162427052905]
本研究では, ランダムノイズ, 公開合成, 自然データセットなどの「任意移動集合」の有効性について検討する。
このデータセットが「ターゲットクラスのバランス」である場合、任意のデータを用いて知識蒸留を行うことによる驚くべき効果を見出す。
論文 参考訳(メタデータ) (2020-11-18T06:33:20Z) - Improving Limited Labeled Dialogue State Tracking with Self-Supervision [91.68515201803986]
既存の対話状態追跡(DST)モデルには多くのラベル付きデータが必要である。
本稿では,潜在的一貫性の維持と対話行動のモデル化という,自己指導型の2つの目的について検討する。
提案する自己教師型信号は,1%のラベル付きデータのみを使用する場合,関節ゴール精度を8.95%向上させることができる。
論文 参考訳(メタデータ) (2020-10-26T21:57:42Z) - Improving Zero and Few-Shot Abstractive Summarization with Intermediate
Fine-tuning and Data Augmentation [101.26235068460551]
大規模テキストコーパス上での自己教師対象による事前学習モデルは、英語テキスト要約タスクにおける最先端のパフォーマンスを達成する。
モデルは通常、数十万のデータポイントで微調整されるが、これは新しいニッチなドメインに要約を適用する際に、実現不可能な要件である。
我々は、教師なし、データセット固有の方法で要約のための訓練済みモデルを微調整するための、WikiTransferと呼ばれる新しい一般化可能な手法を紹介した。
論文 参考訳(メタデータ) (2020-10-24T08:36:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。