論文の概要: Toward Open-domain Slot Filling via Self-supervised Co-training

• arxiv url: http://arxiv.org/abs/2303.13801v1
• Date: Fri, 24 Mar 2023 04:51:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 15:45:45.028071
• Title: Toward Open-domain Slot Filling via Self-supervised Co-training
• Title（参考訳）: 自己教師付き共訓練によるオープンドメインスロット充填に向けて
• Authors: Adib Mosharrof, Moghis Fereidouni, A.B. Siddique
• Abstract要約: スロットフィリングは現代の会話システムにおいて重要なタスクの1つである。 本研究では,SCotと呼ばれる自己教師付き協調学習フレームワークを提案する。 評価の結果,SCotはSGDおよびMultiWoZデータセットで45.57%,37.56%,最先端モデルよりも優れていた。
• 参考スコア（独自算出の注目度）: 2.7178968279054936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Slot filling is one of the critical tasks in modern conversational systems. The majority of existing literature employs supervised learning methods, which require labeled training data for each new domain. Zero-shot learning and weak supervision approaches, among others, have shown promise as alternatives to manual labeling. Nonetheless, these learning paradigms are significantly inferior to supervised learning approaches in terms of performance. To minimize this performance gap and demonstrate the possibility of open-domain slot filling, we propose a Self-supervised Co-training framework, called SCot, that requires zero in-domain manually labeled training examples and works in three phases. Phase one acquires two sets of complementary pseudo labels automatically. Phase two leverages the power of the pre-trained language model BERT, by adapting it for the slot filling task using these sets of pseudo labels. In phase three, we introduce a self-supervised cotraining mechanism, where both models automatically select highconfidence soft labels to further improve the performance of the other in an iterative fashion. Our thorough evaluations show that SCot outperforms state-of-the-art models by 45.57% and 37.56% on SGD and MultiWoZ datasets, respectively. Moreover, our proposed framework SCot achieves comparable performance when compared to state-of-the-art fully supervised models.
• Abstract（参考訳）: スロットフィリングは現代の会話システムにおいて重要なタスクの1つである。 既存の文献の大部分は、新しいドメインごとにラベル付きトレーニングデータを必要とする教師付き学習手法を採用している。 ゼロショット学習や弱い監督アプローチなどは、手動ラベリングの代替としてpromiseが示されている。 それでも、これらの学習パラダイムは、パフォーマンスの観点から教師あり学習アプローチよりもかなり劣っている。 この性能ギャップを最小化し、オープンドメインスロットフィリングの可能性を示すために、SCotと呼ばれる自己教師付き協調学習フレームワークを提案する。 フェーズ1は2つの補完的な擬似ラベルを自動取得する。 フェーズ2は、これらの擬似ラベルセットを使用してスロットフィリングタスクに適応することにより、事前訓練された言語モデルBERTのパワーを活用する。 フェーズ3では,両モデルが高信頼度ソフトラベルを自動選択し,他のモデルの性能を反復的に向上する自己教師付き協調機構を導入する。 SCotは,SGDデータセットとMultiWoZデータセットでそれぞれ45.57%,37.56%,最先端モデルよりも優れていた。 さらに,提案するフレームワークであるSCotは,最先端の完全教師付きモデルと比較して,同等のパフォーマンスを実現する。

関連論文リスト

• Unified Speech Recognition: A Single Model for Auditory, Visual, and Audiovisual Inputs [73.74375912785689]
  本稿では,音声認識システムのための統合学習戦略を提案する。 3つのタスクの1つのモデルをトレーニングすることで、VSRとAVSRの性能が向上することを示す。 また,非ラベル標本をより効果的に活用するために,強欲な擬似ラベリング手法を導入する。
  論文  参考訳（メタデータ） (2024-11-04T16:46:53Z)
• Meta Co-Training: Two Views are Better than One [4.050257210426548]
  本稿では,Meta Pseudo Labelsアプローチを2つの視点に拡張したMeta Co-Trainingを提案する。 提案手法は,ImageNet-10%のトレーニングリソースをほとんど必要とせずに,新たな最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-11-29T21:11:58Z)
• One-bit Supervision for Image Classification: Problem, Solution, and Beyond [114.95815360508395]
  本稿では,ラベルの少ない新しい学習環境である,画像分類のための1ビット監督について述べる。 多段階学習パラダイムを提案し、負ラベル抑圧を半教師付き半教師付き学習アルゴリズムに組み込む。 複数のベンチマークにおいて、提案手法の学習効率は、フルビットの半教師付き監視手法よりも優れている。
  論文  参考訳（メタデータ） (2023-11-26T07:39:00Z)
• Co-guiding for Multi-intent Spoken Language Understanding [53.30511968323911]
  本稿では,2つのタスク間の相互指導を実現するための2段階のフレームワークを実装した,コガイドネットと呼ばれる新しいモデルを提案する。 第1段階では,単一タスクによる教師付きコントラスト学習を提案し,第2段階ではコガイドによる教師付きコントラスト学習を提案する。 マルチインテリジェントSLU実験の結果,我々のモデルは既存のモデルよりも大きなマージンで優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-22T08:06:22Z)
• Unsupervised 3D registration through optimization-guided cyclical self-training [71.75057371518093]
  最先端のディープラーニングベースの登録方法は、3つの異なる学習戦略を採用している。 本稿では,教師なし登録のための自己指導型学習パラダイムを提案する。 腹部, 肺の登録方法の評価を行い, 測定基準に基づく監督を一貫して上回り, 最先端の競争相手よりも優れていた。
  論文  参考訳（メタデータ） (2023-06-29T14:54:10Z)
• Integrated Weak Learning [25.47289093245517]
  統合弱学習(Integrated Weak Learning)は、弱い監督を機械学習モデルのトレーニングプロセスに統合する、原則化されたフレームワークである。 提案手法は,6つのベンチマーク分類データセットの集合において,既存の弱い学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-19T22:13:59Z)
• Active Self-Semi-Supervised Learning for Few Labeled Samples [4.713652957384158]
  アノテーションを限定した深層モデルのトレーニングは、さまざまな実践領域に適用する上で、大きな課題となる。 我々は,シンプルで効果的な自己半教師付き学習(AS3L)を提案する。 擬似ラベル(PPL)を用いたAS3Lブートストラップ半教師付きモデル 我々は,正確なPPLを得るために,能動的学習とラベル伝搬戦略を開発した。
  論文  参考訳（メタデータ） (2022-03-09T07:45:05Z)
• Self-Supervised Models are Continual Learners [79.70541692930108]
  本研究では, 自己教師付き損失関数を連続学習のための蒸留機構にシームレスに変換可能であることを示す。 我々は,学習した表現の質を大幅に向上させる連続的自己教師型視覚表現学習の枠組みを考案した。
  論文  参考訳（メタデータ） (2021-12-08T10:39:13Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。