論文の概要: ConVEx: Data-Efficient and Few-Shot Slot Labeling

• arxiv url: http://arxiv.org/abs/2010.11791v2
• Date: Mon, 7 Jun 2021 16:28:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 06:41:42.291253
• Title: ConVEx: Data-Efficient and Few-Shot Slot Labeling
• Title（参考訳）: ConVEx: データ効率とFew-Shot Slot Labeling
• Authors: Matthew Henderson and Ivan Vuli\'c
• Abstract要約: ConVExはスロットラベルダイアログタスクのための効率的な事前学習と微調整のニューラルアプローチである。 ダイアログスロットラベリングのための多種多様なドメインとデータセットを対象に,ConVExの最先端性能について報告する。
• 参考スコア（独自算出の注目度）: 72.00513667636801
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We propose ConVEx (Conversational Value Extractor), an efficient pretraining and fine-tuning neural approach for slot-labeling dialog tasks. Instead of relying on more general pretraining objectives from prior work (e.g., language modeling, response selection), ConVEx's pretraining objective, a novel pairwise cloze task using Reddit data, is well aligned with its intended usage on sequence labeling tasks. This enables learning domain-specific slot labelers by simply fine-tuning decoding layers of the pretrained general-purpose sequence labeling model, while the majority of the pretrained model's parameters are kept frozen. We report state-of-the-art performance of ConVEx across a range of diverse domains and data sets for dialog slot-labeling, with the largest gains in the most challenging, few-shot setups. We believe that ConVEx's reduced pretraining times (i.e., only 18 hours on 12 GPUs) and cost, along with its efficient fine-tuning and strong performance, promise wider portability and scalability for data-efficient sequence-labeling tasks in general.
• Abstract（参考訳）: ConVEx(Conversational Value Extractor)は、スロットラベルダイアログタスクのための、効率的な事前学習および微調整型ニューラルアプローチである。 以前の作業(言語モデリング、応答選択など)からより一般的な事前トレーニング対象に頼る代わりに、redditデータを使った新しいペアワイズクローズタスクであるconvexのpretraining objectiveは、シーケンスラベリングタスクで意図された使用方法とよく一致している。 これにより、事前トレーニングされた汎用シーケンスラベリングモデルのデコード層を微調整するだけで、ドメイン固有のスロットラベラーを学習することができる。 本稿では,多種多様なドメインやダイアログスロットラベルのためのデータセットを対象としたConVExの最先端性能について報告する。 当社は、ConVExの事前トレーニング時間(つまり、12GPUで18時間)とコストの削減と、その効率的な微調整と強力なパフォーマンスにより、データ効率のよいシーケンスラベル処理全般において、より広範なポータビリティとスケーラビリティを約束できると考えている。

関連論文リスト

• Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data [76.90128359866462]
  本稿では,出力確率と事前学習データ頻度の相関を計測する,記憶化,分布記憶化という拡張概念を導入する。 本研究は, より単純で知識集約的なタスクにおいて, 記憶がより大きな役割を担い, 一般化が, より困難で推論に基づくタスクの鍵であることを示す。
  論文  参考訳（メタデータ） (2024-07-20T21:24:40Z)
• Unified Pretraining for Recommendation via Task Hypergraphs [55.98773629788986]
  本稿では,タスクハイパーグラフによる推薦のための統一事前学習という,新しいマルチタスク事前学習フレームワークを提案する。 多様なプレテキストタスクの要求やニュアンスを処理するための統一学習パターンとして,プレテキストタスクをハイパーエッジ予測に一般化するタスクハイパーグラフを設計する。 各プレテキストタスクとレコメンデーションの関連性を識別的に学習するために、新しいトランジショナルアテンション層が考案される。
  論文  参考訳（メタデータ） (2023-10-20T05:33:21Z)
• Never Train from Scratch: Fair Comparison of Long-Sequence Models Requires Data-Driven Priors [44.5740422079]
  標準的なデノベーション目的による事前トレーニングは、複数のアーキテクチャで劇的に向上することを示す。 先行研究とは対照的に、適切に事前訓練された場合の長距離アリーナでのS4の性能に適合するバニラトランスフォーマーが見つかる。
  論文  参考訳（メタデータ） (2023-10-04T17:17:06Z)
• LESS: Label-Efficient Semantic Segmentation for LiDAR Point Clouds [62.49198183539889]
  我々は,LiDAR点雲を用いた屋外シーンのためのラベル効率のよいセマンティックセマンティックセマンティクスパイプラインを提案する。 本手法は,半弱教師付き学習を用いて,効率的なラベリング手法を設計する。 提案手法は,100%ラベル付き完全教師付き手法と比較して,さらに競争力が高い。
  論文  参考訳（メタデータ） (2022-10-14T19:13:36Z)
• Few-Shot Learning with Siamese Networks and Label Tuning [5.006086647446482]
  適切な事前トレーニングを行うことで、テキストやラベルを埋め込むSiamese Networksが、競争力のある代替手段となることを示す。 ラベルの埋め込みだけを変えることで、数ショットのセットアップでモデルを適応できる、シンプルで計算効率の良い手法であるラベルチューニングを導入する。
  論文  参考訳（メタデータ） (2022-03-28T11:16:46Z)
• ST++: Make Self-training Work Better for Semi-supervised Semantic Segmentation [23.207191521477654]
  半教師付きセグメンテーションにおいて、自己学習 -- シンプルだが人気のあるフレームワーク -- がよりうまく機能できるかどうかを調査する。 より信頼性の高い未ラベル画像の選択と優先順位付けにより選択的な再学習を行う高度自己学習フレームワーク(ST++)を提案する。 その結果、提案したST++は、半教師付きモデルの性能を大幅に向上させ、Pascal VOC 2012とCityscapesベンチマークにおいて、既存のメソッドをはるかに上回っている。
  論文  参考訳（メタデータ） (2021-06-09T14:18:32Z)
• Pretraining Representations for Data-Efficient Reinforcement Learning [12.43475487724972]
  ラベルのないデータを使ってエンコーダを事前訓練し、少数のタスク固有のデータに基づいて微調整する。 Atariゲーム上でのインタラクションが100万段階に制限された場合、我々のアプローチは以前の作業を大幅に上回っている。 提案手法では,大規模モデルと組み合わせることで,より多様なタスク整合観測データが得られる。
  論文  参考訳（メタデータ） (2021-06-09T04:14:27Z)
• Adaptive Self-training for Few-shot Neural Sequence Labeling [55.43109437200101]
  ニューラルシークエンスラベリングモデルにおけるラベル不足問題に対処する手法を開発した。 自己学習は、大量のラベルのないデータから学ぶための効果的なメカニズムとして機能する。 メタラーニングは、適応的なサンプル再重み付けにおいて、ノイズのある擬似ラベルからのエラー伝播を軽減するのに役立つ。
  論文  参考訳（メタデータ） (2020-10-07T22:29:05Z)
• Improving Semantic Segmentation via Self-Training [75.07114899941095]
  半教師付きアプローチ,特に自己学習パラダイムを用いて,最先端の成果を得ることができることを示す。 まず、ラベル付きデータに基づいて教師モデルを訓練し、次にラベルなしデータの大規模なセット上で擬似ラベルを生成する。 私たちの堅牢なトレーニングフレームワークは、人名と擬似ラベルを共同で消化し、Cityscapes、CamVid、KITTIデータセット上で最高のパフォーマンスを達成することができます。
  論文  参考訳（メタデータ） (2020-04-30T17:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。