論文の概要: Span-ConveRT: Few-shot Span Extraction for Dialog with Pretrained Conversational Representations

• arxiv url: http://arxiv.org/abs/2005.08866v2
• Date: Thu, 16 Jul 2020 16:29:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 23:39:44.348649
• Title: Span-ConveRT: Few-shot Span Extraction for Dialog with Pretrained Conversational Representations
• Title（参考訳）: Span-ConveRT: 予め制約された会話表現を持つ対話のためのFew-shot Span extract
• Authors: Sam Coope, Tyler Farghly, Daniela Gerz, Ivan Vuli\'c, Matthew Henderson
• Abstract要約: 本稿では,タスクをターンベーススパン抽出タスクとしてフレーム化する,ダイアログスロット補完のための軽量モデルであるSpan-ConveRTを紹介する。 スロット充足タスクのスパン抽出に関するさらなる作業を促すため、レストラン予約ドメインの実際の会話からコンパイルされた8,198の発話からなる新しい挑戦的なデータセットであるRESTAURANTS-8Kもリリースしました。
• 参考スコア（独自算出の注目度）: 55.891721894700794
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Span-ConveRT, a light-weight model for dialog slot-filling which frames the task as a turn-based span extraction task. This formulation allows for a simple integration of conversational knowledge coded in large pretrained conversational models such as ConveRT (Henderson et al., 2019). We show that leveraging such knowledge in Span-ConveRT is especially useful for few-shot learning scenarios: we report consistent gains over 1) a span extractor that trains representations from scratch in the target domain, and 2) a BERT-based span extractor. In order to inspire more work on span extraction for the slot-filling task, we also release RESTAURANTS-8K, a new challenging data set of 8,198 utterances, compiled from actual conversations in the restaurant booking domain.
• Abstract（参考訳）: 本稿では,タスクをターンベーススパン抽出タスクとしてフレーム化する,ダイアログスロット補完のための軽量モデルであるSpan-ConveRTを紹介する。 この定式化により、ConveRT(Henderson et al., 2019)のような大規模な事前訓練された会話モデルでコーディングされた会話知識の簡単な統合が可能になる。 Span-ConveRTでそのような知識を活用することは、特に数ショットの学習シナリオにおいて有用であることを示す。 1)対象領域のスクラッチから表現を訓練するスパン抽出器、 2)BERTベースのスパン抽出器。 スロット充足タスクのスパン抽出に関するさらなる作業を促すため、レストラン予約ドメインの実際の会話からコンパイルされた8,198の発話からなる新しい挑戦的なデータセットであるRESTAURANTS-8Kもリリースしました。

関連論文リスト

• A Tale of Two Languages: Large-Vocabulary Continuous Sign Language Recognition from Spoken Language Supervision [74.972172804514]
  我々は,署名された言語と音声のテキスト間の共同埋め込み空間において,署名シーケンスと出力を抽出できるマルチタスクトランスフォーマーモデルCSLR2を導入する。 新しいデータセットアノテーションは、6時間のテストビデオに対して、連続的なサインレベルアノテーションを提供する。 私たちのモデルは、両方のタスクにおいて、過去の技術状況よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-05-16T17:19:06Z)
• DialCLIP: Empowering CLIP as Multi-Modal Dialog Retriever [83.33209603041013]
  マルチモーダルダイアログ検索のためのパラメータ効率の高いプロンプトチューニング手法であるDialCLIPを提案する。 提案手法では,事前学習された視覚言語モデルCLIP内のプロンプトに抽出された文脈特徴を学習するためのマルチモーダルコンテキスト生成手法を提案する。 様々なタイプの検索を容易にするために,CLIP出力からマルチモーダル表現空間へのマッピングを学習するために,複数の専門家を設計する。
  論文  参考訳（メタデータ） (2024-01-02T07:40:12Z)
• Contextual Dynamic Prompting for Response Generation in Task-oriented Dialog Systems [8.419582942080927]
  応答生成はタスク指向対話システムにおいて重要なコンポーネントの1つである。 本稿では,対話コンテキストからプロンプトを学習するテキスト動的プロンプトを実現する手法を提案する。 文脈的動的プロンプトは,3つの絶対点で構造化されたテキスト合成スコア citemehri-etal 2019 を用いて応答生成を改善することを示す。
  論文  参考訳（メタデータ） (2023-01-30T20:26:02Z)
• DiSTRICT: Dialogue State Tracking with Retriever Driven In-Context Tuning [7.5700317050237365]
  対話状態追跡(DST)のための一般化可能なインコンテキストチューニング手法であるDiSTRICTを提案する。 DSTRICTは、手作りのテンプレートを使わずにモデルを微調整するために、与えられた対話のための非常に関連性の高いトレーニング例を検索する。 MultiWOZベンチマークデータセットによる実験では、DiSTRICTは、さまざまなゼロショットおよび少数ショット設定において、既存のアプローチよりも優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2022-12-06T09:40:15Z)
• SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for Task-Oriented Dialog Understanding [68.94808536012371]
  本稿では,限定ラベル付きダイアログと大規模未ラベルダイアログコーパスから対話表現を学習する,木構造付き事前学習会話モデルを提案する。 提案手法は,7つのデータセットと4つの一般的な対話理解タスクからなるDialoGLUEベンチマークにおいて,最新の結果が得られる。
  論文  参考訳（メタデータ） (2022-09-14T13:42:50Z)
• GRASP: Guiding model with RelAtional Semantics using Prompt [3.1275060062551208]
  本稿では Prompt (GRASP) を用いたRelAtional Semantics を用いた誘導モデルを提案する。 我々は、プロンプトベースの微調整アプローチを採用し、引数を意識したプロンプトマーカー戦略を用いて、ある対話における関係意味的手がかりをキャプチャする。 実験では、DialogREデータセット上でのF1とF1cのスコアの観点から、GRASPの最先端のパフォーマンスが評価された。
  論文  参考訳（メタデータ） (2022-08-26T08:19:28Z)
• In-Context Learning for Few-Shot Dialogue State Tracking [55.91832381893181]
  In-context (IC) Learning framework for few-shot dialogue state tracking (DST)を提案する。 大規模な事前訓練言語モデル(LM)は、テストインスタンスといくつかの注釈付き例を入力として取り、パラメータの更新なしに直接対話状態をデコードする。 これにより、LMは、新しいドメインやシナリオに適応する際の、以前の数ショットのDST作業と比べて、より柔軟でスケーラブルになります。
  論文  参考訳（メタデータ） (2022-03-16T11:58:24Z)
• Referring Transformer: A One-step Approach to Multi-task Visual Grounding [45.42959940733406]
  視覚的グラウンドタスクのための単純なワンステージマルチタスクフレームワークを提案する。 具体的には、2つのモダリティを視覚言語エンコーダに融合させるトランスフォーマーアーキテクチャを利用する。 我々のモデルは、コンテキスト情報とマルチタスクトレーニングから大きな恩恵を受けていることを示す。
  論文  参考訳（メタデータ） (2021-06-06T10:53:39Z)
• Reciprocal Feature Learning via Explicit and Implicit Tasks in Scene Text Recognition [60.36540008537054]
  本研究では,従来のテキスト認識における文字数カウントという暗黙のタスクを,追加的な注釈コストなしで発掘する。 両タスクの機能を適切に活用するために,2分岐の相反的特徴学習フレームワークを設計する。 7つのベンチマークの実験では、テキスト認識と新しい文字カウントタスクの両方において提案手法の利点が示されている。
  論文  参考訳（メタデータ） (2021-05-13T12:27:35Z)
• Hierarchical Pre-training for Sequence Labelling in Spoken Dialog [10.216901061363641]
  音声対話に適応した汎用表現を学習するための新しい手法を提案する。 変換器アーキテクチャに基づく階層エンコーダを用いて表現を得る。 プレトレーニングはOpenSubtitles(英語版)で行われ、2.3億ドル以上のトークンを含む対話ダイアログの大規模なコーパスである。
  論文  参考訳（メタデータ） (2020-09-23T13:54:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。