Fugu-MT 論文翻訳(概要): Transformers to Learn Hierarchical Contexts in Multiparty Dialogue for Span-based Question Answering

論文の概要: Transformers to Learn Hierarchical Contexts in Multiparty Dialogue for Span-based Question Answering

arxiv url: http://arxiv.org/abs/2004.03561v2
Date: Sat, 23 May 2020 04:35:45 GMT
ステータス: 処理完了
システム内更新日: 2022-12-15 22:37:45.851188
Title: Transformers to Learn Hierarchical Contexts in Multiparty Dialogue for Span-based Question Answering
Title（参考訳）: Span-based Question Answeringのための多人数対話における階層的文脈学習のためのトランスフォーマー
Authors: Changmao Li, Jinho D. Choi
Abstract要約: マルチパーティ対話における階層的表現を学習するトランスフォーマーに新しいアプローチを導入する。このアプローチはFriendsQAデータセットに基づいて評価され、最先端トランスフォーマーモデルBERTとRoBERTaの2つのモデルに対して3.8%と1.4%の改善が示されている。
参考スコア（独自算出の注目度）: 20.294478273161303
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce a novel approach to transformers that learns hierarchical representations in multiparty dialogue. First, three language modeling tasks are used to pre-train the transformers, token- and utterance-level language modeling and utterance order prediction, that learn both token and utterance embeddings for better understanding in dialogue contexts. Then, multi-task learning between the utterance prediction and the token span prediction is applied to fine-tune for span-based question answering (QA). Our approach is evaluated on the FriendsQA dataset and shows improvements of 3.8% and 1.4% over the two state-of-the-art transformer models, BERT and RoBERTa, respectively.
Abstract（参考訳）: 多人数対話における階層表現を学習するトランスフォーマーに新しいアプローチを導入する。まず、3つの言語モデリングタスクを使用して、トークンレベルの言語モデリングと発話順序予測を事前学習し、トークンと発話の埋め込みの両方を学び、会話コンテキストの理解を深める。次に、発話予測とトークンスパン予測とのマルチタスク学習を、スパンベースの質問応答(QA)のためのファインチューンに適用する。このアプローチはFriendsQAデータセットに基づいて評価され,最先端トランスフォーマモデルであるBERTとRoBERTaに対して3.8%と1.4%の改善が見られた。

関連論文リスト

Speech Recognition Transformers: Topological-lingualism Perspective [5.874509965718588]
本稿では,音声のモータリティを指向したトランスフォーマー技術に関する包括的調査を行う。本調査の主な内容は,(1)従来のASR,エンド・ツー・エンド・トランスフォーマー・エコシステム,(2)言語主義パラダイムによる音声の基本モデルなどである。
論文参考訳（メタデータ） (2024-08-27T12:15:43Z)
APoLLo: Unified Adapter and Prompt Learning for Vision Language Models [58.9772868980283]
本稿では,視覚言語モデルに対する適応学習とプロンプト学習を組み合わせた統合マルチモーダルアプローチであるAPoLLoを提案する。 APoLLoは10種類の画像認識データセットに対して、MaPLe(SOTA)よりも6.03%向上している。
論文参考訳（メタデータ） (2023-12-04T01:42:09Z)
Channel-aware Decoupling Network for Multi-turn Dialogue Comprehension [81.47133615169203]
本稿では,PrLMの逐次文脈化を超えて,発話間の包括的相互作用のための合成学習を提案する。私たちは、モデルが対話ドメインに適応するのを助けるために、ドメイン適応型トレーニング戦略を採用しています。実験の結果,提案手法は4つの公開ベンチマークデータセットにおいて,強力なPrLMベースラインを著しく向上させることがわかった。
論文参考訳（メタデータ） (2023-01-10T13:18:25Z)
Paragraph-based Transformer Pre-training for Multi-Sentence Inference [99.59693674455582]
マルチ候補推論タスクの微調整に使用する場合,一般的な事前学習型トランスフォーマーは性能が良くないことを示す。次に、複数の入力文にまたがる段落レベルの意味をモデル化する新しい事前学習目標を提案する。
論文参考訳（メタデータ） (2022-05-02T21:41:14Z)
DialogVED: A Pre-trained Latent Variable Encoder-Decoder Model for Dialog Response Generation [80.45816053153722]
DialogVEDは、拡張エンコーダデコーダ事前トレーニングフレームワークに連続潜伏変数を導入し、応答の関連性と多様性を高める。我々は,PersonaChat,DailyDialog,DSTC7-AVSDベンチマークを用いて応答生成実験を行った。
論文参考訳（メタデータ） (2022-04-27T16:18:15Z)
Towards Generalized Models for Task-oriented Dialogue Modeling on Spoken Conversations [22.894541507068933]
本稿では,DSTC-10の音声対話課題における知識ベースタスク指向対話モデリングのための一般化モデルの構築について述べる。我々は,人工誤り注入やラウンドトリップ音声変換など,手書きデータに対する広範なデータ拡張戦略を採用している。本手法は, 客観的評価では3位, 最終公式評価では2位である。
論文参考訳（メタデータ） (2022-03-08T12:26:57Z)
DialogBERT: Discourse-Aware Response Generation via Learning to Recover and Rank Utterances [18.199473005335093]
本稿では,従来の PLM に基づく対話モデルを強化した対話応答生成モデルである DialogBERT を提案する。発話間の談話レベルのコヒーレンスを効果的に把握するために,マスク付き発話回帰を含む2つの訓練目標を提案する。 3つのマルチターン会話データセットの実験により、我々のアプローチがベースラインを著しく上回ることを示した。
論文参考訳（メタデータ） (2020-12-03T09:06:23Z)
Filling the Gap of Utterance-aware and Speaker-aware Representation for Multi-turn Dialogue [76.88174667929665]
マルチターン対話は、2つ以上の異なる話者の役割から複数の発話からなる。既存の検索に基づくマルチターン対話モデルでは、事前訓練された言語モデル(PrLM)をエンコーダとして、対話を粗く表現する。本稿では,対話履歴に係わる効果的な発話認識表現と話者認識表現をモデル化することにより,そのようなギャップを埋める新しいモデルを提案する。
論文参考訳（メタデータ） (2020-09-14T15:07:19Z)
Video-Grounded Dialogues with Pretrained Generation Language Models [88.15419265622748]
我々は、ビデオ地上対話を改善するために、事前学習された言語モデルのパワーを利用する。本稿では,シーケンス・ツー・グラウンドの対話タスクを,シーケンス・トゥ・グラウンドのタスクとして定式化するフレームワークを提案する。我々のフレームワークは、微調整の言語モデルで複数のモダリティにまたがる依存関係をキャプチャできる。
論文参考訳（メタデータ） (2020-06-27T08:24:26Z)
An Empirical Investigation of Pre-Trained Transformer Language Models for Open-Domain Dialogue Generation [23.343006562849126]
本稿では,オープンドメイン対話生成作業のための事前学習型トランスフォーマーに基づく自動回帰言語モデルについて実験的に検討する。事前訓練と微調整の訓練パラダイムは、学習を行うために使用される。実験は、Weibo、Douban、Reddit、DailyDialog、Persona-Chatといった典型的なシングルターンとマルチターンの対話コーパスで行われる。
論文参考訳（メタデータ） (2020-03-09T15:20:21Z)
Hierarchical Transformer Network for Utterance-level Emotion Recognition [0.0]
発話レベルの感情認識(ULER)における課題に対処する。従来のテキスト分類問題とは異なり、このタスクは限られた数のデータセットでサポートされている。我々は、低レベルトランスとして、変換器(BERT)からの双方向エンコーダ表現を事前訓練した言語モデルを用いる。さらに、初めてモデルに話者埋め込みを追加し、モデルが話者間の相互作用を捉えられるようにします。
論文参考訳（メタデータ） (2020-02-18T13:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。