Fugu-MT 論文翻訳(概要): Re-framing Incremental Deep Language Models for Dialogue Processing with Multi-task Learning

論文の概要: Re-framing Incremental Deep Language Models for Dialogue Processing with Multi-task Learning

arxiv url: http://arxiv.org/abs/2011.06754v1
Date: Fri, 13 Nov 2020 04:31:51 GMT
ステータス: 処理完了
システム内更新日: 2022-09-26 00:02:54.723940
Title: Re-framing Incremental Deep Language Models for Dialogue Processing with Multi-task Learning
Title（参考訳）: マルチタスク学習を用いた対話処理のための再フレーミングインクリメンタル言語モデル
Authors: Morteza Rohanian, Julian Hough
Abstract要約: 本稿では,1つのインクリメンタル対話処理モデルのトレーニングを可能にするマルチタスク学習フレームワークを提案する。これらのタスクは、タスクからのノイズの重大度に依存する各タスクの最適貢献により、互いに正の帰納バイアスを与えることを示す。
参考スコア（独自算出の注目度）: 14.239355474794142
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present a multi-task learning framework to enable the training of one universal incremental dialogue processing model with four tasks of disfluency detection, language modelling, part-of-speech tagging, and utterance segmentation in a simple deep recurrent setting. We show that these tasks provide positive inductive biases to each other with the optimal contribution of each one relying on the severity of the noise from the task. Our live multi-task model outperforms similar individual tasks, delivers competitive performance, and is beneficial for future use in conversational agents in psychiatric treatment.
Abstract（参考訳）: 本稿では,分散検出,言語モデリング,パート・オブ・スパイチ・タギング,発話セグメンテーションという4つのタスクを,単純なディープ・リカレント設定で1つの普遍的なインクリメンタル対話処理モデルのトレーニングを可能にするマルチタスク学習フレームワークを提案する。これらのタスクは、タスクからのノイズの重大度に依存する各タスクの最適貢献により、互いに正の帰納バイアスを与えることを示す。私たちのライブマルチタスクモデルは、同様の個々のタスクよりも優れ、競争力のあるパフォーマンスをもたらし、精神科治療における会話エージェントの将来の使用に有益です。

関連論文リスト

An Adapter-Based Unified Model for Multiple Spoken Language Processing Tasks [3.015760169663536]
複数の音声言語処理タスクを処理可能な統一モデルの開発において,アダプタベースの微調整の可能性を検討する。アダプタをベースとしたファインチューニングにより、単一エンコーダデコーダモデルにより、平均18.4%の精度で複数の音声処理タスクを実行できることを示す。
論文参考訳（メタデータ） (2024-06-20T21:39:04Z)
PolySpeech: Exploring Unified Multitask Speech Models for Competitiveness with Single-task Models [19.719401865551745]
音声認識,音声合成,および2つの音声分類タスクをサポートするマルチタスク音声モデルであるPolySpeechを提案する。 PolySpeechは、シングルタスクモデルと比較して、さまざまなタスク間の競争力を示している。
論文参考訳（メタデータ） (2024-06-12T01:35:46Z)
TIMIT Speaker Profiling: A Comparison of Multi-task learning and Single-task learning Approaches [27.152245569974678]
本研究は、TIMITデータセット上の4つの話者プロファイリングタスクを深層学習技術を用いて探索する。マルチタスク学習とシングルタスクモデルの可能性と課題を強調します。
論文参考訳（メタデータ） (2024-04-18T10:59:54Z)
Effective Cross-Task Transfer Learning for Explainable Natural Language Inference with T5 [50.574918785575655]
2つのタスクのパフォーマンス向上という文脈において、逐次微調整とマルチタスク学習のモデルを比較した。この結果から,2つのタスクのうち,第1のタスクにおいて逐次マルチタスク学習は良好に調整できるが,第2のタスクでは性能が低下し,過度な適合に苦しむことが明らかとなった。
論文参考訳（メタデータ） (2022-10-31T13:26:08Z)
Scheduled Multi-task Learning for Neural Chat Translation [66.81525961469494]
ニューラルチャット翻訳(NCT)のためのマルチタスク学習フレームワークを提案する。具体的には、大規模なドメイン内チャット翻訳データをトレーニングに組み込むための3段階のトレーニングフレームワークを考案する。提案手法の有効性と優越性を検証するために, 4言語方向の広範囲な実験を行った。
論文参考訳（メタデータ） (2022-05-08T02:57:28Z)
A Bag of Tricks for Dialogue Summarization [7.7837843673493685]
課題は,複数の話者に属する対話の部分の処理と識別,否定的理解,状況の推論,非公式言語理解の4つである。事前訓練されたシーケンス・ツー・シーケンス言語モデルを用いて、話者名置換、否定的スコープハイライト、関連するタスクによるマルチタスク学習、ドメイン内のデータの事前学習について検討する。
論文参考訳（メタデータ） (2021-09-16T21:32:02Z)
Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
論文参考訳（メタデータ） (2020-09-14T08:44:46Z)
Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
論文参考訳（メタデータ） (2020-07-24T14:44:46Z)
Modeling Long Context for Task-Oriented Dialogue State Generation [51.044300192906995]
本稿では,シンプルで効果的な発話タグ付け手法と双方向言語モデルを用いたマルチタスク学習モデルを提案する。提案手法は,入力対話コンテキストシーケンスが長い場合に,ベースラインの性能が著しく低下する,という問題を解決する。本実験では,MultiWOZ 2.0データセットにおいて,ベースラインに対して7.03%の相対的改善を実現し,新しい最先端のジョイントゴール精度を52.04%に設定した。
論文参考訳（メタデータ） (2020-04-29T11:02:25Z)
Masking Orchestration: Multi-task Pretraining for Multi-role Dialogue Representation Learning [50.5572111079898]
マルチロール対話理解は、質問応答、行動分類、対話要約など、幅広い多様なタスクを含む。対話コーパスは豊富に利用可能であるが、特定の学習タスクのためのラベル付きデータは非常に不足しており、高価である。本研究では,教師なし事前学習タスクを用いた対話文脈表現学習について検討する。
論文参考訳（メタデータ） (2020-02-27T04:36:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。