Fugu-MT 論文翻訳(概要): Incorporating Joint Embeddings into Goal-Oriented Dialogues with Multi-Task Learning

論文の概要: Incorporating Joint Embeddings into Goal-Oriented Dialogues with Multi-Task Learning

arxiv url: http://arxiv.org/abs/2001.10468v1
Date: Tue, 28 Jan 2020 17:15:02 GMT
ステータス: 処理完了
システム内更新日: 2023-01-06 01:58:51.447973
Title: Incorporating Joint Embeddings into Goal-Oriented Dialogues with Multi-Task Learning
Title（参考訳）: マルチタスク学習によるゴール指向対話への統合埋め込み
Authors: Firas Kassawat, Debanjan Chaudhuri, Jens Lehmann
Abstract要約: 本稿では,知識グラフとコーパスの結合埋め込みを入力としてトレーニングしたRNNベースのエンド・ツー・エンド・エンド・エンコーダ・デコーダアーキテクチャを提案する。このモデルは、マルチタスク学習パラダイムでトレーニングされたテキスト生成とともに、ユーザ意図のさらなる統合を提供する。
参考スコア（独自算出の注目度）: 8.662586355051014
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Attention-based encoder-decoder neural network models have recently shown promising results in goal-oriented dialogue systems. However, these models struggle to reason over and incorporate state-full knowledge while preserving their end-to-end text generation functionality. Since such models can greatly benefit from user intent and knowledge graph integration, in this paper we propose an RNN-based end-to-end encoder-decoder architecture which is trained with joint embeddings of the knowledge graph and the corpus as input. The model provides an additional integration of user intent along with text generation, trained with a multi-task learning paradigm along with an additional regularization technique to penalize generating the wrong entity as output. The model further incorporates a Knowledge Graph entity lookup during inference to guarantee the generated output is state-full based on the local knowledge graph provided. We finally evaluated the model using the BLEU score, empirical evaluation depicts that our proposed architecture can aid in the betterment of task-oriented dialogue system`s performance.
Abstract（参考訳）: 注意に基づくエンコーダ・デコーダニューラルネットワークモデルは近年,目標指向対話システムにおいて有望な結果を示している。しかし、これらのモデルは、エンドツーエンドのテキスト生成機能を保ちながら、ステートフルな知識を取り込むのに苦労しています。本稿では,ユーザ意図や知識グラフの統合から大きな恩恵を受けることができるため,知識グラフとコーパスを併用して学習したRNNベースのエンド・ツー・エンド・エンド・エンコーダ・デコーダアーキテクチャを提案する。このモデルは、ユーザ意図のさらなる統合と、マルチタスク学習パラダイムで訓練されたテキスト生成と、間違ったエンティティを出力としてペナル化するための追加の正規化技術を提供する。このモデルは、提案されたローカル知識グラフに基づいて生成された出力がステートフルであることを保証するために、推論中に知識グラフエンティティのルックアップを組み込む。我々は最終的にBLEUスコアを用いてモデルの評価を行い、提案アーキテクチャがタスク指向対話システムの性能向上に有効であることを示す実証的な評価を行った。

関連論文リスト

G-SAP: Graph-based Structure-Aware Prompt Learning over Heterogeneous Knowledge for Commonsense Reasoning [8.02547453169677]
本稿では,G-SAP という名称のコモンセンス推論のためのグラフベース構造認識プロンプト学習モデルを提案する。特にエビデンスグラフは、ConceptNet、Wikipedia、Cambridge Dictionaryといった複数の知識ソースを統合することで構築される。その結果、既存のモデル、特にOpenbookQAデータセット上のSoTA LM+GNNsモデルよりも6.12%改善された。
論文参考訳（メタデータ） (2024-05-09T08:28:12Z)
RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models [57.12888828853409]
RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。フュージョン・イン・コンテキスト・ラーニング(Fusion-in-Context Learning)により、追加のトレーニングを必要とせずに、より多くのコンテキスト内サンプルを利用できる。本研究は,テキスト内学習のためのエンコーダ・デコーダ言語モデルの構築の可能性を明らかにするものである。
論文参考訳（メタデータ） (2023-08-15T17:59:18Z)
CADGE: Context-Aware Dialogue Generation Enhanced with Graph-Structured Knowledge Aggregation [25.56539617837482]
コンテキスト対応グラフアテンションモデル(Context-aware GAT)を提案する。これは、コンテキスト強化された知識集約機構を通じて、関連する知識グラフからグローバルな特徴を同化する。実験により,本フレームワークは従来のGNNベース言語モデルよりも性能が優れていることが示された。
論文参考訳（メタデータ） (2023-05-10T16:31:35Z)
KGLM: Integrating Knowledge Graph Structure in Language Models for Link Prediction [0.0]
我々は、異なるエンティティと関係型を区別することを学ぶ新しいエンティティ/リレーション埋め込み層を導入する。知識グラフから抽出したトリプルを用いて、この追加埋め込み層を用いて言語モデルをさらに事前学習し、続いて標準微調整フェーズにより、ベンチマークデータセット上のリンク予測タスクに対して、新しい最先端のパフォーマンスが設定されることを示す。
論文参考訳（メタデータ） (2022-11-04T20:38:12Z)
Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
論文参考訳（メタデータ） (2022-10-19T16:40:28Z)
KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs [26.557447199727758]
本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
論文参考訳（メタデータ） (2021-09-09T12:39:17Z)
Learning Intents behind Interactions with Knowledge Graph for Recommendation [93.08709357435991]
知識グラフ(KG)は、推薦システムにおいてますます重要な役割を果たす。既存のGNNベースのモデルは、きめ細かいインテントレベルでのユーザ項目関係の特定に失敗します。本稿では,新しいモデルである知識グラフベースインテントネットワーク(kgin)を提案する。
論文参考訳（メタデータ） (2021-02-14T03:21:36Z)
Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。 Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
論文参考訳（メタデータ） (2020-09-19T02:41:04Z)
Dynamic Knowledge embedding and tracing [18.717482292051788]
本稿では,行列分解の手法と最近のリカレントニューラルネットワーク(RNN)の進歩を組み合わせた知識追跡手法を提案する。提案するemphDynEmbフレームワークは,概念やスキルのタグ情報を使わずに,学生の知識の追跡を可能にする。
論文参考訳（メタデータ） (2020-05-18T21:56:42Z)
Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文参考訳（メタデータ） (2020-04-29T14:22:42Z)
Object Relational Graph with Teacher-Recommended Learning for Video Captioning [92.48299156867664]
本稿では,新しいモデルと効果的なトレーニング戦略の両方を含む完全なビデオキャプションシステムを提案する。具体的には,オブジェクトリレーショナルグラフ(ORG)に基づくエンコーダを提案する。一方,教師推薦学習(TRL)手法を設計し,成功した外部言語モデル(ELM)をフル活用し,豊富な言語知識をキャプションモデルに統合する。
論文参考訳（メタデータ） (2020-02-26T15:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。