論文の概要: A Graph Reasoning Network for Multi-turn Response Selection via
Customized Pre-training
- arxiv url: http://arxiv.org/abs/2012.11099v2
- Date: Fri, 15 Jan 2021 02:12:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-27 06:46:22.698236
- Title: A Graph Reasoning Network for Multi-turn Response Selection via
Customized Pre-training
- Title(参考訳): カスタマイズ事前学習によるマルチターン応答選択のためのグラフ推論ネットワーク
- Authors: Yongkang Liu, Shi Feng, Daling Wang, Kaisong Song, Feiliang Ren, Yifei
Zhang
- Abstract要約: 本稿では,この問題に対処するグラフ推論ネットワーク(GRN)を提案する。
GRNはまずALBERTに基づく事前トレーニングを行います。
次に、シーケンス推論とグラフ推論構造を備えた統合ネットワーク上でモデルを微調整する。
- 参考スコア(独自算出の注目度): 11.532734330690584
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate response selection for multi-turn conversation in
retrieval-based chatbots. Existing studies pay more attention to the matching
between utterances and responses by calculating the matching score based on
learned features, leading to insufficient model reasoning ability. In this
paper, we propose a graph-reasoning network (GRN) to address the problem. GRN
first conducts pre-training based on ALBERT using next utterance prediction and
utterance order prediction tasks specifically devised for response selection.
These two customized pre-training tasks can endow our model with the ability of
capturing semantical and chronological dependency between utterances. We then
fine-tune the model on an integrated network with sequence reasoning and graph
reasoning structures. The sequence reasoning module conducts inference based on
the highly summarized context vector of utterance-response pairs from the
global perspective. The graph reasoning module conducts the reasoning on the
utterance-level graph neural network from the local perspective. Experiments on
two conversational reasoning datasets show that our model can dramatically
outperform the strong baseline methods and can achieve performance which is
close to human-level.
- Abstract(参考訳): 検索型チャットボットにおけるマルチターン会話に対する応答選択について検討する。
既存の研究は、学習特徴に基づくマッチングスコアを計算することにより、発話と応答のマッチングにより多くの注意を払っており、モデル推論能力は不十分である。
本稿では,この問題に対処するグラフ推論ネットワーク(GRN)を提案する。
GRNはまず, ALBERTに基づく事前学習を行い, 次の発話予測と, 応答選択のために特別に考案された発話順序予測タスクを用いる。
これら2つのカスタマイズされた事前学習タスクは、発話間の意味的および時間的依存関係をキャプチャする能力によって、私たちのモデルに役立てることができる。
次に、シーケンス推論とグラフ推論構造を備えた統合ネットワーク上でモデルを微調整する。
シーケンス推論モジュールは、大域的な視点から発話-応答対の高度に要約された文脈ベクトルに基づいて推論を行う。
グラフ推論モジュールは、局所的な視点から発話レベルグラフニューラルネットワーク上で推論を行う。
2つの会話推論データセットの実験により、我々のモデルは強力なベースライン手法を劇的に上回り、人間に近い性能を達成できることが示された。
関連論文リスト
- On Discprecncies between Perturbation Evaluations of Graph Neural
Network Attributions [49.8110352174327]
我々は、グラフ領域で以前に検討されていない視点から帰属法を評価する:再学習。
中心となる考え方は、属性によって識別される重要な(あるいは重要でない)関係でネットワークを再訓練することである。
我々は4つの最先端GNN属性法と5つの合成および実世界のグラフ分類データセットについて分析を行った。
論文 参考訳(メタデータ) (2024-01-01T02:03:35Z) - Retrieval-Augmented Neural Response Generation Using Logical Reasoning
and Relevance Scoring [2.3590037806133024]
本稿では,知識基底型応答生成に対する新しいアプローチを提案する。
検索強化された言語モデルと論理的推論を組み合わせる。
実験結果から,(確率的)論理的推論と会話関連性スコアの組合せは,応答の事実性と流布性の両方を増大させることが示された。
論文 参考訳(メタデータ) (2023-10-20T15:05:18Z) - IRRGN: An Implicit Relational Reasoning Graph Network for Multi-turn
Response Selection [4.471148909362883]
Graph Networkへのインプシット推論は、発話間の暗黙的な抽出と、発話とオプションの抽出を目的としている。
モデルは、初めて MuTual データセットで人のパフォーマンスを上回ります。
論文 参考訳(メタデータ) (2022-12-01T13:17:25Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳(メタデータ) (2022-03-03T09:53:53Z) - Question-Answer Sentence Graph for Joint Modeling Answer Selection [122.29142965960138]
我々は,質問文,質問文,回答文のペア間のスコアを計算するための最先端(SOTA)モデルを訓練し,統合する。
オンライン推論は、目に見えないクエリのAS2タスクを解決するために実行される。
論文 参考訳(メタデータ) (2022-02-16T05:59:53Z) - A Hierarchical Reasoning Graph Neural Network for The Automatic Scoring
of Answer Transcriptions in Video Job Interviews [14.091472037847499]
質問応答対の自動評価のための階層型推論グラフニューラルネットワーク(HRGNN)を提案する。
我々は,現在QAセッションの相互作用状態をモデル化するために,意味レベル推論グラフアテンションネットワークを利用する。
最後に,最終予測のための時間的質問応答対を表すゲート再帰単位エンコーダを提案する。
論文 参考訳(メタデータ) (2020-12-22T12:27:45Z) - Learning an Effective Context-Response Matching Model with
Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。
我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。
実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
論文 参考訳(メタデータ) (2020-09-14T08:44:46Z) - Linguistically Driven Graph Capsule Network for Visual Question
Reasoning [153.76012414126643]
我々は「言語的に駆動されるグラフカプセルネットワーク」と呼ばれる階層的構成推論モデルを提案する。
具体的には,各カプセルを最下層に結合させ,元の質問に1つの単語を埋め込んだ言語的埋め込みを視覚的証拠で橋渡しする。
CLEVRデータセット、CLEVR合成生成テスト、およびFinalQAデータセットの実験は、我々のエンドツーエンドモデルの有効性と構成一般化能力を示す。
論文 参考訳(メタデータ) (2020-03-23T03:34:25Z) - Evaluating Logical Generalization in Graph Neural Networks [59.70452462833374]
グラフニューラルネットワーク(GNN)を用いた論理一般化の課題について検討する。
ベンチマークスイートであるGraphLogでは、学習アルゴリズムが異なる合成論理でルール誘導を実行する必要がある。
モデルが一般化し適応する能力は、トレーニング中に遭遇する論理規則の多様性によって強く決定される。
論文 参考訳(メタデータ) (2020-03-14T05:45:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。