論文の概要: A Graph Reasoning Network for Multi-turn Response Selection via Customized Pre-training

• arxiv url: http://arxiv.org/abs/2012.11099v2
• Date: Fri, 15 Jan 2021 02:12:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-27 06:46:22.698236
• Title: A Graph Reasoning Network for Multi-turn Response Selection via Customized Pre-training
• Title（参考訳）: カスタマイズ事前学習によるマルチターン応答選択のためのグラフ推論ネットワーク
• Authors: Yongkang Liu, Shi Feng, Daling Wang, Kaisong Song, Feiliang Ren, Yifei Zhang
• Abstract要約: 本稿では,この問題に対処するグラフ推論ネットワーク(GRN)を提案する。 GRNはまずALBERTに基づく事前トレーニングを行います。 次に、シーケンス推論とグラフ推論構造を備えた統合ネットワーク上でモデルを微調整する。
• 参考スコア（独自算出の注目度）: 11.532734330690584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate response selection for multi-turn conversation in retrieval-based chatbots. Existing studies pay more attention to the matching between utterances and responses by calculating the matching score based on learned features, leading to insufficient model reasoning ability. In this paper, we propose a graph-reasoning network (GRN) to address the problem. GRN first conducts pre-training based on ALBERT using next utterance prediction and utterance order prediction tasks specifically devised for response selection. These two customized pre-training tasks can endow our model with the ability of capturing semantical and chronological dependency between utterances. We then fine-tune the model on an integrated network with sequence reasoning and graph reasoning structures. The sequence reasoning module conducts inference based on the highly summarized context vector of utterance-response pairs from the global perspective. The graph reasoning module conducts the reasoning on the utterance-level graph neural network from the local perspective. Experiments on two conversational reasoning datasets show that our model can dramatically outperform the strong baseline methods and can achieve performance which is close to human-level.
• Abstract（参考訳）: 検索型チャットボットにおけるマルチターン会話に対する応答選択について検討する。 既存の研究は、学習特徴に基づくマッチングスコアを計算することにより、発話と応答のマッチングにより多くの注意を払っており、モデル推論能力は不十分である。 本稿では,この問題に対処するグラフ推論ネットワーク(GRN)を提案する。 GRNはまず, ALBERTに基づく事前学習を行い, 次の発話予測と, 応答選択のために特別に考案された発話順序予測タスクを用いる。 これら2つのカスタマイズされた事前学習タスクは、発話間の意味的および時間的依存関係をキャプチャする能力によって、私たちのモデルに役立てることができる。 次に、シーケンス推論とグラフ推論構造を備えた統合ネットワーク上でモデルを微調整する。 シーケンス推論モジュールは、大域的な視点から発話-応答対の高度に要約された文脈ベクトルに基づいて推論を行う。 グラフ推論モジュールは、局所的な視点から発話レベルグラフニューラルネットワーク上で推論を行う。 2つの会話推論データセットの実験により、我々のモデルは強力なベースライン手法を劇的に上回り、人間に近い性能を達成できることが示された。

関連論文リスト

• Integrating Large Language Models with Graph-based Reasoning for Conversational Question Answering [58.17090503446995]
  我々は,テキストや知識グラフ,テーブル,インフォボックスといった異質な情報源から収集された証拠について,文脈における質問の理解と推論の課題を組み合わせた会話型質問応答タスクに着目する。 提案手法はグラフ構造表現を用いて質問とその文脈に関する情報を集約する。
  論文  参考訳（メタデータ） (2024-06-14T13:28:03Z)
• Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
  言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• On Discprecncies between Perturbation Evaluations of Graph Neural Network Attributions [49.8110352174327]
  我々は、グラフ領域で以前に検討されていない視点から帰属法を評価する:再学習。 中心となる考え方は、属性によって識別される重要な(あるいは重要でない)関係でネットワークを再訓練することである。 我々は4つの最先端GNN属性法と5つの合成および実世界のグラフ分類データセットについて分析を行った。
  論文  参考訳（メタデータ） (2024-01-01T02:03:35Z)
• Retrieval-Augmented Neural Response Generation Using Logical Reasoning and Relevance Scoring [2.3590037806133024]
  本稿では,知識基底型応答生成に対する新しいアプローチを提案する。 検索強化された言語モデルと論理的推論を組み合わせる。 実験結果から,(確率的)論理的推論と会話関連性スコアの組合せは,応答の事実性と流布性の両方を増大させることが示された。
  論文  参考訳（メタデータ） (2023-10-20T15:05:18Z)
• IRRGN: An Implicit Relational Reasoning Graph Network for Multi-turn Response Selection [4.471148909362883]
  Graph Networkへのインプシット推論は、発話間の暗黙的な抽出と、発話とオプションの抽出を目的としている。 モデルは、初めて MuTual データセットで人のパフォーマンスを上回ります。
  論文  参考訳（メタデータ） (2022-12-01T13:17:25Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Question-Answer Sentence Graph for Joint Modeling Answer Selection [122.29142965960138]
  我々は,質問文,質問文,回答文のペア間のスコアを計算するための最先端(SOTA)モデルを訓練し,統合する。 オンライン推論は、目に見えないクエリのAS2タスクを解決するために実行される。
  論文  参考訳（メタデータ） (2022-02-16T05:59:53Z)
• A Hierarchical Reasoning Graph Neural Network for The Automatic Scoring of Answer Transcriptions in Video Job Interviews [14.091472037847499]
  質問応答対の自動評価のための階層型推論グラフニューラルネットワーク(HRGNN)を提案する。 我々は,現在QAセッションの相互作用状態をモデル化するために,意味レベル推論グラフアテンションネットワークを利用する。 最後に,最終予測のための時間的質問応答対を表すゲート再帰単位エンコーダを提案する。
  論文  参考訳（メタデータ） (2020-12-22T12:27:45Z)
• Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
  我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。 我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。 実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-09-14T08:44:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。