論文の概要: Multi-turn Response Selection with Commonsense-enhanced Language Models
- arxiv url: http://arxiv.org/abs/2407.18479v1
- Date: Fri, 26 Jul 2024 03:13:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-29 14:29:54.723907
- Title: Multi-turn Response Selection with Commonsense-enhanced Language Models
- Title（参考訳）: 常識強化言語モデルを用いたマルチターン応答選択
- Authors: Yuandong Wang, Xuhui Ren, Tong Chen, Yuxiao Dong, Nguyen Quoc Viet Hung, Jie Tang,
- Abstract要約: 我々は、事前学習された言語モデルとグラフニューラルネットワーク(SinLG)が融合したシームズネットワークを設計する。
SinLGは、事前訓練された言語モデル(PLM)を利用して、文脈と応答候補における単語相関をキャッチする。
GNNはPLMの微調整を支援することを目的としており、関連する記憶を刺激してパフォーマンスの向上を目指している。
- 参考スコア（独自算出の注目度）: 32.921901489497714
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As a branch of advanced artificial intelligence, dialogue systems are prospering. Multi-turn response selection is a general research problem in dialogue systems. With the assistance of background information and pre-trained language models, the performance of state-of-the-art methods on this problem gains impressive improvement. However, existing studies neglect the importance of external commonsense knowledge. Hence, we design a Siamese network where a pre-trained Language model merges with a Graph neural network (SinLG). SinLG takes advantage of Pre-trained Language Models (PLMs) to catch the word correlations in the context and response candidates and utilizes a Graph Neural Network (GNN) to reason helpful common sense from an external knowledge graph. The GNN aims to assist the PLM in fine-tuning, and arousing its related memories to attain better performance. Specifically, we first extract related concepts as nodes from an external knowledge graph to construct a subgraph with the context response pair as a super node for each sample. Next, we learn two representations for the context response pair via both the PLM and GNN. A similarity loss between the two representations is utilized to transfer the commonsense knowledge from the GNN to the PLM. Then only the PLM is used to infer online so that efficiency can be guaranteed. Finally, we conduct extensive experiments on two variants of the PERSONA-CHAT dataset, which proves that our solution can not only improve the performance of the PLM but also achieve an efficient inference.
- Abstract（参考訳）: 高度な人工知能の分野として、対話システムは繁栄している。
マルチターン応答選択は対話システムにおける一般的な研究課題である。
背景情報と事前学習言語モデルの助けを借りて、この問題に対する最先端の手法の性能が著しく向上する。
しかし、既存の研究では、外部の常識知識の重要性は無視されている。
そこで我々は,事前学習された言語モデルとグラフニューラルネットワーク(SinLG)が融合する,シームズネットワークを設計する。
SinLGは、事前訓練された言語モデル(PLM)を利用して、文脈と応答候補における単語相関をキャッチし、グラフニューラルネットワーク(GNN)を使用して、外部知識グラフから有用な共通感覚を推論する。
GNNはPLMの微調整を支援することを目的としており、関連する記憶を刺激してパフォーマンスの向上を目指している。
具体的には、まず外部知識グラフから関連する概念をノードとして抽出し、各サンプルに対してコンテキスト応答対をスーパーノードとしてサブグラフを構築する。
次に、PLMとGNNの両方を通して、文脈応答対の2つの表現を学習する。
2つの表現間の類似性損失を利用して、共通センスの知識をGNNからPLMに転送する。
そして、PLMのみがオンラインでの推論に使われ、効率が保証される。
最後に, PERSONA-CHATデータセットの2つの変種について広範な実験を行い, 提案手法がPLMの性能を向上させるだけでなく, 効率的な推論も達成できることを証明した。
関連論文リスト
- LOGIN: A Large Language Model Consulted Graph Neural Network Training Framework [30.54068909225463]
我々は,GNN設計プロセスの合理化とLarge Language Models(LLM)の利点を活用して,下流タスクにおけるGNNの性能向上を目指す。
我々は,LLMs-as-Consultants(LLMs-as-Consultants)という新たなパラダイムを策定し,LLMとGNNを対話的に統合する。
両グラフのノード分類におけるLOGINの有効性を実証的に評価した。
論文 参考訳（メタデータ） (2024-05-22T18:17:20Z) - G-SAP: Graph-based Structure-Aware Prompt Learning over Heterogeneous Knowledge for Commonsense Reasoning [8.02547453169677]
本稿では,G-SAP という名称のコモンセンス推論のためのグラフベース構造認識プロンプト学習モデルを提案する。
特にエビデンスグラフは、ConceptNet、Wikipedia、Cambridge Dictionaryといった複数の知識ソースを統合することで構築される。
その結果、既存のモデル、特にOpenbookQAデータセット上のSoTA LM+GNNsモデルよりも6.12%改善された。
論文 参考訳（メタデータ） (2024-05-09T08:28:12Z) - ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained
Language Models for Question Answering over Knowledge Graph [142.42275983201978]
本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。
また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。
実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
論文 参考訳（メタデータ） (2023-12-30T07:18:54Z) - Graph Neural Networks Provably Benefit from Structural Information: A
Feature Learning Perspective [53.999128831324576]
グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。
本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
論文 参考訳（メタデータ） (2023-06-24T10:21:11Z) - Diverse and Faithful Knowledge-Grounded Dialogue Generation via
Sequential Posterior Inference [82.28542500317445]
本稿では,知識の選択と対話生成が可能な,逐次後推論(Sequential Posterior Inference, SPI)と呼ばれるエンドツーエンド学習フレームワークを提案する。
他の方法とは異なり、SPIは推論ネットワークを必要とせず、後部分布の単純な幾何学を仮定する。
論文 参考訳（メタデータ） (2023-06-01T21:23:13Z) - Learning Strong Graph Neural Networks with Weak Information [64.64996100343602]
我々は、弱い情報(GLWI)を用いたグラフ学習問題に対する原則的アプローチを開発する。
非完全構造を持つ入力グラフ上で長距離情報伝搬を行うデュアルチャネルGNNフレームワークであるD$2$PTを提案するが、グローバルな意味的類似性を符号化するグローバルグラフも提案する。
論文 参考訳（メタデータ） (2023-05-29T04:51:09Z) - Privacy-Preserving Representation Learning for Text-Attributed Networks
with Simplicial Complexes [24.82096971322501]
simplicial Complex (RT4SC) のためのテキスト属性を用いた学習ネットワーク表現について, simplicial Neural Network (SNN) を用いて検討する。
SNNの表現出力に対する2つの潜在的攻撃について検討する。
本稿では,SNNからセキュアな表現出力を学習するための乗算器のプライバシー保護決定性差分的個人交互方向法について検討する。
論文 参考訳（メタデータ） (2023-02-09T00:32:06Z) - Collaborative Reasoning on Multi-Modal Semantic Graphs for
Video-Grounded Dialogue Generation [53.87485260058957]
本研究では,対話コンテキストと関連ビデオに基づいて応答を生成するビデオグラウンド・ダイアログ生成について検討する。
本課題の主な課題は,(1)事前学習言語モデル(PLM)に映像データを統合することの難しさである。
異なるモーダルの推論を協調的に行うマルチエージェント強化学習法を提案する。
論文 参考訳（メタデータ） (2022-10-22T14:45:29Z) - Efficient and effective training of language and graph neural network
models [36.00479096375565]
我々は,大規模言語モデルとグラフニューラルネットワークを協調的に学習する,効率的な言語モデルGNN(LM-GNN)を提案する。
本フレームワークの有効性は、BERTモデルの段階的微調整をまず異種グラフ情報に適用し、次にGNNモデルを用いて達成する。
我々は,LM-GNNフレームワークを異なるデータセットの性能で評価し,提案手法の有効性を示す。
論文 参考訳（メタデータ） (2022-06-22T00:23:37Z) - On the Effectiveness of Neural Text Generation based Data Augmentation
for Recognition of Morphologically Rich Speech [0.0]
我々は、RNNLMからの知識をテキスト生成に基づくデータ拡張による単一パスBNLMに転送することで、会話音声書き起こしシステムのオンライン性能を大幅に改善した。
第1パスでRNN-BNLMを使用し、第2パスで、オフラインのASR結果をさらに改善できることが示される。
論文 参考訳（メタデータ） (2020-06-09T09:01:04Z) - Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。
そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
論文 参考訳（メタデータ） (2020-01-28T22:09:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。