論文の概要: Position Matters! Empirical Study of Order Effect in Knowledge-grounded Dialogue

• arxiv url: http://arxiv.org/abs/2302.05888v1
• Date: Sun, 12 Feb 2023 10:13:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-14 18:08:06.011684
• Title: Position Matters! Empirical Study of Order Effect in Knowledge-grounded Dialogue
• Title（参考訳）: ポジションが重要! 知識接地対話における秩序効果の実証的研究
• Authors: Hsuan Su, Shachi H Kumar, Sahisnu Mazumder, Wenda Chen, Ramesh Manuvinakurike, Eda Okur, Saurav Sahay, Lama Nachman, Shang-Tse Chen, Hung-yi Lee
• Abstract要約: 本稿では,知識集合の順序が自己回帰対話システムの応答にどのように影響するかを検討する。 本稿では,知識入力の位置埋め込みを変更することで,注文効果を緩和する,シンプルで斬新な手法を提案する。
• 参考スコア（独自算出の注目度）: 54.98184262897166
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the power of large pretrained language models, various research works have integrated knowledge into dialogue systems. The traditional techniques treat knowledge as part of the input sequence for the dialogue system, prepending a set of knowledge statements in front of dialogue history. However, such a mechanism forces knowledge sets to be concatenated in an ordered manner, making models implicitly pay imbalanced attention to the sets during training. In this paper, we first investigate how the order of the knowledge set can influence autoregressive dialogue systems' responses. We conduct experiments on two commonly used dialogue datasets with two types of transformer-based models and find that models view the input knowledge unequally. To this end, we propose a simple and novel technique to alleviate the order effect by modifying the position embeddings of knowledge input in these models. With the proposed position embedding method, the experimental results show that each knowledge statement is uniformly considered to generate responses.
• Abstract（参考訳）: 大規模な事前学習言語モデルの力により、様々な研究が対話システムに知識を取り入れている。 従来の手法では、知識を対話システムの入力シーケンスの一部として扱い、対話履歴の前に一連の知識文を前倒しする。 しかし、そのようなメカニズムは知識集合を順序づけられた方法で連結させ、モデルがトレーニング中に集合に不均衡な注意を払うようにする。 本稿では,まず,知識集合の順序が自己回帰対話システムの応答に与える影響について検討する。 我々は,2種類のトランスフォーマーモデルを用いた2種類の対話データセットの実験を行い,モデルが入力知識を不平等に見ることを発見した。 そこで本研究では,これらのモデルにおける知識入力の位置埋め込みを変更することにより,順序効果を緩和する簡便で新しい手法を提案する。 提案手法により,実験結果から,各知識文が一様に応答すると考えられることがわかった。

関連論文リスト

• Bridging Information Gaps in Dialogues With Grounded Exchanges Using Knowledge Graphs [4.449835214520727]
  対話的接地のための大規模言語モデルの可能性について検討する。 私たちのアプローチでは、5つの知識領域にまたがる人間の会話を注釈付けして、BridgeKGと呼ばれる対話コーパスを作成します。 本研究は,これらのモデルが会話ベースタスクや一般的な予測誤りに対して,コンテキスト内学習をどのように利用するかについての知見を提供する。
  論文  参考訳（メタデータ） (2024-08-02T08:07:15Z)
• PK-Chat: Pointer Network Guided Knowledge Driven Generative Dialogue Model [79.64376762489164]
  PK-Chatは、知識グラフ上のポインタネットワークと、事前訓練された言語モデルを組み合わせた、ポインタネットワーク誘導生成対話モデルである。 PK-Chatが対話で生成した単語は、単語リストの予測と外部知識グラフ知識の直接予測から導かれる。 PK-Chatに基づく対話システムは、地球科学の学術シナリオ向けに構築されている。
  論文  参考訳（メタデータ） (2023-04-02T18:23:13Z)
• KPT: Keyword-guided Pre-training for Grounded Dialog Generation [82.68787152707455]
  KPT(Guided Pre-Training)は,グラウンドドダイアログ生成のための自己教師付き事前学習手法である。 具体的には、事前訓練された言語モデルを用いて、ダイアログ内の最も不確実なトークンをキーワードとして抽出する。 我々は,対話行為,知識グラフ,ペルソナ記述,ウィキペディアの文節など,数発の知識ベース生成タスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-12-04T04:05:01Z)
• DialoKG: Knowledge-Structure Aware Task-Oriented Dialogue Generation [9.186215038100904]
  本稿では,言語モデルに知識を効果的に組み込んだタスク指向対話システムであるDialoKGを提案する。 提案システムでは,リレーショナル知識を知識グラフとみなし,構造認識型知識埋め込み技術を導入する。 実験的な評価は、いくつかの標準ベンチマークデータセットにおける最先端手法に対するDialoKGの有効性を示す。
  論文  参考訳（メタデータ） (2022-04-19T22:26:18Z)
• Achieving Conversational Goals with Unsupervised Post-hoc Knowledge Injection [37.15893335147598]
  現在のニューラルダイアログモデルの制限は、生成された応答における特異性と情報性の欠如に悩まされる傾向があることである。 本稿では,対話履歴と既存の対話モデルから初期応答の両方を条件とした,多様な知識スニペットの集合を検索する,ポストホックな知識注入手法を提案する。 我々は,各検索したスニペットを,勾配に基づく復号法を用いて初期応答に個別に注入し,教師なしランキングステップで最終応答を選択する複数の候補応答を構築する。
  論文  参考訳（メタデータ） (2022-03-22T00:42:27Z)
• Towards Large-Scale Interpretable Knowledge Graph Reasoning for Dialogue Systems [109.16553492049441]
  よりスケーラブルで一般化可能な対話システムに知識推論機能を組み込む新しい手法を提案する。 我々の知識を最大限に活用するために、変圧器モデルが微分可能な知識グラフを解析して応答を生成するのは、これが初めてである。
  論文  参考訳（メタデータ） (2022-03-20T17:51:49Z)
• Knowledge-Grounded Dialogue Generation with a Unified Knowledge Representation [78.85622982191522]
  既存のシステムは、トレーニングデータでカバーされる限られたトピックのために、目に見えないトピックでうまく機能しない。 本稿では,異なる知識源を均質化した言語モデルであるPLUGについて述べる。 完全に教師された設定の下で最先端のメソッドと同等のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2021-12-15T07:11:02Z)
• Multi-turn Dialogue Reading Comprehension with Pivot Turns and Knowledge [43.352833140317486]
  マルチターン対話読解は、機械に対話コンテキストを読み、応答選択や回答質問といったタスクを解くことを目的としている。 この研究は、ピボット発話として重要なターンを抽出することで、上記の2つの課題に対処する最初の試みである。 本稿では,対話理解のためのトランスフォーマーに基づく言語モデル上に,ピボット指向の深層選択モデル(PoDS)を提案する。
  論文  参考訳（メタデータ） (2021-02-10T15:00:12Z)
• Sequential Latent Knowledge Selection for Knowledge-Grounded Dialogue [51.513276162736844]
  この問題に対する最初のアプローチとして,逐次潜在変数モデルを提案する。 シーケンシャル・ナレッジ・トランスフォーマー (SKT) という名前のモデルは、知識よりも先行と後続の分布を追跡することができる。
  論文  参考訳（メタデータ） (2020-02-18T11:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。