論文の概要: Mitigating the Negative Impact of Over-association for Conversational Query Production

• arxiv url: http://arxiv.org/abs/2409.19572v1
• Date: Sun, 29 Sep 2024 06:19:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:07:14.980816
• Title: Mitigating the Negative Impact of Over-association for Conversational Query Production
• Title（参考訳）: 会話クエリ生成におけるオーバーアソシエーションの負の影響について
• Authors: Ante Wang, Linfeng Song, Zijun Min, Ge Xu, Xiaoli Wang, Junfeng Yao, Jinsong Su,
• Abstract要約: 対話型クエリ生成は、対話履歴から検索クエリを生成することを目的としており、検索エンジンから関連する知識を取得するために使用される。 従来のモデルはデータ飢餓の問題に悩まされており、対話履歴から重要な概念を落とし、推論時に無関係な概念を生成する傾向がある。 複数の視点からこれらの問題を緩和するための訓練のための効果的なインスタンスレベルの重み付け戦略を提案する。
• 参考スコア（独自算出の注目度）: 44.661864532728615
• License:
• Abstract: Conversational query generation aims at producing search queries from dialogue histories, which are then used to retrieve relevant knowledge from a search engine to help knowledge-based dialogue systems. Trained to maximize the likelihood of gold queries, previous models suffer from the data hunger issue, and they tend to both drop important concepts from dialogue histories and generate irrelevant concepts at inference time. We attribute these issues to the over-association phenomenon where a large number of gold queries are indirectly related to the dialogue topics, because annotators may unconsciously perform reasoning with their background knowledge when generating these gold queries. We carefully analyze the negative effects of this phenomenon on pretrained Seq2seq query producers and then propose effective instance-level weighting strategies for training to mitigate these issues from multiple perspectives. Experiments on two benchmarks, Wizard-of-Internet and DuSinc, show that our strategies effectively alleviate the negative effects and lead to significant performance gains (2%-5% across automatic metrics and human evaluation). Further analysis shows that our model selects better concepts from dialogue histories and is 10 times more data efficient than the baseline. The code is available at https://github.com/DeepLearnXMU/QG-OverAsso.
• Abstract（参考訳）: 会話クエリ生成は、対話履歴から検索クエリを生成することを目的としており、このクエリは、知識に基づく対話システムを支援するために、検索エンジンから関連する知識を取得するために使用される。 金のクエリの可能性を最大化するために訓練された以前のモデルは、データ飢餓の問題に悩まされ、対話履歴から重要な概念を落とし、推論時に無関係な概念を生成する傾向がある。 これらの問題は、多くのゴールドクエリが対話トピックと間接的に関連しているオーバー・アソシエーション現象によるもので、アノテータは、これらのゴールドクエリを生成する際に、その背景知識で無意識に推論を行う可能性があるためである。 この現象が事前訓練したSeq2seqクエリー生成者に与える影響を慎重に分析し、これらの問題を複数の視点から緩和するための効果的なインスタンスレベルの重み付け戦略を提案する。 Wizard-of-InternetとDuSincという2つのベンチマークの実験は、私たちの戦略が負の効果を効果的に軽減し、パフォーマンスが大幅に向上することを示しています。 さらに,本モデルでは,対話履歴からより良い概念を選択し,ベースラインの10倍のデータ効率を示す。 コードはhttps://github.com/DeepLearnXMU/QG-OverAssoで公開されている。

関連論文リスト

• Response Enhanced Semi-supervised Dialogue Query Generation [40.17161986495854]
  ラベルのない会話でモデル性能を向上させるための半教師付き学習フレームワーク、SemiDQGを提案する。 まず、類似性に基づくクエリ選択手法を適用し、高品質なRA生成擬似クエリを選択する。 我々は、QPをさらに強化するためにREINFORCEアルゴリズムを採用し、RAによる報酬をきめ細かい訓練信号として利用する。
  論文  参考訳（メタデータ） (2023-12-20T02:19:54Z)
• PICK: Polished & Informed Candidate Scoring for Knowledge-Grounded Dialogue Systems [59.1250765143521]
  現在の知識接地対話システムは、生成された応答を人間に好まれる品質に合わせるのに失敗することが多い。 我々は,世代別再描画フレームワークであるPolseed & Informed Candidate Scoring (PICK)を提案する。 対話履歴に関連性を維持しつつ,より忠実な応答を生成するためのPICKの有効性を示す。
  論文  参考訳（メタデータ） (2023-09-19T08:27:09Z)
• Search-Engine-augmented Dialogue Response Generation with Cheaply Supervised Query Production [98.98161995555485]
  応答生成のために,任意の検索エンジンから膨大な動的情報にアクセス可能な対話モデルを提案する。 コアモジュールとして、クエリプロデューサを使用して、対話コンテキストからクエリを生成して、検索エンジンと対話する。 R@1とR@5のレートを62.4%と74.8%で達成できることを示す実験を行った。
  論文  参考訳（メタデータ） (2023-02-16T01:58:10Z)
• Achieving Conversational Goals with Unsupervised Post-hoc Knowledge Injection [37.15893335147598]
  現在のニューラルダイアログモデルの制限は、生成された応答における特異性と情報性の欠如に悩まされる傾向があることである。 本稿では,対話履歴と既存の対話モデルから初期応答の両方を条件とした,多様な知識スニペットの集合を検索する,ポストホックな知識注入手法を提案する。 我々は,各検索したスニペットを,勾配に基づく復号法を用いて初期応答に個別に注入し,教師なしランキングステップで最終応答を選択する複数の候補応答を構築する。
  論文  参考訳（メタデータ） (2022-03-22T00:42:27Z)
• Retrieval-Free Knowledge-Grounded Dialogue Response Generation with Adapters [52.725200145600624]
  軽量アダプタで事前学習した言語モデルに事前知識を注入し、検索プロセスをバイパスする KnowExpert を提案する。 実験結果から,KnowExpertは検索ベースラインと相容れない性能を示した。
  論文  参考訳（メタデータ） (2021-05-13T12:33:23Z)
• Ranking Enhanced Dialogue Generation [77.8321855074999]
  対話履歴を効果的に活用する方法は、マルチターン対話生成において重要な問題である。 これまでの研究は通常、歴史をモデル化するために様々なニューラルネットワークアーキテクチャを使用していた。 本稿では,ランキング拡張対話生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-13T01:49:56Z)
• Multi-Stage Conversational Passage Retrieval: An Approach to Fusing Term Importance Estimation and Neural Query Rewriting [56.268862325167575]
  マルチステージアドホックIRシステムにクエリ再構成を組み込んだ会話経路検索(ConvPR)に取り組む。 本稿では,1項の重要度推定と2項のニューラルクエリ書き換えという2つの手法を提案する。 前者に対しては、周波数に基づく信号を用いて会話コンテキストから抽出した重要な用語を用いて会話クエリを拡張する。 後者では,会話クエリを,事前訓練されたシーケンス列列列モデルを用いて,自然な,スタンドアロンの,人間の理解可能なクエリに再構成する。
  論文  参考訳（メタデータ） (2020-05-05T14:30:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。