論文の概要: Multi-level Adaptive Contrastive Learning for Knowledge Internalization in Dialogue Generation

• arxiv url: http://arxiv.org/abs/2310.08943v1
• Date: Fri, 13 Oct 2023 08:16:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 13:41:56.054506
• Title: Multi-level Adaptive Contrastive Learning for Knowledge Internalization in Dialogue Generation
• Title（参考訳）: 対話生成における知識内部化のための多段階適応型コントラスト学習
• Authors: Chenxu Yang, Zheng Lin, Lanrui Wang, Chong Tian, Liang Pang, Jiangnan Li, Yanan Cao, Weiping Wang
• Abstract要約: 知識基底対話生成は、文脈を補うために外部知識を統合することを目的としている。 しかし、このモデルはしばしば、この情報を人間的な方法で応答に内部化するのに失敗する。 否定例を動的にサンプリングし,その後に退化挙動をペナルティ化する多段階適応コントラスト学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 37.68485801292299
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge-grounded dialogue generation aims to mitigate the issue of text degeneration by incorporating external knowledge to supplement the context. However, the model often fails to internalize this information into responses in a human-like manner. Instead, it simply inserts segments of the provided knowledge into generic responses. As a result, the generated responses tend to be tedious, incoherent, and in lack of interactivity which means the degeneration problem is still unsolved. In this work, we first find that such copying-style degeneration is primarily due to the weak likelihood objective, which allows the model to "cheat" the objective by merely duplicating knowledge segments in a superficial pattern matching based on overlap. To overcome this challenge, we then propose a Multi-level Adaptive Contrastive Learning (MACL) framework that dynamically samples negative examples and subsequently penalizes degeneration behaviors at both the token-level and sequence-level. Extensive experiments on the WoW dataset demonstrate the effectiveness of our approach across various pre-trained models.
• Abstract（参考訳）: 知識基底対話生成は、文脈を補うために外部知識を取り入れることで、テキストの劣化を緩和することを目的としている。 しかし、このモデルは、しばしば、この情報を人間のような方法で応答に内部化できない。 代わりに、提供される知識のセグメントを一般的な応答に挿入する。 その結果、生成した応答は退屈で不整合性があり、縮退問題は未解決であることを意味する相互作用性の欠如が生じる傾向にある。 そこで本研究では,このような複写スタイルの退化は,主に弱い可能性目標が原因であり,オーバーラップに基づく表面パターンマッチングにおいて,単に知識セグメントを重複させることで,目的を「熱く」することができる。 この課題を克服するために、陰例を動的にサンプリングし、トークンレベルとシーケンスレベルの両方で退化挙動を罰する多レベル適応コントラスト学習(MACL)フレームワークを提案する。 WoWデータセットの大規模な実験により、様々な事前学習モデルにまたがるアプローチの有効性が示された。

関連論文リスト

• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• Topic Modeling as Multi-Objective Contrastive Optimization [46.24876966674759]
  近年の表現学習アプローチは、ログライクリフのエビデンスローバウンド(ELBO)の重み付けされた線形結合と、入力文書のペアを対比する対照的な学習目標を最適化することにより、ニューラルトピックモデルを強化する。 本稿では,一組の入力文書間で共有される有用なセマンティクスを捉えるために,話題ベクトルの集合を指向した新しいコントラスト学習手法を提案する。 我々のフレームワークは、トピックコヒーレンス、トピックの多様性、下流のパフォーマンスの観点から、高性能なニューラルトピックモデルを一貫して生成する。
  論文  参考訳（メタデータ） (2024-02-12T11:18:32Z)
• Repetition In Repetition Out: Towards Understanding Neural Text Degeneration from the Data Perspective [91.14291142262262]
  この研究は、データの観点から、単純で基本的な説明を提示する。 予備調査では, 退化問題とトレーニングデータにおける反復の有無との間には強い相関関係がみられた。 実験の結果,訓練データにおける繰り返しのペナルティ化は,より大きなモデルサイズや命令のチューニングを考慮しても重要な課題であることがわかった。
  論文  参考訳（メタデータ） (2023-10-16T09:35:42Z)
• Hexa: Self-Improving for Knowledge-Grounded Dialogue System [13.293318039036562]
  本研究では,中間段階の生成性能を改善するための自己改善手法を開発した。 特に、適切な自己生成応答の多様性を高めるために、誘導プロンプトと改良された損失関数を備えた新しいブートストラップ方式を提案する。
  論文  参考訳（メタデータ） (2023-10-10T08:15:24Z)
• Utterance Rewriting with Contrastive Learning in Multi-turn Dialogue [22.103162555263143]
  比較学習とマルチタスク学習を導入し、問題を共同でモデル化する。 提案手法は,複数の公開データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-22T10:13:27Z)
• Adaptive Bridge between Training and Inference for Dialogue [36.64781557775641]
  そこで本研究では,新たな適応型スイッチング機構を提案する。 提案手法は,メートル法に基づく評価と人的評価の観点から,大幅な改善を実現している。
  論文  参考訳（メタデータ） (2021-10-22T02:43:27Z)
• Stateful Offline Contextual Policy Evaluation and Learning [88.9134799076718]
  我々は、シーケンシャルデータから、政治以外の評価と学習について研究する。 動的パーソナライズされた価格設定などの問題の因果構造を形式化する。 本報告では,本クラスにおけるアウト・オブ・サンプル・ポリシーの性能改善について述べる。
  論文  参考訳（メタデータ） (2021-10-19T16:15:56Z)
• Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
  質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。 Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。 本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
  論文  参考訳（メタデータ） (2020-09-19T02:41:04Z)
• A Controllable Model of Grounded Response Generation [122.7121624884747]
  現在のエンドツーエンドのニューラルネットワークモデルは、応答生成プロセスにセマンティックコントロールを課す柔軟性を本質的に欠いている。 我々は制御可能な接地応答生成(CGRG)と呼ばれるフレームワークを提案する。 このフレームワークを用いることで、会話のようなRedditデータセットでトレーニングされた、新しいインダクティブアテンション機構を備えたトランスフォーマーベースのモデルが、強力な生成ベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2020-05-01T21:22:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。