論文の概要: Federated Natural Language Generation for Personalized Dialogue System

• arxiv url: http://arxiv.org/abs/2110.06419v1
• Date: Wed, 13 Oct 2021 00:59:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-15 03:19:05.836674
• Title: Federated Natural Language Generation for Personalized Dialogue System
• Title（参考訳）: 個人化対話システムのためのフェデレーション自然言語生成
• Authors: Yujie Lu, Chao Huang, Huanli Zhan, Yong Zhuang
• Abstract要約: 本稿では,分散デバイス上の様々なデータセットからパーソナライズされた表現を学習する,新しいFederated Natural Language Generationフレームワークを提案する。 FedNLGはまず、大きな対話コーパス上で標準的なニューラルネットワークモデルのパラメータを事前トレーニングし、その後、特定のデータセットにモデルパラメータとペルソナの埋め込みを微調整する。 コーネル・ムービー・ダイアログ・コーパス上での事前学習モデルと2つのTVシリーズデータセット上でのモデルの微調整により,本モデルの有効性を実証する。
• 参考スコア（独自算出の注目度）: 5.649931633964224
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural conversational models have long suffered from the problem of inconsistency and lacking coherent personality. To address the issue, persona-based models capturing individual characteristics have been proposed, but they still face the dilemma of model adaption and data privacy. To break this dilemma, we propose a novel Federated Natural Language Generation (FedNLG) framework, which learns personalized representations from various dataset on distributed devices, and thus implements the personalized dialogue system efficiently and safely. FedNLG first pre-trains parameters of standard neural conversational model over a large dialogue corpus, and then fine-tune the model parameters and persona embeddings on specific datasets, in a federated manner. Thus, the model could simultaneously learn the persona embeddings in local clients and learn shared model parameters by federated aggregation, which achieves accuracyprivacy balance. By conducting extensive experiments, we demonstrate the effectiveness of our model by pre-training model over Cornell Movie-Dialogs Corpus and fine-tuning the model over two TV series dataset.
• Abstract（参考訳）: 神経会話モデルは長い間、一貫性の欠如と一貫性の欠如という問題に苦しんできた。 この問題に対処するため、個々の特徴を捉えるペルソナベースのモデルが提案されているが、モデル適応とデータのプライバシーのジレンマに直面している。 このジレンマを解消するために,分散デバイス上で様々なデータセットからパーソナライズされた表現を学習し,効率的かつ安全にパーソナライズされた対話システムを実現する,新しいフェデレーション自然言語生成(fednlg)フレームワークを提案する。 FedNLGはまず、大きな対話コーパス上で標準的な対話モデルのパラメータを事前トレーニングし、その後、特定のデータセットにモデルパラメータとペルソナの埋め込みをフェデレートした方法で微調整する。 これにより、モデルはローカルクライアントにペルソナ埋め込みを同時に学習し、フェデレーションアグリゲーションによって共有モデルパラメータを学習し、精度のプライバシバランスを実現する。 本研究では,コーネル・ムービー・ダイアログ・コーパス上での事前学習モデルと,2つのテレビシリーズデータセット上での微調整によるモデルの有効性を実証する。

関連論文リスト

• Generative Pre-training for Speech with Flow Matching [81.59952572752248]
  我々は,フローマッチングとマスク条件を併用した60k時間の無転写音声に対して,SpeechFlowという生成モデルを事前学習した。 実験結果から,事前学習した生成モデルをタスク固有のデータで微調整し,音声強調,分離,合成に関する既存の専門家モデルに適合または超えることを示す。
  論文  参考訳（メタデータ） (2023-10-25T03:40:50Z)
• Federated Learning with Neural Graphical Models [2.2721854258621064]
  フェデレートラーニング(FL)は、プロプライエタリなデータに基づいたモデルを作成する必要性に対処する。 我々は,局所的なNGMモデルから平均情報を学習するグローバルなNGMモデルを維持するFLフレームワークを開発した。 我々は、CDCの乳幼児死亡データからインサイトを抽出するためのFedNGMsの使用を実験的に実証した。
  論文  参考訳（メタデータ） (2023-09-20T23:24:22Z)
• Towards Personalized Federated Learning via Heterogeneous Model Reassembly [84.44268421053043]
  pFedHRは、異種モデルの再組み立てを利用して、パーソナライズされたフェデレーション学習を実現するフレームワークである。 pFedHRは、動的に多様なパーソナライズされたモデルを自動生成する。
  論文  参考訳（メタデータ） (2023-08-16T19:36:01Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Self-augmented Data Selection for Few-shot Dialogue Generation [18.794770678708637]
  我々は,MR-to-Text生成問題に対処するために,自己学習フレームワークを採用する。 我々は,我々の生成モデルが最も不確実なデータを選択するための新しいデータ選択戦略を提案する。
  論文  参考訳（メタデータ） (2022-05-19T16:25:50Z)
• A Model-Agnostic Data Manipulation Method for Persona-based Dialogue Generation [107.82729587882397]
  現在のペルソナベースの対話データセットのスケールアップには費用がかかる。 このタスクの各データサンプルは、従来の対話データよりも複雑である。 本稿では,ペルソナをベースとした対話生成モデルにおいて,モデルに依存しないデータ操作手法を提案する。
  論文  参考訳（メタデータ） (2022-04-21T03:49:54Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Stochastic Natural Language Generation Using Dependency Information [0.7995360025953929]
  本稿では,自然言語テキストを生成するコーパスベースモデルを提案する。 我々のモデルは、特徴集合を通じてトレーニングデータから依存関係を符号化し、与えられた意味表現のための新しい依存木を生成する。 本モデルでは, 品質だけでなく, 情報性, 自然性といった面においても, 高品質な発話を生成できることが示されている。
  論文  参考訳（メタデータ） (2020-01-12T09:40:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。