論文の概要: Advanced Conditional Variational Autoencoders (A-CVAE): Towards interpreting open-domain conversation generation via disentangling latent feature representation

• arxiv url: http://arxiv.org/abs/2207.12696v1
• Date: Tue, 26 Jul 2022 07:39:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-27 12:12:35.302001
• Title: Advanced Conditional Variational Autoencoders (A-CVAE): Towards interpreting open-domain conversation generation via disentangling latent feature representation
• Title（参考訳）: advanced conditional variational autoencoder (a-cvae) : disentangling latent feature representation によるオープンドメイン会話生成の解釈に向けて
• Authors: Ye Wang, Jingbo Liao, Hong Yu, Guoyin Wang, Xiaoxia Zhang and Li Liu
• Abstract要約: 本稿では,メソスコピックスケールの特徴的絡み合いを伴う認知的アプローチを通じて,先行知識による生成モデルを活用することを提案する。 本稿では,潜在空間分布の解釈可能性を客観的に評価できるオープンドメイン対話のための新しい指標を提案する。
• 参考スコア（独自算出の注目度）: 15.742077523458995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Currently end-to-end deep learning based open-domain dialogue systems remain black box models, making it easy to generate irrelevant contents with data-driven models. Specifically, latent variables are highly entangled with different semantics in the latent space due to the lack of priori knowledge to guide the training. To address this problem, this paper proposes to harness the generative model with a priori knowledge through a cognitive approach involving mesoscopic scale feature disentanglement. Particularly, the model integrates the macro-level guided-category knowledge and micro-level open-domain dialogue data for the training, leveraging the priori knowledge into the latent space, which enables the model to disentangle the latent variables within the mesoscopic scale. Besides, we propose a new metric for open-domain dialogues, which can objectively evaluate the interpretability of the latent space distribution. Finally, we validate our model on different datasets and experimentally demonstrate that our model is able to generate higher quality and more interpretable dialogues than other models.
• Abstract（参考訳）: 現在、エンドツーエンドのディープラーニングベースのオープンドメイン対話システムはブラックボックスモデルのままであり、データ駆動モデルで無関係なコンテンツを容易に生成できる。 特に、潜在変数は、トレーニングを指導するための事前知識の欠如により、潜在空間における異なる意味論と非常に絡み合っている。 そこで本研究では,メソスコピックスケールの特徴的絡み合いを伴う認知的アプローチを用いて,先行知識を用いた生成モデルを提案する。 特に、モデルは、訓練のためのマクロレベルのガイド付きカテゴリ知識とマイクロレベルのオープンドメイン対話データを統合し、事前知識を潜時空間に活用することにより、メソスコープスケール内の潜時変数をアンタングルすることができる。 さらに,潜在空間分布の解釈可能性を客観的に評価できるオープンドメイン対話のための新しい指標を提案する。 最後に、異なるデータセット上でモデルの検証を行い、我々のモデルが他のモデルよりも高品質で解釈可能な対話を生成できることを実験的に実証する。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• MergeNet: Knowledge Migration across Heterogeneous Models, Tasks, and Modalities [72.68829963458408]
  異種モデルのパラメータ空間のギャップを埋めることを学ぶMergeNetを提案する。 MergeNetの中核となるメカニズムはパラメータアダプタにあり、ソースモデルの低ランクパラメータをクエリすることで動作する。 MergeNetは両方のモデルと共に学習され、我々のフレームワークは、現在のステージに関する知識を動的に転送し、適応することができます。
  論文  参考訳（メタデータ） (2024-04-20T08:34:39Z)
• Diversity-Aware Coherence Loss for Improving Neural Topic Models [20.98172300869239]
  本稿では,コーパスレベルのコヒーレンススコアの学習を促す新しい多様性を考慮したコヒーレンス損失を提案する。 複数のデータセットに対する実験結果から,本手法はニューラルトピックモデルの性能を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2023-05-25T16:01:56Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Learning Semantic Textual Similarity via Topic-informed Discrete Latent Variables [17.57873577962635]
  我々は、意味的テキスト類似性のためのトピックインフォームド離散潜在変数モデルを開発した。 我々のモデルはベクトル量子化による文対表現のための共有潜在空間を学習する。 我々のモデルは意味的テキスト類似性タスクにおいて、いくつかの強力な神経ベースラインを超えることができることを示す。
  論文  参考訳（メタデータ） (2022-11-07T15:09:58Z)
• Learning Interpretable Latent Dialogue Actions With Less Supervision [3.42658286826597]
  本稿では,個別変数を用いたタスク指向対話のモデル化のための新しいアーキテクチャを提案する。 本モデルは,変化型リカレントニューラルネットワーク(VRNN)に基づいており,意味情報の明示的なアノテーションを必要としない。
  論文  参考訳（メタデータ） (2022-09-22T16:14:06Z)
• QAGAN: Adversarial Approach To Learning Domain Invariant Language Features [0.76146285961466]
  ドメイン不変の特徴を学習するための敵対的学習手法について検討する。 EMスコアが15.2%改善され、ドメイン外の検証データセットでF1スコアが5.6%向上しました。
  論文  参考訳（メタデータ） (2022-06-24T17:42:18Z)
• RevUp: Revise and Update Information Bottleneck for Event Representation [16.54912614895861]
  機械学習では、潜在変数は基礎となるデータ構造をキャプチャする上で重要な役割を果たすが、しばしば教師なしである。 本稿では,側知識を用いて個別潜伏変数の学習を指示する半教師付き情報ボトルネックモデルを提案する。 提案手法は,既存のパラメータ注入法を一般化し,言語に基づくイベントモデリングにおけるアプローチの実証的なケーススタディを行う。
  論文  参考訳（メタデータ） (2022-05-24T17:54:59Z)
• Meta-learning using privileged information for dynamics [66.32254395574994]
  Neural ODE Processモデルを拡張して、Learning Using Privileged Information設定内の追加情報を使用します。 シミュレーション動的タスクの精度とキャリブレーションを向上した実験により拡張性を検証する。
  論文  参考訳（メタデータ） (2021-04-29T12:18:02Z)
• Context Decoupling Augmentation for Weakly Supervised Semantic Segmentation [53.49821324597837]
  微調整されたセマンティックセグメンテーションは、近年深く研究されている困難な問題です。 本稿では、オブジェクトが現れる固有のコンテキストを変更する Context Decoupling Augmentation (CDA) メソッドを紹介します。 提案手法の有効性を検証するため, PASCAL VOC 2012データセットにいくつかの代替ネットワークアーキテクチャを用いた広範な実験を行い, CDAが様々なWSSS手法を新たな最先端技術に拡張できることを実証した。
  論文  参考訳（メタデータ） (2021-03-02T15:05:09Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。