論文の概要: Learning Disentangled Semantic Spaces of Explanations via Invertible Neural Networks

• arxiv url: http://arxiv.org/abs/2305.01713v1
• Date: Tue, 2 May 2023 18:27:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-04 16:57:55.960392
• Title: Learning Disentangled Semantic Spaces of Explanations via Invertible Neural Networks
• Title（参考訳）: 可逆ニューラルネットワークによる説明の絡み合った意味空間の学習
• Authors: Yingji Zhang, Danilo S. Carvalho, Ian Pratt-Hartmann, Andr\'e Freitas
• Abstract要約: 本研究では、フローベース可逆ニューラルネットワーク(INN)のサポートにより、BERT-GPT2オートエンコーダの隠れた空間をより分離可能なセマンティック空間に変換する手法を提案する。 実験結果から,IDNは分散した隠れ空間を意味的に不整合な潜在空間に変換し,最近の最先端モデルと比較した場合,解釈性や制御性が向上することが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Disentangling sentence representations over continuous spaces can be a critical process in improving interpretability and semantic control by localising explicit generative factors. Such process confers to neural-based language models some of the advantages that are characteristic of symbolic models, while keeping their flexibility. This work presents a methodology for disentangling the hidden space of a BERT-GPT2 autoencoder by transforming it into a more separable semantic space with the support of a flow-based invertible neural network (INN). Experimental results indicate that the INN can transform the distributed hidden space into a better semantically disentangled latent space, resulting in better interpretability and controllability, when compared to recent state-of-the-art models.
• Abstract（参考訳）: 連続空間上の文表現の分離は、明示的な生成因子を局所化することにより解釈可能性と意味制御を改善する上で重要なプロセスとなる。 このようなプロセスは、柔軟性を維持しながら、シンボリックモデルの特徴であるいくつかの利点をニューラルネットワーク言語モデルに委ねる。 本研究では,BERT-GPT2オートエンコーダの隠れた空間を,フローベース可逆ニューラルネットワーク(INN)をサポートすることで,より分離可能なセマンティック空間に変換する手法を提案する。 実験結果から,IDNは分散した隠れ空間を意味的に不整合な潜在空間に変換し,最近の最先端モデルと比較した場合,解釈性や制御性が向上することが示唆された。

関連論文リスト

• LlaMaVAE: Guiding Large Language Model Generation via Continuous Latent Sentence Spaces [1.529963465178546]
  本稿では,表現型エンコーダモデルとデコーダモデル(SentenceT5,LlaMA)とVAEアーキテクチャを組み合わせたLlaMaVAEを提案する。 実験の結果、LlaMaVAEは従来の最先端のVAE言語モデルであるOptimusよりも、様々なタスクで優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-20T17:25:23Z)
• Lexical semantics enhanced neural word embeddings [4.040491121427623]
  階層的適合は、IS-A階層に本質的に格納されている意味的類似性ニュアンスをモデル化するための新しいアプローチである。 その結果、後期核融合における意味的関係を持つ神経埋め込みを専門とする階層化の有効性が示された。
  論文  参考訳（メタデータ） (2022-10-03T08:10:23Z)
• Synonym Detection Using Syntactic Dependency And Neural Embeddings [3.0770051635103974]
  ベクトル空間モデルを用いた分布意味論の導出における構文依存の役割について検討する。 本研究は,ニューラルネットワークへの人間のコンパイルした意味知識の注入が分散分布の類似性に及ぼす影響について検討する。 この結果から,構文的条件付きコンテキストは,非条件付きコンテキストよりも語彙的意味論の解釈が優れていることが示唆された。
  論文  参考訳（メタデータ） (2022-09-30T03:16:41Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• Preliminary study on using vector quantization latent spaces for TTS/VC systems with consistent performance [55.10864476206503]
  本稿では,潜在言語埋め込みをモデル化するための量子化ベクトルの利用について検討する。 トレーニングにおいて、潜伏空間上の異なるポリシーを強制することにより、潜伏言語埋め込みを得ることができる。 実験の結果,ベクトル量子化法で構築した音声クローニングシステムは,知覚的評価の点でわずかに劣化していることがわかった。
  論文  参考訳（メタデータ） (2021-06-25T07:51:35Z)
• Context Decoupling Augmentation for Weakly Supervised Semantic Segmentation [53.49821324597837]
  微調整されたセマンティックセグメンテーションは、近年深く研究されている困難な問題です。 本稿では、オブジェクトが現れる固有のコンテキストを変更する Context Decoupling Augmentation (CDA) メソッドを紹介します。 提案手法の有効性を検証するため, PASCAL VOC 2012データセットにいくつかの代替ネットワークアーキテクチャを用いた広範な実験を行い, CDAが様々なWSSS手法を新たな最先端技術に拡張できることを実証した。
  論文  参考訳（メタデータ） (2021-03-02T15:05:09Z)
• APo-VAE: Text Generation in Hyperbolic Space [116.11974607497986]
  本稿では,双曲型潜在空間におけるテキスト生成について検討し,連続的な階層表現を学習する。 適応型ポインケア可変オートエンコーダ (APo-VAE) を提示し, ポインケア球上における潜伏変数の事前および変動後部の両方を包み込み正規分布により定義する。 言語モデリングと対話応答生成における実験は,提案したAPo-VAEモデルの有効性を示す。
  論文  参考訳（メタデータ） (2020-04-30T19:05:41Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• Discrete Variational Attention Models for Language Generation [51.88612022940496]
  本稿では,言語における離散性に起因する注意機構のカテゴリー分布を考慮した離散的変動注意モデルを提案する。 離散性の特質により,提案手法の訓練は後部崩壊に支障を来さない。
  論文  参考訳（メタデータ） (2020-04-21T05:49:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。