論文の概要: Topic-VQ-VAE: Leveraging Latent Codebooks for Flexible Topic-Guided Document Generation

• arxiv url: http://arxiv.org/abs/2312.11532v1
• Date: Fri, 15 Dec 2023 15:01:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 18:42:54.639656
• Title: Topic-VQ-VAE: Leveraging Latent Codebooks for Flexible Topic-Guided Document Generation
• Title（参考訳）: Topic-VQ-VAE:フレキシブルなトピックガイドドドキュメント生成のための遅延コードブックの活用
• Authors: YoungJoon Yoo, Jongwon Choi
• Abstract要約: 本稿では,Vector-Quantized Variational Auto-Encoder(VQ-VAE)の潜在コードブックを利用したトピックモデリング手法を提案する。 Topic-VQ-VAEと呼ばれる新しい生成トピックモデルを提案する。
• 参考スコア（独自算出の注目度）: 13.344625561491497
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper introduces a novel approach for topic modeling utilizing latent codebooks from Vector-Quantized Variational Auto-Encoder~(VQ-VAE), discretely encapsulating the rich information of the pre-trained embeddings such as the pre-trained language model. From the novel interpretation of the latent codebooks and embeddings as conceptual bag-of-words, we propose a new generative topic model called Topic-VQ-VAE~(TVQ-VAE) which inversely generates the original documents related to the respective latent codebook. The TVQ-VAE can visualize the topics with various generative distributions including the traditional BoW distribution and the autoregressive image generation. Our experimental results on document analysis and image generation demonstrate that TVQ-VAE effectively captures the topic context which reveals the underlying structures of the dataset and supports flexible forms of document generation. Official implementation of the proposed TVQ-VAE is available at https://github.com/clovaai/TVQ-VAE.
• Abstract（参考訳）: 本稿では,ベクトル量子化変分オートエンコーダ~(vq-vae)からの潜在コードブックを用いて,事前学習された言語モデルなどの組込みのリッチな情報を離散的にカプセル化する新しい手法を提案する。 潜在コードブックの斬新な解釈と概念的バガオブワードとしての埋め込みから,各潜在コードブックに関連する原文書を逆生成するトピック-vq-vae~(tvq-vae)と呼ばれる新しい生成トピックモデルを提案する。 TVQ-VAEは、従来のBoW分布や自己回帰画像生成など、様々な生成分布でトピックを可視化することができる。 文書解析と画像生成に関する実験結果から,TVQ-VAEはデータセットの基盤構造を明らかにするトピックコンテキストを効果的に捉え,柔軟な文書生成形式をサポートすることを示す。 提案されたTVQ-VAEの公式実装はhttps://github.com/clovaai/TVQ-VAEで公開されている。

関連論文リスト

• Scalable Weibull Graph Attention Autoencoder for Modeling Document Networks [50.42343781348247]
  解析条件後部を解析し,推論精度を向上させるグラフポアソン因子分析法(GPFA)を開発した。 また,GPFAを多層構造に拡張したグラフPoisson gamma belief Network (GPGBN) を用いて,階層的な文書関係を複数の意味レベルで捉える。 本モデルでは,高品質な階層型文書表現を抽出し,様々なグラフ解析タスクにおいて有望な性能を実現する。
  論文  参考訳（メタデータ） (2024-10-13T02:22:14Z)
• RAQ-VAE: Rate-Adaptive Vector-Quantized Variational Autoencoder [3.7906296809297393]
  本稿では,2つの新しいコードブック表現手法による課題に対処するRate-Adaptive VQ-VAE(RAQ-VAE)フレームワークを紹介する。 実験により、RAQ-VAEは複数のレートで効率的な再構成性能を示し、従来の固定レートVQ-VAEモデルよりも優れていることがわかった。 この研究により、VQ-VAEの適応性と性能が向上し、データ再構成、生成、コンピュータビジョンタスクに広く応用されている。
  論文  参考訳（メタデータ） (2024-05-23T06:32:42Z)
• Exploring Pre-trained Text-to-Video Diffusion Models for Referring Video Object Segmentation [72.90144343056227]
  ビデオ理解タスクのためのテキスト・ツー・ビデオ拡散モデル(T2V)から生成した視覚的表現について検討する。 固定されたT2Vモデル上に構築された専用コンポーネントを備えた新しいフレームワーク「VD-IT」を紹介する。 我々のVD-ITは、既存の最先端手法を超越して、非常に競争力のある結果を得る。
  論文  参考訳（メタデータ） (2024-03-18T17:59:58Z)
• Controllable Topic-Focused Abstractive Summarization [57.8015120583044]
  制御された抽象的な要約は、特定の側面をカバーするために、ソース記事の凝縮したバージョンを作成することに焦点を当てる。 本稿では,トピックに着目した要約を生成可能なトランスフォーマーアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-11-12T03:51:38Z)
• Peek Across: Improving Multi-Document Modeling via Cross-Document Question-Answering [49.85790367128085]
  我々は,事前学習対象に答える新しいクロスドキュメント質問から,汎用的なマルチドキュメントモデルを事前学習する。 この新規なマルチドキュメントQA定式化は、クロステキスト情報関係をよりよく回復させるようモデルに指示する。 分類タスクや要約タスクに焦点を当てた従来のマルチドキュメントモデルとは異なり、事前学習対象の定式化により、短いテキスト生成と長いテキスト生成の両方を含むタスクを実行できる。
  論文  参考訳（メタデータ） (2023-05-24T17:48:40Z)
• BLIP-Diffusion: Pre-trained Subject Representation for Controllable Text-to-Image Generation and Editing [73.74570290836152]
  BLIP-Diffusionはマルチモーダル制御をサポートする新しい主観駆動画像生成モデルである。 他の主観駆動生成モデルとは異なり、BLIP-Diffusionは主観表現を提供するために事前訓練された新しいマルチモーダルエンコーダを導入する。
  論文  参考訳（メタデータ） (2023-05-24T04:51:04Z)
• Improving Contextualized Topic Models with Negative Sampling [3.708656266586146]
  本稿では,文脈化トピックモデルに対する負のサンプリング機構を提案し,生成したトピックの品質を向上する。 特に、モデルトレーニング中に生成された文書トピックベクトルを摂動させ、三重項損失を用いて、正しい文書トピックベクトルから入力文書に類似した文書を再構築することを奨励する。
  論文  参考訳（メタデータ） (2023-03-27T07:28:46Z)
• An Overview on Controllable Text Generation via Variational Auto-Encoders [15.97186478109836]
  ニューラルベース生成モデリングの最近の進歩は、コンピュータシステムが人間と会話できるという期待を再燃させた。 変分自動エンコーダ(VAE)のような潜在変数モデル(LVM)は、テキストデータの分布パターンを特徴付けるように設計されている。 この概要は、既存の生成方式、テキスト変分自動エンコーダに関連する問題、および制御可能な生成に関するいくつかのアプリケーションについて概説する。
  論文  参考訳（メタデータ） (2022-11-15T07:36:11Z)
• Topic-Guided Abstractive Multi-Document Summarization [21.856615677793243]
  多文書要約(MDS)の重要なポイントは、様々な文書間の関係を学習することである。 異種グラフとして複数の文書を表現できる新しい抽象MDSモデルを提案する。 我々は、クロスドキュメントセマンティックユニットとして機能する潜在トピックを共同で発見するために、ニューラルトピックモデルを採用している。
  論文  参考訳（メタデータ） (2021-10-21T15:32:30Z)
• Dynamical Variational Autoencoders: A Comprehensive Review [23.25573952809074]
  動的変分オートエンコーダ(DVAE)と呼ばれるモデルの一般的なクラスを紹介し,議論する。 我々は最近提案された7つのDVAEモデルについて詳述し、表記法とプレゼンテーションラインの均質化を目的としている。 我々は,これらの7つのDVAEモデルを再実装し,音声分析・再合成タスクで実施した実験結果を示す。
  論文  参考訳（メタデータ） (2020-08-28T11:49:33Z)
• Topic Adaptation and Prototype Encoding for Few-Shot Visual Storytelling [81.33107307509718]
  トピック間一般化の能力をモデル化するためのトピック適応型ストーリーテラを提案する。 また,アトピー内導出能力のモデル化を目的とした符号化手法の試作も提案する。 実験結果から,トピック適応とプロトタイプ符号化構造が相互に利益をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2020-08-11T03:55:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。