Fugu-MT 論文翻訳(概要): Diversity-Aware Coherence Loss for Improving Neural Topic Models

論文の概要: Diversity-Aware Coherence Loss for Improving Neural Topic Models

arxiv url: http://arxiv.org/abs/2305.16199v1
Date: Thu, 25 May 2023 16:01:56 GMT
ステータス: 処理完了
システム内更新日: 2023-05-26 13:58:59.543259
Title: Diversity-Aware Coherence Loss for Improving Neural Topic Models
Title（参考訳）: 多様性を考慮したニューラルトピックモデル改善のためのコヒーレンス損失
Authors: Raymond Li, Felipe Gonz\'alez-Pizarro, Linzi Xing, Gabriel Murray and Giuseppe Carenini
Abstract要約: 本稿では,コーパスレベルのコヒーレンススコアの学習を促す新しい多様性を考慮したコヒーレンス損失を提案する。複数のデータセットに対する実験結果から,本手法はニューラルトピックモデルの性能を著しく向上させることが示された。
参考スコア（独自算出の注目度）: 20.98172300869239
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The standard approach for neural topic modeling uses a variational autoencoder (VAE) framework that jointly minimizes the KL divergence between the estimated posterior and prior, in addition to the reconstruction loss. Since neural topic models are trained by recreating individual input documents, they do not explicitly capture the coherence between topic words on the corpus level. In this work, we propose a novel diversity-aware coherence loss that encourages the model to learn corpus-level coherence scores while maintaining a high diversity between topics. Experimental results on multiple datasets show that our method significantly improves the performance of neural topic models without requiring any pretraining or additional parameters.
Abstract（参考訳）: ニューラルトピックモデリングの標準的なアプローチは、リコンストラクション損失に加えて、推定後と前とのKLのばらつきを共同で最小化する変分オートエンコーダ(VAE)フレームワークを使用する。ニューラルトピックモデルは個々の入力文書を再生することによって訓練されるため、コーパスレベルのトピックワード間のコヒーレンスを明示的に捉えない。本研究では,トピック間の多様性を高く保ちながらコーパスレベルのコヒーレンススコアを学習することを促す,新たな多様性認識コヒーレンス損失を提案する。複数のデータセットを用いた実験の結果,前訓練や追加パラメータを必要とせず,ニューラルネットワークのトピックモデルの性能が大幅に向上した。

関連論文リスト

Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
論文参考訳（メタデータ） (2024-10-06T15:25:39Z)
Topic Modeling as Multi-Objective Contrastive Optimization [46.24876966674759]
近年の表現学習アプローチは、ログライクリフのエビデンスローバウンド(ELBO)の重み付けされた線形結合と、入力文書のペアを対比する対照的な学習目標を最適化することにより、ニューラルトピックモデルを強化する。本稿では,一組の入力文書間で共有される有用なセマンティクスを捉えるために,話題ベクトルの集合を指向した新しいコントラスト学習手法を提案する。我々のフレームワークは、トピックコヒーレンス、トピックの多様性、下流のパフォーマンスの観点から、高性能なニューラルトピックモデルを一貫して生成する。
論文参考訳（メタデータ） (2024-02-12T11:18:32Z)
Dynamical Hyperspectral Unmixing with Variational Recurrent Neural Networks [25.051918587650636]
MTHU(Multitemporal hyperspectral unmixing)は、ハイパースペクトル画像解析の基本的なツールである。本稿では,変分リカレントニューラルネットワークに基づく教師なしMTHUアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-03-19T04:51:34Z)
Towards Better Understanding with Uniformity and Explicit Regularization of Embeddings in Embedding-based Neural Topic Models [16.60033525943772]
埋め込みベースのニューラルトピックモデルは、単語とトピックを同質な特徴空間に埋め込むことで、明示的に表現することができる。埋め込みのトレーニングには明確な制約はなく、より広い最適化空間に繋がる。本稿では,単語埋め込みとトピック埋め込みに特別に設計された訓練制約を適用した埋め込み正規化ニューラルトピックモデルを提案する。
論文参考訳（メタデータ） (2022-06-16T07:02:55Z)
Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
論文参考訳（メタデータ） (2022-03-23T12:52:49Z)
Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
論文参考訳（メタデータ） (2020-12-17T15:19:29Z)
Sparsely constrained neural networks for model discovery of PDEs [0.0]
本稿では,任意のスパース回帰手法を用いて,ディープラーニングに基づくサロゲートのスパースパターンを決定するモジュラーフレームワークを提案する。異なるネットワークアーキテクチャと疎度推定器がモデル発見精度と収束性を,いくつかのベンチマーク例でどのように改善するかを示す。
論文参考訳（メタデータ） (2020-11-09T11:02:40Z)
Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文参考訳（メタデータ） (2020-10-25T18:51:15Z)
A Discrete Variational Recurrent Topic Model without the Reparametrization Trick [16.54912614895861]
離散確率変数を用いたニューラルトピックモデルの学習方法を示す。複数のコーパスにまたがってパープレキシティと文書理解が改善された。
論文参考訳（メタデータ） (2020-10-22T20:53:44Z)
Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できるこのモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。