論文の概要: Towards Better Understanding with Uniformity and Explicit Regularization
of Embeddings in Embedding-based Neural Topic Models
- arxiv url: http://arxiv.org/abs/2206.07960v1
- Date: Thu, 16 Jun 2022 07:02:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-18 09:51:25.286649
- Title: Towards Better Understanding with Uniformity and Explicit Regularization
of Embeddings in Embedding-based Neural Topic Models
- Title（参考訳）: 埋め込み型ニューラルトピックモデルにおける均一性と埋め込みの明示的規則化
- Authors: Wei Shao, Lei Huang, Shuqi Liu, Shihua Ma, Linqi Song
- Abstract要約: 埋め込みベースのニューラルトピックモデルは、単語とトピックを同質な特徴空間に埋め込むことで、明示的に表現することができる。
埋め込みのトレーニングには明確な制約はなく、より広い最適化空間に繋がる。
本稿では,単語埋め込みとトピック埋め込みに特別に設計された訓練制約を適用した埋め込み正規化ニューラルトピックモデルを提案する。
- 参考スコア（独自算出の注目度）: 16.60033525943772
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Embedding-based neural topic models could explicitly represent words and
topics by embedding them to a homogeneous feature space, which shows higher
interpretability. However, there are no explicit constraints for the training
of embeddings, leading to a larger optimization space. Also, a clear
description of the changes in embeddings and the impact on model performance is
still lacking. In this paper, we propose an embedding regularized neural topic
model, which applies the specially designed training constraints on word
embedding and topic embedding to reduce the optimization space of parameters.
To reveal the changes and roles of embeddings, we introduce \textbf{uniformity}
into the embedding-based neural topic model as the evaluation metric of
embedding space. On this basis, we describe how embeddings tend to change
during training via the changes in the uniformity of embeddings. Furthermore,
we demonstrate the impact of changes in embeddings in embedding-based neural
topic models through ablation studies. The results of experiments on two
mainstream datasets indicate that our model significantly outperforms baseline
models in terms of the harmony between topic quality and document modeling.
This work is the first attempt to exploit uniformity to explore changes in
embeddings of embedding-based neural topic models and their impact on model
performance to the best of our knowledge.
- Abstract（参考訳）: 埋め込みベースのニューラルネットワークのトピックモデルは、単語やトピックを均質な特徴空間に埋め込むことで明示的に表現することができる。
しかし、埋め込みの訓練には明確な制約はなく、より広い最適化空間に繋がる。
また、埋め込みの変更とモデルパフォーマンスへの影響に関する明確な説明はいまだに欠けている。
本稿では、単語埋め込みとトピック埋め込みに関する特別に設計されたトレーニング制約を適用し、パラメータの最適化空間を削減する埋め込み正規化ニューラルトピックモデルを提案する。
埋め込みの変化と役割を明らかにするため,埋め込み空間の評価指標として,埋め込みに基づくニューラルトピックモデルに \textbf{uniformity} を導入する。
本稿では,組込みの均一性の変化を通じて,トレーニング中に組込みがどのように変化するかを説明する。
さらに,組込み型神経話題モデルにおける組込みの変化の影響をアブレーション研究を通して示す。
2つの主流データセットの実験結果から,本モデルがトピックの品質と文書モデリングの調和性において,ベースラインモデルを大幅に上回っていることが示唆された。
この研究は、埋め込みベースのニューラルトピックモデルの埋め込みの変化と、モデルパフォーマンスへの影響を私たちの知識の最大限に活用する最初の試みである。
関連論文リスト
- SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。
SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。
画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-19T17:32:15Z) - Enhancing Dynamical System Modeling through Interpretable Machine
Learning Augmentations: A Case Study in Cathodic Electrophoretic Deposition [0.8796261172196743]
本稿では,物理システムのモデリング向上を目的とした包括的データ駆動フレームワークを提案する。
実証的応用として,電顕的電気泳動沈着(EPD)のモデル化を追求する。
論文 参考訳（メタデータ） (2024-01-16T14:58:21Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳（メタデータ） (2023-11-13T01:48:08Z) - On the Embedding Collapse when Scaling up Recommendation Models [53.66285358088788]
埋め込み崩壊現象をスケーラビリティの阻害とみなし、埋め込み行列は低次元の部分空間を占有する傾向にある。
本稿では,組込み集合固有の相互作用モジュールを組み込んで,多様性を持つ組込み集合を学習する,単純かつ効果的な組込み設計を提案する。
論文 参考訳（メタデータ） (2023-10-06T17:50:38Z) - Diversity-Aware Coherence Loss for Improving Neural Topic Models [20.98172300869239]
本稿では,コーパスレベルのコヒーレンススコアの学習を促す新しい多様性を考慮したコヒーレンス損失を提案する。
複数のデータセットに対する実験結果から,本手法はニューラルトピックモデルの性能を著しく向上させることが示された。
論文 参考訳（メタデータ） (2023-05-25T16:01:56Z) - Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。
本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。
提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
論文 参考訳（メタデータ） (2022-12-09T03:58:22Z) - Improving Topic Segmentation by Injecting Discourse Dependencies [29.353285741379334]
本論文では, 談話依存構造を注入した談話認識型ニューラルトピックセグメンテーションモデルを提案する。
英語評価データセットに関する実証研究により,ニューラルネットワークのトピックセグメンタに上述の談話構造を注入することで,その性能が大幅に向上することが示された。
論文 参考訳（メタデータ） (2022-09-18T18:22:25Z) - On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。
このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。
我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
論文 参考訳（メタデータ） (2022-06-09T17:12:32Z) - Generative Counterfactuals for Neural Networks via Attribute-Informed
Perturbation [51.29486247405601]
AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。
異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。
実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
論文 参考訳（メタデータ） (2021-01-18T08:37:13Z) - A Discrete Variational Recurrent Topic Model without the
Reparametrization Trick [16.54912614895861]
離散確率変数を用いたニューラルトピックモデルの学習方法を示す。
複数のコーパスにまたがってパープレキシティと文書理解が改善された。
論文 参考訳（メタデータ） (2020-10-22T20:53:44Z) - Improving Neural Topic Models using Knowledge Distillation [84.66983329587073]
我々は,確率論的トピックモデルと事前学習されたトランスフォーマーの最適属性を組み合わせるために,知識蒸留を用いる。
我々のモジュラー手法は、どのニューラルトピックモデルでも簡単に適用でき、トピックの品質を向上させることができる。
論文 参考訳（メタデータ） (2020-10-05T22:49:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。