論文の概要: NeuroMax: Enhancing Neural Topic Modeling via Maximizing Mutual Information and Group Topic Regularization
- arxiv url: http://arxiv.org/abs/2409.19749v1
- Date: Sun, 29 Sep 2024 15:59:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-05 17:49:48.541656
- Title: NeuroMax: Enhancing Neural Topic Modeling via Maximizing Mutual Information and Group Topic Regularization
- Title（参考訳）: NeuroMax: 相互情報の最大化とグループトピック正規化によるニューラルトピックモデリングの強化
- Authors: Duy-Tung Pham, Thien Trang Nguyen Vu, Tung Nguyen, Linh Ngo Van, Duc Anh Nguyen, Thien Huu Nguyen,
- Abstract要約: 本稿ではニューラルトピックモデルのためのNeuroMaxと呼ばれる新しいフレームワークを提案する。
NeuroMaxは、ニューラルトピックモデルにおけるエンコーダから得られたトピック表現と、PLMから派生した表現との相互情報を最大化する。
実験結果から、NeuroMaxは推論時間を短縮し、より一貫性のあるトピックやトピックグループを生成し、より代表的な文書埋め込みを生成することが示された。
- 参考スコア（独自算出の注目度）: 29.685615665355396
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in neural topic models have concentrated on two primary directions: the integration of the inference network (encoder) with a pre-trained language model (PLM) and the modeling of the relationship between words and topics in the generative model (decoder). However, the use of large PLMs significantly increases inference costs, making them less practical for situations requiring low inference times. Furthermore, it is crucial to simultaneously model the relationships between topics and words as well as the interrelationships among topics themselves. In this work, we propose a novel framework called NeuroMax (Neural Topic Model with Maximizing Mutual Information with Pretrained Language Model and Group Topic Regularization) to address these challenges. NeuroMax maximizes the mutual information between the topic representation obtained from the encoder in neural topic models and the representation derived from the PLM. Additionally, NeuroMax employs optimal transport to learn the relationships between topics by analyzing how information is transported among them. Experimental results indicate that NeuroMax reduces inference time, generates more coherent topics and topic groups, and produces more representative document embeddings, thereby enhancing performance on downstream tasks.
- Abstract（参考訳）: ニューラルトピックモデルの最近の進歩は、推論ネットワーク(エンコーダ)と事前学習言語モデル(PLM)の統合と、生成モデル(デコーダ)における単語とトピックの関係のモデリングの2つの主要な方向に集中している。
しかし、大きなPLMを使用することで推論コストが大幅に増加し、推論時間が少なくなる状況では実用性が低下する。
さらに、話題と言葉の関係とトピック間の相互関係を同時にモデル化することが重要である。
本研究では,これらの課題に対処するため,ニューロマックス(ニューラルトピックモデルと事前学習言語モデルとグループトピック正規化を用いた相互情報の最大化)という新しいフレームワークを提案する。
NeuroMaxは、ニューラルトピックモデルにおけるエンコーダから得られたトピック表現と、PLMから派生した表現との相互情報を最大化する。
さらに、NeuroMaxは最適なトランスポートを使用して、それらの間の情報の転送方法を分析することで、トピック間の関係を学習する。
実験結果から、NeuroMaxは推論時間を短縮し、より一貫性のあるトピックやトピックグループを生成し、より代表的なドキュメント埋め込みを生成し、下流タスクのパフォーマンスを向上させることが示唆された。
関連論文リスト
- Understanding the differences in Foundation Models: Attention, State Space Models, and Recurrent Neural Networks [50.29356570858905]
本稿では,これらすべてのアーキテクチャの共通表現に関する原則的な調査を可能にする動的システムフレームワーク(DSF)について紹介する。
ソフトマックスアテンションと他のモデルクラスとの原理的比較を行い、ソフトマックスアテンションを近似できる理論条件について議論する。
このことは、DSFが将来のより効率的でスケーラブルな基盤モデルの体系的な開発を導く可能性を示している。
論文 参考訳（メタデータ） (2024-05-24T17:19:57Z) - MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。
現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。
我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文 参考訳（メタデータ） (2024-04-11T15:46:42Z) - Language Knowledge-Assisted Representation Learning for Skeleton-Based
Action Recognition [71.35205097460124]
人間が他人の行動を理解して認識する方法は、複雑な神経科学の問題である。
LA-GCNは、大規模言語モデル(LLM)知識アシストを用いたグラフ畳み込みネットワークを提案する。
論文 参考訳（メタデータ） (2023-05-21T08:29:16Z) - Neural Dynamic Focused Topic Model [2.9005223064604078]
ニューラル変動推論の最近の進歩を活用し、ダイナミックフォーカストピックモデルに代替的なニューラルアプローチを提案する。
本稿では,Bernoulli確率変数の列を利用してトピックの出現を追跡するトピック進化のためのニューラルモデルを開発する。
論文 参考訳（メタデータ） (2023-01-26T08:37:34Z) - Towards Better Understanding with Uniformity and Explicit Regularization
of Embeddings in Embedding-based Neural Topic Models [16.60033525943772]
埋め込みベースのニューラルトピックモデルは、単語とトピックを同質な特徴空間に埋め込むことで、明示的に表現することができる。
埋め込みのトレーニングには明確な制約はなく、より広い最適化空間に繋がる。
本稿では,単語埋め込みとトピック埋め込みに特別に設計された訓練制約を適用した埋め込み正規化ニューラルトピックモデルを提案する。
論文 参考訳（メタデータ） (2022-06-16T07:02:55Z) - A Joint Learning Approach for Semi-supervised Neural Topic Modeling [25.104653662416023]
本稿では,最初の効果的な上流半教師付きニューラルトピックモデルであるラベル付きニューラルトピックモデル(LI-NTM)を紹介する。
LI-NTMは文書再構成ベンチマークにおいて既存のニューラルトピックモデルよりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-04-07T04:42:17Z) - Neural Topic Modeling with Deep Mutual Information Estimation [23.474848535821994]
本稿では,深い相互情報推定を取り入れたニューラルトピックモデルを提案する。
NTM-DMIEはトピック学習のためのニューラルネットワーク手法である。
我々はNTM-DMIEをテキストクラスタリングの精度、トピック表現、トピック一意性、トピックコヒーレンスなどの指標で評価する。
論文 参考訳（メタデータ） (2022-03-12T01:08:10Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳（メタデータ） (2022-02-21T18:59:03Z) - Improving Neural Topic Models using Knowledge Distillation [84.66983329587073]
我々は,確率論的トピックモデルと事前学習されたトランスフォーマーの最適属性を組み合わせるために,知識蒸留を用いる。
我々のモジュラー手法は、どのニューラルトピックモデルでも簡単に適用でき、トピックの品質を向上させることができる。
論文 参考訳（メタデータ） (2020-10-05T22:49:16Z) - Neural Topic Model via Optimal Transport [24.15046280736009]
最適輸送理論(OT)を用いたニューラルトピックモデルを提案する。
具体的には、文書の単語分布に対するOT距離を直接最小化し、文書の話題分布を学習することを提案する。
提案手法は, 異なる損失を伴って効率的に学習することができる。
論文 参考訳（メタデータ） (2020-08-12T06:37:09Z) - Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。
グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。
まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
論文 参考訳（メタデータ） (2020-06-11T17:29:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。