論文の概要: Enhancing Topic Interpretability for Neural Topic Modeling through Topic-wise Contrastive Learning

• arxiv url: http://arxiv.org/abs/2412.17338v1
• Date: Mon, 23 Dec 2024 07:07:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:59:05.239664
• Title: Enhancing Topic Interpretability for Neural Topic Modeling through Topic-wise Contrastive Learning
• Title（参考訳）: トピックワイドコントラスト学習によるニューラルトピックモデリングにおけるトピック解釈性の向上
• Authors: Xin Gao, Yang Lin, Ruiqing Li, Yasha Wang, Xu Chu, Xinyu Ma, Hailong Yu,
• Abstract要約: トピックの正規化を含まない可能性の過剰強調は、トピックモデリングの過剰な拡張潜在空間につながる可能性がある。 本稿では,トピック解釈可能性の複数の面を評価可能な微分正則化器を統合した新しいNTMフレームワークContraTopicを提案する。 我々のアプローチは、最先端のNTMと比較して、優れた解釈可能性を持つトピックを一貫して生成する。
• 参考スコア（独自算出の注目度）: 23.816433328623397
• License:
• Abstract: Data mining and knowledge discovery are essential aspects of extracting valuable insights from vast datasets. Neural topic models (NTMs) have emerged as a valuable unsupervised tool in this field. However, the predominant objective in NTMs, which aims to discover topics maximizing data likelihood, often lacks alignment with the central goals of data mining and knowledge discovery which is to reveal interpretable insights from large data repositories. Overemphasizing likelihood maximization without incorporating topic regularization can lead to an overly expansive latent space for topic modeling. In this paper, we present an innovative approach to NTMs that addresses this misalignment by introducing contrastive learning measures to assess topic interpretability. We propose a novel NTM framework, named ContraTopic, that integrates a differentiable regularizer capable of evaluating multiple facets of topic interpretability throughout the training process. Our regularizer adopts a unique topic-wise contrastive methodology, fostering both internal coherence within topics and clear external distinctions among them. Comprehensive experiments conducted on three diverse datasets demonstrate that our approach consistently produces topics with superior interpretability compared to state-of-the-art NTMs.
• Abstract（参考訳）: データマイニングと知識発見は、膨大なデータセットから貴重な洞察を抽出する上で不可欠な側面である。 ニューラルトピックモデル(NTM)はこの分野で貴重な教師なしツールとして登場した。 しかし、データ可能性の最大化を目的としたNTMの主要な目的は、大規模なデータリポジトリからの解釈可能な洞察を明らかにすることを目的とした、データマイニングと知識発見という中心的な目標との整合性を欠いていることが多い。 トピック正則化を組み込まずに極大化を過度に強調することは、トピックモデリングのための過度に拡張的な潜在空間につながる。 本稿では,トピックの解釈可能性を評価するためのコントラスト学習手法を導入することで,このミスアライメントに対処するNTMに対して,革新的なアプローチを提案する。 本稿では,学習過程を通じてトピック解釈可能性の複数の面を評価可能な,微分可能な正規化器を統合した新しいNTMフレームワークContraTopicを提案する。 我々のレギュラーライザは、トピック間の内部コヒーレンスと、それら間の明確な外部区別の両方を育む、ユニークなトピックワイドコントラストの方法論を採用しています。 3つの多様なデータセットに対して行われた総合的な実験により、我々のアプローチは、最先端のNTMと比較して、解釈可能性に優れたトピックを一貫して生成することを示した。

関連論文リスト

• An Information Criterion for Controlled Disentanglement of Multimodal Data [39.601584166020274]
  マルチモーダル表現学習は、複数のモーダルに固有の情報を関連付けて分解しようとする。 Disentangled Self-Supervised Learning (DisentangledSSL)は、非角表現を学習するための新しい自己教師型アプローチである。
  論文  参考訳（メタデータ） (2024-10-31T14:57:31Z)
• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
  我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。 GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。 本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
  論文  参考訳（メタデータ） (2024-06-01T08:01:05Z)
• Topic Modeling as Multi-Objective Contrastive Optimization [46.24876966674759]
  近年の表現学習アプローチは、ログライクリフのエビデンスローバウンド(ELBO)の重み付けされた線形結合と、入力文書のペアを対比する対照的な学習目標を最適化することにより、ニューラルトピックモデルを強化する。 本稿では,一組の入力文書間で共有される有用なセマンティクスを捉えるために,話題ベクトルの集合を指向した新しいコントラスト学習手法を提案する。 我々のフレームワークは、トピックコヒーレンス、トピックの多様性、下流のパフォーマンスの観点から、高性能なニューラルトピックモデルを一貫して生成する。
  論文  参考訳（メタデータ） (2024-02-12T11:18:32Z)
• Enhancing Human-like Multi-Modal Reasoning: A New Challenging Dataset and Comprehensive Framework [51.44863255495668]
  マルチモーダル推論は、人間のような知性を示す人工知能システムの追求において重要な要素である。 提案するマルチモーダル推論(COCO-MMR)データセットは,オープンエンド質問の集合を包含する新しいデータセットである。 画像とテキストエンコーダを強化するために,マルチホップ・クロスモーダル・アテンションや文レベルのコントラスト学習などの革新的な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-24T08:58:25Z)
• vONTSS: vMF based semi-supervised neural topic modeling with optimal transport [6.874745415692134]
  この研究は、von Mises-Fisher (vMF) ベースの変分オートエンコーダと最適なトランスポートを用いた半教師付きニューラルトピックモデリング手法 vONTSS を提案する。 実験により、vONTSSは、分類精度と多様性において、既存の半教師付きトピックモデリング手法よりも優れていることが示された。 また、類似の分類性能を達成しつつ、最先端の弱教師付きテキスト分類法よりもはるかに高速である。
  論文  参考訳（メタデータ） (2023-07-03T04:23:41Z)
• Knowledge-Aware Bayesian Deep Topic Model [50.58975785318575]
  本稿では,事前知識を階層型トピックモデリングに組み込むベイズ生成モデルを提案する。 提案モデルでは,事前知識を効率的に統合し,階層的なトピック発見と文書表現の両面を改善する。
  論文  参考訳（メタデータ） (2022-09-20T09:16:05Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Neural Topic Modeling with Deep Mutual Information Estimation [23.474848535821994]
  本稿では,深い相互情報推定を取り入れたニューラルトピックモデルを提案する。 NTM-DMIEはトピック学習のためのニューラルネットワーク手法である。 我々はNTM-DMIEをテキストクラスタリングの精度、トピック表現、トピック一意性、トピックコヒーレンスなどの指標で評価する。
  論文  参考訳（メタデータ） (2022-03-12T01:08:10Z)
• A Variational Information Bottleneck Approach to Multi-Omics Data Integration [98.6475134630792]
  本稿では,不完全な多視点観測のための深い変動情報ボトルネック (IB) 手法を提案する。 本手法は,対象物に関連のある視点内および視点間相互作用に焦点をあてるために,観測された視点の辺縁および結合表現にISBフレームワークを適用した。 実世界のデータセットの実験から、我々の手法はデータ統合から常に利益を得て、最先端のベンチマークより優れています。
  論文  参考訳（メタデータ） (2021-02-05T06:05:39Z)
• Neural Topic Model via Optimal Transport [24.15046280736009]
  最適輸送理論(OT)を用いたニューラルトピックモデルを提案する。 具体的には、文書の単語分布に対するOT距離を直接最小化し、文書の話題分布を学習することを提案する。 提案手法は, 異なる損失を伴って効率的に学習することができる。
  論文  参考訳（メタデータ） (2020-08-12T06:37:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。