論文の概要: Improving Neural Topic Modeling with Semantically-Grounded Soft Label Distributions

• arxiv url: http://arxiv.org/abs/2602.17907v1
• Date: Fri, 20 Feb 2026 00:12:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-23 18:01:41.184822
• Title: Improving Neural Topic Modeling with Semantically-Grounded Soft Label Distributions
• Title（参考訳）: セマンティックグラウンドソフトラベル分布を用いたニューラルトピックモデリングの改良
• Authors: Raymond Li, Amirhossein Abaskohi, Chuyuan Li, Gabriel Murray, Giuseppe Carenini,
• Abstract要約: 言語モデル(LM)を用いた意味的基底を持つソフトラベルターゲット構築のための新しい手法を提案する。 提案手法は,コーパスの主題構造とより密に一致した高品質なトピックを生成する。 また,本手法が意味的に類似した文書の同定において,既存の手法を著しく上回っていることを示す検索基準も導入した。
• 参考スコア（独自算出の注目度）: 15.97570754056266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional neural topic models are typically optimized by reconstructing the document's Bag-of-Words (BoW) representations, overlooking contextual information and struggling with data sparsity. In this work, we propose a novel approach to construct semantically-grounded soft label targets using Language Models (LMs) by projecting the next token probabilities, conditioned on a specialized prompt, onto a pre-defined vocabulary to obtain contextually enriched supervision signals. By training the topic models to reconstruct the soft labels using the LM hidden states, our method produces higher-quality topics that are more closely aligned with the underlying thematic structure of the corpus. Experiments on three datasets show that our method achieves substantial improvements in topic coherence, purity over existing baselines. Additionally, we also introduce a retrieval-based metric, which shows that our approach significantly outperforms existing methods in identifying semantically similar documents, highlighting its effectiveness for retrieval-oriented applications.
• Abstract（参考訳）: 従来のニューラルトピックモデルは、典型的にはドキュメントのBag-of-Words(BoW)表現を再構築し、コンテキスト情報を見下ろし、データの分散に苦しむことで最適化される。 本研究では,言語モデル (LMs) を用いて, 文脈に富んだ監視信号を得るために, 予め定義された語彙に, 特別なプロンプトに条件付した次のトークン確率を投影することにより, 意味論的に接地されたソフトラベルターゲットを構築する手法を提案する。 LM隠蔽状態を用いてソフトラベルを再構築するためのトピックモデルを訓練することにより,コーパスの主題構造とより密に一致した高品質なトピックを生成する。 3つのデータセットに対する実験により,提案手法は既存のベースラインに対するトピックコヒーレンス,純度を大幅に向上することが示された。 さらに,本手法は意味論的に類似した文書を識別する既存の手法よりも優れており,検索指向アプリケーションにおけるその有効性を強調している。

関連論文リスト

• Negative Matters: Multi-Granularity Hard-Negative Synthesis and Anchor-Token-Aware Pooling for Enhanced Text Embeddings [25.565372681837697]
  クエリに類似するレベルが異なる多様な負のサンプルを生成するために,マルチグラニュラリティ・ハード負(MGH)合成フレームワークを導入する。 また,Anchor Token Aware(ATA)プーリング手法を提案する。
  論文  参考訳（メタデータ） (2025-08-31T13:24:48Z)
• Pointer-Guided Pre-Training: Infusing Large Language Models with Paragraph-Level Contextual Awareness [3.2925222641796554]
  ポインター誘導セグメントオーダリング(SO)は,段落レベルのテキスト表現の文脈的理解を高めることを目的とした,新しい事前学習手法である。 実験の結果,ポインタ誘導型事前学習は複雑な文書構造を理解する能力を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-06-06T15:17:51Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Topics as Entity Clusters: Entity-based Topics from Large Language Models and Graph Neural Networks [0.6486052012623045]
  本稿では,エンティティのバイモーダルベクトル表現を用いたトピッククラスタリング手法を提案する。 我々のアプローチは、最先端のモデルと比較してエンティティを扱うのに適している。
  論文  参考訳（メタデータ） (2023-01-06T10:54:54Z)
• Knowledge-Aware Bayesian Deep Topic Model [50.58975785318575]
  本稿では,事前知識を階層型トピックモデリングに組み込むベイズ生成モデルを提案する。 提案モデルでは,事前知識を効率的に統合し,階層的なトピック発見と文書表現の両面を改善する。
  論文  参考訳（メタデータ） (2022-09-20T09:16:05Z)
• Generating More Pertinent Captions by Leveraging Semantics and Style on Multi-Source Datasets [56.018551958004814]
  本稿では,データソースの非一様結合をトレーニングすることで,流動的な記述を生成するタスクに対処する。 ノイズの多い画像とテキストのペアを持つ大規模データセットは、サブ最適の監視源を提供する。 本稿では,検索コンポーネントから抽出したスタイルトークンとキーワードを組み込むことにより,セマンティクスと記述スタイルを活用・分離することを提案する。
  論文  参考訳（メタデータ） (2021-11-24T19:00:05Z)
• Transferring Semantic Knowledge Into Language Encoders [6.85316573653194]
  意味的意味表現から言語エンコーダへ意味的知識を伝達する手法である意味型ミッドチューニングを導入する。 このアライメントは分類や三重項の損失によって暗黙的に学習できることを示す。 提案手法は, 推論, 理解, テキストの類似性, その他の意味的タスクにおいて, 予測性能の向上を示す言語エンコーダを生成する。
  論文  参考訳（メタデータ） (2021-10-14T14:11:12Z)
• Obtaining Better Static Word Embeddings Using Contextual Embedding Models [53.86080627007695]
  提案手法はCBOWをベースとした簡易な蒸留法である。 副作用として、我々の手法は文脈的および静的な埋め込みの公正な比較を可能にする。
  論文  参考訳（メタデータ） (2021-06-08T12:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。