論文の概要: Self-Supervised Learning for Neural Topic Models with Variance-Invariance-Covariance Regularization

• arxiv url: http://arxiv.org/abs/2502.09944v1
• Date: Fri, 14 Feb 2025 06:47:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:47:39.743317
• Title: Self-Supervised Learning for Neural Topic Models with Variance-Invariance-Covariance Regularization
• Title（参考訳）: 可変不変共分散規則付きニューラルトピックモデルの自己教師付き学習
• Authors: Weiran Xu, Kengo Hirami, Koji Eguchi,
• Abstract要約: 本研究では,NTMのパワーと正規化された自己教師型学習手法を組み合わせた自己教師型ニューラルネットワーク(NTM)を提案する。 NTMは、ドキュメント内の単語の後ろに隠された潜在トピックをニューラルネットワークで学習する。 我々のモデルは、定量的にも質的にも、ベースラインや最先端モデルよりも優れています。
• 参考スコア（独自算出の注目度）: 12.784397404903142
• License:
• Abstract: In our study, we propose a self-supervised neural topic model (NTM) that combines the power of NTMs and regularized self-supervised learning methods to improve performance. NTMs use neural networks to learn latent topics hidden behind the words in documents, enabling greater flexibility and the ability to estimate more coherent topics compared to traditional topic models. On the other hand, some self-supervised learning methods use a joint embedding architecture with two identical networks that produce similar representations for two augmented versions of the same input. Regularizations are applied to these representations to prevent collapse, which would otherwise result in the networks outputting constant or redundant representations for all inputs. Our model enhances topic quality by explicitly regularizing latent topic representations of anchor and positive samples. We also introduced an adversarial data augmentation method to replace the heuristic sampling method. We further developed several variation models including those on the basis of an NTM that incorporates contrastive learning with both positive and negative samples. Experimental results on three datasets showed that our models outperformed baselines and state-of-the-art models both quantitatively and qualitatively.
• Abstract（参考訳）: 本研究では,NTMのパワーと正規化された自己教師型学習手法を組み合わせた自己教師型ニューラルトピックモデル(NTM)を提案する。 NTMは、ニューラルネットワークを使用して、文書内の単語の後ろに隠された潜在トピックを学習し、柔軟性を高め、従来のトピックモデルと比較して一貫性のあるトピックを推定することが可能になる。 一方、自己教師付き学習手法では、同じ入力の2つの拡張バージョンに類似した表現を生成する2つの同一ネットワークを持つ統合埋め込みアーキテクチャを用いる。 これらの表現に正規化を適用することで、崩壊を防ぐことができ、そうでなければネットワークは全ての入力に対して一定あるいは冗長な表現を出力する。 我々のモデルは、アンカーと正のサンプルの潜在トピック表現を明示的に正規化することにより、トピックの品質を高める。 また,ヒューリスティックサンプリング法に代わる逆データ拡張法も導入した。 さらに,NTMをベースとして,正試料と負試料の対比学習を取り入れたいくつかの変分モデルを開発した。 3つのデータセットによる実験結果から,我々のモデルはベースラインや最先端モデルよりも定量的に,質的にも優れていた。

関連論文リスト

• Multi-Head Self-Attending Neural Tucker Factorization [5.734615417239977]
  本稿では,高次元および不完全(HDI)テンソルの学習表現に適したニューラルネットワークに基づくテンソル分解手法を提案する。 提案したMSNTucFモデルでは,観測結果の欠落を推定する上で,最先端のベンチマークモデルと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2025-01-16T13:04:15Z)
• Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
  本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• Improving Neural Additive Models with Bayesian Principles [54.29602161803093]
  ニューラル加算モデル(NAM)は、個別の加算サブネットワークでキャリブレーションされた入力特徴を扱うことにより、ディープニューラルネットワークの透明性を高める。 本研究では,Laplace-approximated NAM (LA-NAMs) を開発した。
  論文  参考訳（メタデータ） (2023-05-26T13:19:15Z)
• Diversity-Aware Coherence Loss for Improving Neural Topic Models [20.98172300869239]
  本稿では,コーパスレベルのコヒーレンススコアの学習を促す新しい多様性を考慮したコヒーレンス損失を提案する。 複数のデータセットに対する実験結果から,本手法はニューラルトピックモデルの性能を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2023-05-25T16:01:56Z)
• A Joint Learning Approach for Semi-supervised Neural Topic Modeling [25.104653662416023]
  本稿では,最初の効果的な上流半教師付きニューラルトピックモデルであるラベル付きニューラルトピックモデル(LI-NTM)を紹介する。 LI-NTMは文書再構成ベンチマークにおいて既存のニューラルトピックモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-04-07T04:42:17Z)
• Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
  カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。 本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T12:52:49Z)
• Consistency and Monotonicity Regularization for Neural Knowledge Tracing [50.92661409499299]
  人間の知識獲得を追跡する知識追跡(KT)は、オンライン学習と教育におけるAIの中心的なコンポーネントです。 本稿では, 新たなデータ拡張, 代替, 挿入, 削除の3種類と, 対応する正規化損失を提案する。 さまざまなKTベンチマークに関する広範な実験は、私たちの正規化スキームがモデルのパフォーマンスを一貫して改善することを示しています。
  論文  参考訳（メタデータ） (2021-05-03T02:36:29Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。