論文の概要: Topic Modeling as Multi-Objective Contrastive Optimization

• arxiv url: http://arxiv.org/abs/2402.07577v1
• Date: Mon, 12 Feb 2024 11:18:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 14:28:37.154672
• Title: Topic Modeling as Multi-Objective Contrastive Optimization
• Title（参考訳）: 多目的コントラスト最適化としてのトピックモデリング
• Authors: Thong Nguyen, Xiaobao Wu, Xinshuai Dong, Cong-Duy T Nguyen, See-Kiong Ng, Anh Tuan Luu
• Abstract要約: 近年の表現学習アプローチは、ログライクリフのエビデンスローバウンド(ELBO)の重み付けされた線形結合と、入力文書のペアを対比する対照的な学習目標を最適化することにより、ニューラルトピックモデルを強化する。 本稿では,一組の入力文書間で共有される有用なセマンティクスを捉えるために,話題ベクトルの集合を指向した新しいコントラスト学習手法を提案する。 我々のフレームワークは、トピックコヒーレンス、トピックの多様性、下流のパフォーマンスの観点から、高性能なニューラルトピックモデルを一貫して生成する。
• 参考スコア（独自算出の注目度）: 46.24876966674759
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent representation learning approaches enhance neural topic models by optimizing the weighted linear combination of the evidence lower bound (ELBO) of the log-likelihood and the contrastive learning objective that contrasts pairs of input documents. However, document-level contrastive learning might capture low-level mutual information, such as word ratio, which disturbs topic modeling. Moreover, there is a potential conflict between the ELBO loss that memorizes input details for better reconstruction quality, and the contrastive loss which attempts to learn topic representations that generalize among input documents. To address these issues, we first introduce a novel contrastive learning method oriented towards sets of topic vectors to capture useful semantics that are shared among a set of input documents. Secondly, we explicitly cast contrastive topic modeling as a gradient-based multi-objective optimization problem, with the goal of achieving a Pareto stationary solution that balances the trade-off between the ELBO and the contrastive objective. Extensive experiments demonstrate that our framework consistently produces higher-performing neural topic models in terms of topic coherence, topic diversity, and downstream performance.
• Abstract（参考訳）: 近年の表現学習手法は,対の入力文書を対比するエビデンス下限(elbo)と対比学習目的の重み付き線形結合を最適化することにより,神経話題モデルを強化する。 しかし、文書レベルのコントラスト学習は、話題モデリングを妨げる単語比などの低レベルの相互情報を取り込む可能性がある。 さらに,入力の詳細を記憶したELBO損失と,入力文書間で一般化されたトピック表現を学習しようとする対照的な損失との間には,潜在的な矛盾がある。 これらの問題に対処するために,まず,トピックベクトルの集合を指向した新しいコントラスト学習法を導入し,入力文書の集合間で共有される有用な意味を捉える。 第2に,相対的トピックモデリングを勾配に基づく多目的最適化問題として,ELBOと相対的目的とのトレードオフのバランスをとるパレート定常解の実現を目標とした。 大規模な実験により、我々のフレームワークは、トピックコヒーレンス、トピックの多様性、下流のパフォーマンスの観点から、常に高性能なニューラルトピックモデルを生成することが示された。

関連論文リスト

• Investigating the Impact of Text Summarization on Topic Modeling [13.581341206178525]
  本稿では,事前学習型大言語モデル(LLM)を用いてトピックモデリング性能をさらに向上する手法を提案する。 トピックモデリングへの影響を比較するために、異なる長さの要約を生成するために、ショットプロンプトはほとんど使われない。 提案手法は,従来のモデルと比較して,トピックの多様性とコヒーレンス値に比較して優れている。
  論文  参考訳（メタデータ） (2024-09-28T19:45:45Z)
• OT-Attack: Enhancing Adversarial Transferability of Vision-Language Models via Optimal Transport Optimization [65.57380193070574]
  視覚言語事前学習モデルは、マルチモーダル対逆例に対して脆弱である。 近年の研究では、データ拡張と画像-テキストのモーダル相互作用を活用することで、対向的な例の転送可能性を高めることが示されている。 本稿では,OT-Attack と呼ばれる最適輸送方式の敵攻撃を提案する。
  論文  参考訳（メタデータ） (2023-12-07T16:16:50Z)
• Diversity-Aware Coherence Loss for Improving Neural Topic Models [20.98172300869239]
  本稿では,コーパスレベルのコヒーレンススコアの学習を促す新しい多様性を考慮したコヒーレンス損失を提案する。 複数のデータセットに対する実験結果から,本手法はニューラルトピックモデルの性能を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2023-05-25T16:01:56Z)
• Hybrid Contrastive Constraints for Multi-Scenario Ad Ranking [38.666592866591344]
  マルチシナリオ広告ランキングは、複数のドメインやチャネルからのデータを活用して、統一されたランキングモデルをトレーニングすることを目的としている。 マルチシナリオ広告ランキングのためのHybrid Contrastive Constrained Approach (HC2)を提案する。
  論文  参考訳（メタデータ） (2023-02-06T09:15:39Z)
• Correlation Information Bottleneck: Towards Adapting Pretrained Multimodal Models for Robust Visual Question Answering [63.87200781247364]
  相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。 マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
  論文  参考訳（メタデータ） (2022-09-14T22:04:10Z)
• VLCDoC: Vision-Language Contrastive Pre-Training Model for Cross-Modal Document Classification [3.7798600249187295]
  文書データからのマルチモーダル学習は、前もって意味論的に意味のある機能を学習可能な下流タスクに事前学習可能にすることで、近年大きな成功を収めている。 本稿では,言語と視覚の手がかりを通したクロスモーダル表現の学習により,文書分類問題にアプローチする。 提案手法は,ハイレベルなインタラクションを利用して,モダリティ内外における効果的な注意の流れから関連する意味情報を学習する。
  論文  参考訳（メタデータ） (2022-05-24T12:28:12Z)
• Visualizing the Relationship Between Encoded Linguistic Information and Task Performance [53.223789395577796]
  本稿では,Pareto Optimalityの観点から,符号化言語情報とタスクパフォーマンスの動的関係について検討する。 我々は、機械翻訳と言語モデリングという2つの一般的なNLPタスクの実験を行い、様々な言語情報とタスクパフォーマンスの関係について検討する。 実験結果から,NLPタスクには構文情報が有用であるのに対して,より構文情報の符号化が必ずしも優れたパフォーマンスをもたらすとは限らないことが示唆された。
  論文  参考訳（メタデータ） (2022-03-29T19:03:10Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
  質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。 Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。 本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
  論文  参考訳（メタデータ） (2020-09-19T02:41:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。