論文の概要: Contrastive Learning for Neural Topic Model
- arxiv url: http://arxiv.org/abs/2110.12764v1
- Date: Mon, 25 Oct 2021 09:46:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-27 01:28:35.734195
- Title: Contrastive Learning for Neural Topic Model
- Title（参考訳）: 神経話題モデルのためのコントラスト学習
- Authors: Thong Nguyen, Anh Tuan Luu
- Abstract要約: 敵対的トピックモデル(ATM)は、文書を別の異なるサンプルと区別することで、文書の意味パターンをうまくキャプチャすることができる。
最適化問題として識別目標を再定式化するための新しい手法を提案し,新しいサンプリング手法を設計する。
実験の結果、我々のフレームワークは3つの一般的なベンチマークデータセットにおいて、他の最先端のニューラルトピックモデルよりも優れていることが示された。
- 参考スコア（独自算出の注目度）: 14.65513836956786
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent empirical studies show that adversarial topic models (ATM) can
successfully capture semantic patterns of the document by differentiating a
document with another dissimilar sample. However, utilizing that
discriminative-generative architecture has two important drawbacks: (1) the
architecture does not relate similar documents, which has the same
document-word distribution of salient words; (2) it restricts the ability to
integrate external information, such as sentiments of the document, which has
been shown to benefit the training of neural topic model. To address those
issues, we revisit the adversarial topic architecture in the viewpoint of
mathematical analysis, propose a novel approach to re-formulate discriminative
goal as an optimization problem, and design a novel sampling method which
facilitates the integration of external variables. The reformulation encourages
the model to incorporate the relations among similar samples and enforces the
constraint on the similarity among dissimilar ones; while the sampling method,
which is based on the internal input and reconstructed output, helps inform the
model of salient words contributing to the main topic. Experimental results
show that our framework outperforms other state-of-the-art neural topic models
in three common benchmark datasets that belong to various domains, vocabulary
sizes, and document lengths in terms of topic coherence.
- Abstract（参考訳）: 最近の実証研究によれば、adversarial topic model (atm) は、文書と他の異なるサンプルを区別することで、文書の意味的パターンをうまく捉えることができる。
しかし、この判別生成型アーキテクチャを利用すると、2つの重要な欠点がある。(1)アーキテクチャは、類似した文書を関連づけておらず、敬語を同じ文書語で分配する。2) ニューラルネットワークのトピックモデルのトレーニングに有用であることが示されている、文書の感情のような外部情報を統合する能力を制限する。
これらの問題に対処するために, 数学的解析の観点から, 逆話題アーキテクチャを再考し, 判別目標を最適化問題として再定式化する新しいアプローチを提案し, 外部変数の統合を容易にする新しいサンプリング手法を設計する。
再編成は,類似したサンプル間の関係を組み込むことを奨励し,類似したサンプル間の類似性に制約を課す。一方,内部入力と再構成された出力に基づくサンプリング手法は,主話題に寄与する有意な単語のモデルに有用である。
実験の結果,本フレームワークは,様々なドメイン,語彙サイズ,文書の長さの3つの共通ベンチマークデータセットにおいて,トピックコヒーレンスの観点から,他の最先端のニューラルネットワークモデルよりも優れていた。
関連論文リスト
- Detecting Statements in Text: A Domain-Agnostic Few-Shot Solution [1.3654846342364308]
最先端のアプローチは通常、作成にコストがかかる大規模な注釈付きデータセット上の微調整モデルを含む。
本稿では,クレームに基づくテキスト分類タスクの共通パラダイムとして,定性的で多目的な少ショット学習手法の提案とリリースを行う。
本手法は,気候変動対策,トピック/スタンス分類,うつ病関連症状検出の3つの課題の文脈で説明する。
論文 参考訳（メタデータ） (2024-05-09T12:03:38Z) - How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。
その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。
多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
論文 参考訳（メタデータ） (2023-11-14T08:51:00Z) - Multimodal Relation Extraction with Cross-Modal Retrieval and Synthesis [89.04041100520881]
本研究は,対象物,文,画像全体に基づいて,テキストおよび視覚的証拠を検索することを提案する。
我々は,オブジェクトレベル,画像レベル,文レベル情報を合成し,同一性と異なるモダリティ間の推論を改善する新しい手法を開発した。
論文 参考訳（メタデータ） (2023-05-25T15:26:13Z) - Topics in the Haystack: Extracting and Evaluating Topics beyond
Coherence [0.0]
本稿では,文と文書のテーマを深く理解する手法を提案する。
これにより、一般的な単語やネオロジズムを含む潜在トピックを検出することができる。
本稿では, 侵入者の単語の人間識別と相関係数を示し, 単語侵入作業において, ほぼ人間レベルの結果を得る。
論文 参考訳（メタデータ） (2023-03-30T12:24:25Z) - Improving Contextualized Topic Models with Negative Sampling [3.708656266586146]
本稿では,文脈化トピックモデルに対する負のサンプリング機構を提案し,生成したトピックの品質を向上する。
特に、モデルトレーニング中に生成された文書トピックベクトルを摂動させ、三重項損失を用いて、正しい文書トピックベクトルから入力文書に類似した文書を再構築することを奨励する。
論文 参考訳（メタデータ） (2023-03-27T07:28:46Z) - Author Clustering and Topic Estimation for Short Texts [69.54017251622211]
同じ文書中の単語間の強い依存をモデル化することにより、遅延ディリクレ割当を拡張できる新しいモデルを提案する。
同時にユーザをクラスタ化し、ホック後のクラスタ推定の必要性を排除しています。
我々の手法は、短文で生じる問題に対する従来のアプローチよりも、-または----------- で機能する。
論文 参考訳（メタデータ） (2021-06-15T20:55:55Z) - An Unsupervised Sampling Approach for Image-Sentence Matching Using
Document-Level Structural Information [64.66785523187845]
教師なし画像文マッチングの問題に焦点をあてる。
既存の研究では、文書レベルの構造情報を用いて、モデルトレーニングの正および負のインスタンスをサンプリングする方法が検討されている。
そこで本研究では,追加の文書内画像-文対を正あるいは負のサンプルとして選択する新しいサンプリング手法を提案する。
論文 参考訳（メタデータ） (2021-03-21T05:43:29Z) - Neural Deepfake Detection with Factual Structure of Text [78.30080218908849]
テキストのディープフェイク検出のためのグラフベースモデルを提案する。
我々のアプローチは、ある文書の事実構造をエンティティグラフとして表現する。
本モデルでは,機械生成テキストと人文テキストの事実構造の違いを識別することができる。
論文 参考訳（メタデータ） (2020-10-15T02:35:31Z) - Reasoning with Latent Structure Refinement for Document-Level Relation
Extraction [20.308845516900426]
本稿では,潜在文書レベルグラフを自動的に誘導することにより,文間の関係推論を促進する新しいモデルを提案する。
具体的には、大規模文書レベルデータセット(DocRED)上でF1スコア59.05を達成する。
論文 参考訳（メタデータ） (2020-05-13T13:36:09Z) - How Far are We from Effective Context Modeling? An Exploratory Study on
Semantic Parsing in Context [59.13515950353125]
文法に基づく意味解析を行い,その上に典型的な文脈モデリング手法を適用する。
我々は,2つの大きなクロスドメインデータセットに対して,13のコンテキストモデリング手法を評価した。
論文 参考訳（メタデータ） (2020-02-03T11:28:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。