論文の概要: Topic Extraction of Crawled Documents Collection using Correlated Topic
Model in MapReduce Framework
- arxiv url: http://arxiv.org/abs/2001.01669v1
- Date: Mon, 6 Jan 2020 17:09:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-14 01:52:27.461815
- Title: Topic Extraction of Crawled Documents Collection using Correlated Topic
Model in MapReduce Framework
- Title（参考訳）: MapReduceフレームワークにおける関連トピックモデルを用いたcrawled Documentsコレクションのトピック抽出
- Authors: Mi Khine Oo and May Aye Khine
- Abstract要約: MapReduceフレームワークにおいて,変分期待最大化アルゴリズムを用いた関連トピックモデルを実装した。
提案手法では,パブリックデジタルライブラリからクロールしたデータセットを利用する。
評価から,提案手法はMapReduceフレームワークに実装されたLDAとトピックコヒーレンスの観点から比較した性能を有する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The tremendous increase in the amount of available research documents impels
researchers to propose topic models to extract the latent semantic themes of a
documents collection. However, how to extract the hidden topics of the
documents collection has become a crucial task for many topic model
applications. Moreover, conventional topic modeling approaches suffer from the
scalability problem when the size of documents collection increases. In this
paper, the Correlated Topic Model with variational Expectation-Maximization
algorithm is implemented in MapReduce framework to solve the scalability
problem. The proposed approach utilizes the dataset crawled from the public
digital library. In addition, the full-texts of the crawled documents are
analysed to enhance the accuracy of MapReduce CTM. The experiments are
conducted to demonstrate the performance of the proposed algorithm. From the
evaluation, the proposed approach has a comparable performance in terms of
topic coherences with LDA implemented in MapReduce framework.
- Abstract（参考訳）: 利用可能な研究資料の量の増加は、研究者が文書コレクションの潜在意味テーマを抽出するトピックモデルを提案することを示唆している。
しかし、ドキュメントコレクションの隠れたトピックを抽出する方法は多くのトピックモデルアプリケーションにとって重要なタスクとなっている。
さらに,文書コレクションのサイズが大きくなると,従来のトピックモデリング手法はスケーラビリティの問題に悩まされる。
本稿では,mapreduceフレームワークにおいて,拡張性問題を解決するために,変分期待最大化アルゴリズムと関連するトピックモデルを実装した。
提案手法は,公開デジタルライブラリからクロールされたデータセットを利用する。
さらに、MapReduce CTMの精度を高めるために、クロールされたドキュメントの全文を解析する。
提案アルゴリズムの性能を実証するために実験を行った。
評価から,提案手法はMapReduceフレームワークに実装されたLDAとトピックコヒーレンスの観点から比較した性能を有する。
関連論文リスト
- Investigating the Impact of Text Summarization on Topic Modeling [13.581341206178525]
本稿では,事前学習型大言語モデル(LLM)を用いてトピックモデリング性能をさらに向上する手法を提案する。
トピックモデリングへの影響を比較するために、異なる長さの要約を生成するために、ショットプロンプトはほとんど使われない。
提案手法は,従来のモデルと比較して,トピックの多様性とコヒーレンス値に比較して優れている。
論文 参考訳（メタデータ） (2024-09-28T19:45:45Z) - How Does Generative Retrieval Scale to Millions of Passages? [68.98628807288972]
各種コーパス尺度における生成的検索手法の実証的研究を行った。
我々は8.8Mパスのコーパスで数百万のパスに生成検索をスケールし、モデルサイズを最大11Bパラメータまで評価する。
生成的検索は、小さなコーパス上の最先端のデュアルエンコーダと競合するが、数百万のパスへのスケーリングは依然として重要で未解決の課題である。
論文 参考訳（メタデータ） (2023-05-19T17:33:38Z) - Improving Contextualized Topic Models with Negative Sampling [3.708656266586146]
本稿では,文脈化トピックモデルに対する負のサンプリング機構を提案し,生成したトピックの品質を向上する。
特に、モデルトレーニング中に生成された文書トピックベクトルを摂動させ、三重項損失を用いて、正しい文書トピックベクトルから入力文書に類似した文書を再構築することを奨励する。
論文 参考訳（メタデータ） (2023-03-27T07:28:46Z) - Knowledge-Aware Bayesian Deep Topic Model [50.58975785318575]
本稿では,事前知識を階層型トピックモデリングに組み込むベイズ生成モデルを提案する。
提案モデルでは,事前知識を効率的に統合し,階層的なトピック発見と文書表現の両面を改善する。
論文 参考訳（メタデータ） (2022-09-20T09:16:05Z) - Augmenting Document Representations for Dense Retrieval with
Interpolation and Perturbation [49.940525611640346]
ドキュメント拡張(Document Augmentation for dense Retrieval)フレームワークは、ドキュメントの表現をDense Augmentationとperturbationsで強化する。
2つのベンチマークデータセットによる検索タスクにおけるDARの性能評価を行い、ラベル付き文書とラベルなし文書の密集検索において、提案したDARが関連するベースラインを大幅に上回っていることを示す。
論文 参考訳（メタデータ） (2022-03-15T09:07:38Z) - One-shot Key Information Extraction from Document with Deep Partial
Graph Matching [60.48651298832829]
ドキュメントからキー情報抽出(KIE)は、多くの産業シナリオにおいて効率、生産性、セキュリティを改善する。
KIEタスクのための既存の教師付き学習手法は、多数のラベル付きサンプルを供給し、異なる種類の文書の別々のモデルを学ぶ必要がある。
部分グラフマッチングを用いたワンショットKIEのためのディープエンド・ツー・エンド・トレーニング可能なネットワークを提案する。
論文 参考訳（メタデータ） (2021-09-26T07:45:53Z) - Author Clustering and Topic Estimation for Short Texts [69.54017251622211]
同じ文書中の単語間の強い依存をモデル化することにより、遅延ディリクレ割当を拡張できる新しいモデルを提案する。
同時にユーザをクラスタ化し、ホック後のクラスタ推定の必要性を排除しています。
我々の手法は、短文で生じる問題に対する従来のアプローチよりも、-または----------- で機能する。
論文 参考訳（メタデータ） (2021-06-15T20:55:55Z) - Improving Document Representations by Generating Pseudo Query Embeddings
for Dense Retrieval [11.465218502487959]
反復的なクラスタリングプロセスにより,各文書のクエリを模倣する手法を設計する。
また、2段階のスコア計算手順でマッチング関数を最適化する。
いくつかの人気ランキングとQAデータセットに関する実験結果から、私たちのモデルが最先端の結果を達成できることが示された。
論文 参考訳（メタデータ） (2021-05-08T05:28:24Z) - Efficient Clustering from Distributions over Topics [0.0]
本稿では,類似度関数を計算可能な文書の小さなサブセットを識別する手段として,コレクション内の文書上のトピックモデリングアルゴリズムの結果に依存するアプローチを提案する。
このアプローチは、科学出版分野における類似文書の特定において、有望な結果を得ることが証明されている。
論文 参考訳（メタデータ） (2020-12-15T10:52:19Z) - Leveraging Graph to Improve Abstractive Multi-Document Summarization [50.62418656177642]
我々は、文書のよく知られたグラフ表現を活用することができる、抽象的多文書要約(MDS)モデルを開発する。
本モデルでは,長い文書の要約に欠かせない文書間関係を捉えるために,文書の符号化にグラフを利用する。
また,このモデルでは,要約生成プロセスの導出にグラフを利用することが可能であり,一貫性と簡潔な要約を生成するのに有用である。
論文 参考訳（メタデータ） (2020-05-20T13:39:47Z) - Tired of Topic Models? Clusters of Pretrained Word Embeddings Make for
Fast and Good Topics too! [5.819224524813161]
事前学習した単語の埋め込みをクラスタリングし、重み付けされたクラスタリングと上位単語の再ランク付けのための文書情報を組み込んだ別の方法を提案する。
このアプローチの最も優れた組み合わせは、従来のトピックモデルと同様に機能するが、ランタイムと計算の複雑さは低い。
論文 参考訳（メタデータ） (2020-04-30T16:18:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。