論文の概要: A comparative study of transformer-based embeddings for topic coherence

• arxiv url: http://arxiv.org/abs/2605.28832v1
• Date: Fri, 10 Apr 2026 08:34:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.547547
• Title: A comparative study of transformer-based embeddings for topic coherence
• Title（参考訳）: トピックコヒーレンスのためのトランスフォーマーベース埋め込みの比較研究
• Authors: Alex Ding, Tarun Rapaka, Willy Rodriguez, Jason Yang,
• Abstract要約: モデルサイズが話題の質に及ぼす影響を、7つのトランスフォーマーベース言語モデルの性能解析により検討する。 結果から,モデルのサイズは2200万から13億のパラメータで,トピックの品質には何の影響も与えていないことが示唆された。
• 参考スコア（独自算出の注目度）: 0.43748379918040853
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Topic modeling is a branch of Natural Language Processing (NLP) that aims to organize large collections of texts into coherent groups according to word co-occurrence patterns, with Latent Dirichlet Allocation (LDA) remaining one of the most widely used and interpretable probabilistic approaches. Recent advances in NLP, particularly transformer-based language models, offer improved document representations. It is also known that the size of the model (in terms of number of parameters) has a significant impact in the performance of the language models on different pre-defined tasks. In this study, we systematically examine the effect of model size on topic quality by analyzing the performances of seven transformer-based language models (from small models such as MiniLM to large ones such as LLaMA-2) in a BERTopic pipeline on a variety of corpora. Topic quality is evaluated using coherence and divergence metrics following R{ö}der et al. (2015). Our results indicate that model size, ranging from 22 million to 13 billion parameters, has a negligible impact on the quality of the topic, suggesting that smaller models can achieve comparable performance to larger models.
• Abstract（参考訳）: トピックモデリングは自然言語処理(NLP)の一分野であり、単語共起パターンに従って大量のテキストをコヒーレントなグループにまとめることを目的としており、LDA(Latent Dirichlet Allocation)は最も広く使われ、解釈可能な確率的アプローチの1つである。 NLPの最近の進歩、特にトランスフォーマーベースの言語モデルにより、文書表現が改善されている。 また、(パラメータの数の観点から)モデルのサイズが、言語モデルが異なる事前定義されたタスクにおけるパフォーマンスに重大な影響を与えることも知られている。 本研究では,BERTopicパイプラインにおける7つのトランスフォーマーベース言語モデル(MiniLMのような小型モデルからLLaMA-2のような大型モデルまで)の性能を多種多様なコーパスで解析することにより,モデルサイズがトピック品質に与える影響を系統的に検討する。 R{ö}der et al (2015)に従って、コヒーレンスと発散指標を用いて、トピックの品質を評価する。 結果から,2200万から13億のパラメータのモデルサイズがトピックの品質に無視できる影響があることが示唆された。

関連論文リスト

• Small Language Models are Good Too: An Empirical Study of Zero-Shot Classification [4.4467858321751015]
  異なるアーキテクチャとスコアリング関数を用いて、77Mから40Bパラメータの言語モデルをベンチマークする。 この結果から、小さなモデルはテキストを効果的に分類し、より大きなテキストに匹敵するか、上回っていることが明らかとなった。 この研究は、大きめが常に良いとは限らないという考えを強調し、リソース効率の良い小さなモデルが特定のデータ分類の課題に対して実行可能なソリューションを提供するかもしれないことを示唆している。
  論文  参考訳（メタデータ） (2024-04-17T07:10:28Z)
• Split and Rephrase with Large Language Models [2.499907423888049]
  Split and Rephrase (SPRP) タスクは、複雑な文を短い文法文の列に分割する。 タスク上の大きな言語モデルを評価し、主要なメトリクスに基づいて、技術の現状を大幅に改善できることを示します。
  論文  参考訳（メタデータ） (2023-12-18T10:16:37Z)
• BLESS: Benchmarking Large Language Models on Sentence Simplification [55.461555829492866]
  我々は、テキスト単純化(TS)タスク上で、最新の最先端の大規模言語モデル(LLM)のパフォーマンスベンチマークであるBLESSを紹介する。 異なるドメイン(Wikipedia、ニュース、医療)の3つのテストセットに対して、サイズ、アーキテクチャ、事前学習方法、アクセシビリティの異なる44のモデルを評価する。 評価の結果,最高のLSMはTSのトレーニングを受けていないにもかかわらず,最先端のTSベースラインと相容れない性能を示した。
  論文  参考訳（メタデータ） (2023-10-24T12:18:17Z)
• Evaluating Large Language Models on Controlled Generation Tasks [92.64781370921486]
  本稿では,異なる粒度を持つ文計画ベンチマークを含む,様々なベンチマークを広範囲に分析する。 大規模言語モデルと最先端の微調整された小型モデルを比較した後、大規模言語モデルが後方に落ちたり、比較されたり、より小型モデルの能力を超えたりしたスペクトルを示す。
  論文  参考訳（メタデータ） (2023-10-23T03:48:24Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)
• Examining Scaling and Transfer of Language Model Architectures for Machine Translation [51.69212730675345]
  言語モデル(LM)は単一のレイヤのスタックで処理し、エンコーダ・デコーダモデル(EncDec)は入力と出力の処理に別々のレイヤスタックを使用する。 機械翻訳において、EncDecは長年好まれてきたアプローチであるが、LMの性能についての研究はほとんどない。
  論文  参考訳（メタデータ） (2022-02-01T16:20:15Z)
• Comparing hundreds of machine learning classifiers and discrete choice models in predicting travel behavior: an empirical benchmark [6.815730801645785]
  多くの研究は、旅行需要予測において機械学習(ML)と離散選択モデル(DCM)を比較してきた。 これらの研究は、文脈変動を考慮せずに決定論的にモデルを比較するため、一般化性に欠けることが多い。 このベンチマークでは、2つの大規模データソースを比較した。
  論文  参考訳（メタデータ） (2021-02-01T19:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。