論文の概要: A Comparative Evaluation of Structural Topic Models and BERTopic for Short, Open-Ended Survey Responses

• arxiv url: http://arxiv.org/abs/2605.23093v1
• Date: Thu, 21 May 2026 23:00:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.128938
• Title: A Comparative Evaluation of Structural Topic Models and BERTopic for Short, Open-Ended Survey Responses
• Title（参考訳）: 短時間かつオープンなサーベイ応答に対する構造トピックモデルとBERトピックの比較評価
• Authors: Yan Jiang, Sihong Liu, Philip A. Fisher,
• Abstract要約: 本稿では,確率論的トピックモデルであるStructure Topic Models (STM)と埋め込みモデルであるBERTopicを比較し,オープンエンドサーベイ応答の分析を行った。 以上の結果から,BERTopicはSTMよりも高いトピックコヒーレンスを連続的に生み出すことができた。
• 参考スコア（独自算出の注目度）: 8.092954330192477
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Topic modeling in applied psychology increasingly spans two methodological traditions: probabilistic bag-of-words models and newer embedding-based approaches. Yet many evaluations of these methods rely on longer and cleaner benchmark corpora, leaving less guidance for short, open-ended survey responses. This paper compares Structural Topic Models (STM), a probabilistic topic model, and BERTopic, an embedding-based model, for analyzing open-ended survey responses. We evaluated three STM conditions and five BERTopic conditions, varying typographical correction, stemming, embedding choice, and contextual augmentation, a strategy we introduced to provide additional semantic context for very short responses. Results indicate that BERTopic consistently produced higher topic coherence than STM, with contextual augmentation yielding the strongest performance gains. In contrast, higher-dimensional embeddings alone did not improve coherence and were associated with greater data loss. Qualitative evaluation showed that BERTopic generated more interpretable and stable topics, while STM topics were often broader and more mixed. However, STM provides stronger support for inferential covariate analysis, whereas BERTopic covariate comparisons are primarily descriptive. These findings suggest that STM and BERTopic offer complementary strengths. We conclude with practical guidance for selecting and combining topic modeling approaches in applied social science research.
• Abstract（参考訳）: 応用心理学におけるトピックモデリングは、確率的な単語のバグ・オブ・ワードモデルと、より新しい埋め込みベースのアプローチの2つの方法論的伝統にまたがるようになっている。 しかし、これらの手法の評価の多くは、より長く、よりクリーンなベンチマークコーパスに依存しており、短い、オープンな調査回答のガイダンスは少ないままである。 本稿では,確率論的トピックモデルであるStructure Topic Models (STM)と埋め込みモデルであるBERTopicを比較し,オープンエンドサーベイ応答の分析を行った。 我々は,3つのSTM条件と5つのBERTopic条件,様々なタイポグラフィー補正,ステミング,埋め込み選択,文脈拡張について検討した。 以上の結果から,BERTopicはSTMよりも高いトピックコヒーレンスを連続的に生成し,文脈の増大が最大のパフォーマンス向上をもたらすことが示唆された。 対照的に、高次元埋め込みだけではコヒーレンスを改善せず、データ損失が大きくなった。 定性評価の結果、BERTopicはより解釈可能で安定したトピックを生成し、STMのトピックはより広く、より混ざり合っていた。 しかし、STMは推論共変量解析の強力なサポートを提供するが、BERTopic共変量比較は主に記述的である。 以上の結果から,STMとBERTopicは相補的な強みを示すことが示唆された。 応用社会科学研究におけるトピックモデリングアプローチの選択と組み合わせに関する実践的ガイダンスを締めくくった。

関連論文リスト

• Clash of the models: Comparing performance of BERT-based variants for generic news frame detection [0.0]
  本研究は,比較的汎用的なニュースフレーム検出を行い,BERTに基づく5つの変種の性能を比較する。 第二に、汎用ニュースフレーム検出を堅牢に行うことができる様々な微調整モデルを導入する。 第3に、スイスの選挙状況に基づいたラベル付き汎用ニュースフレームデータセットを学術コミュニティに提供する。
  論文  参考訳（メタデータ） (2026-03-27T08:15:47Z)
• CDRRM: Contrast-Driven Rubric Generation for Reliable and Interpretable Reward Modeling [61.75914342638658]
  CDRRM(Contrast-Driven Reward Model)は、高品質なルーリック生成と優先判断のためのフレームワークである。 この作業は、報酬モデリングのためのスケーラブルで解釈可能で、データ効率のよいパスを提供する。
  論文  参考訳（メタデータ） (2026-03-09T07:15:23Z)
• Lost in Benchmarks? Rethinking Large Language Model Benchmarking with Item Response Theory [44.886213907135435]
  Pseudo-Siamese Network for Item Response Theory (PSN-IRT) を提案する。 PSN-IRTは、アイテムの特性とモデル能力の正確かつ信頼性の高い推定に利用することができる。
  論文  参考訳（メタデータ） (2025-05-21T03:24:11Z)
• MCTS-RAG: Enhancing Retrieval-Augmented Generation with Monte Carlo Tree Search [61.11836311160951]
  本稿では,知識集約型タスクにおける小言語モデルの推論能力を高める新しいアプローチであるMCTS-RAGを紹介する。 通常、推論から独立して情報を取得する標準的なRAG法とは異なり、MCTS-RAGは構造化推論と適応的検索を組み合わせる。 この統合されたアプローチは意思決定を強化し、幻覚を減らし、事実の正確性と応答の整合性を向上させる。
  論文  参考訳（メタデータ） (2025-03-26T17:46:08Z)
• BERTopic for Topic Modeling of Hindi Short Texts: A Comparative Study [1.1650821883155187]
  本研究では,ヒンディー語短文のモデル化におけるBERTopicの性能について検討する。 コンテキスト埋め込みを使用することで、BERTopicはデータのセマンティックな関係をキャプチャし、従来のモデルよりも効果的になる可能性がある。
  論文  参考訳（メタデータ） (2025-01-07T14:53:35Z)
• A Statistical Framework for Ranking LLM-Based Chatbots [57.59268154690763]
  本稿では、ペア比較分析における特定の課題に対処するために、重要な進歩を取り入れた統計フレームワークを提案する。 まず,人力比較のグルーピング処理能力を高める要因付きタイモデルを提案する。 第2に、フレームワークを拡張して、競合間の共分散層をモデル化することで、パフォーマンス関係に関するより深い洞察を可能にします。 第三に、パラメータ非特異性に起因する最適化の課題を、新しい制約を導入することで解決する。
  論文  参考訳（メタデータ） (2024-12-24T12:54:19Z)
• A NotSo Simple Way to Beat Simple Bench [0.0]
  本稿では,大規模言語モデル(LLM)における推論能力向上のための新しい枠組みを提案する。 モデル精度とロバスト性を改善するために,グローバルな整合性チェックと組み合わせたマルチステッププロンプト戦略を提案する。 クロードは論理的整合性を維持するのに優れ, GPT-4oは探索的創造性を示すが, 曖昧なプロンプトに苦しむ。
  論文  参考訳（メタデータ） (2024-12-12T16:04:31Z)
• Statistical ranking with dynamic covariates [6.729750785106628]
  本稿では,Plackett--Luceフレームワーク内での一般統計ランキングモデルを提案する。 我々は,最大極大推定(MLE)を計算するための効率的な交互アルゴリズムを開発した。 競馬やテニス競技を含む実世界のデータセットへのモデルの適用を実証するために,数値的研究を行った。
  論文  参考訳（メタデータ） (2024-06-24T10:26:05Z)
• Exploring Progress in Multivariate Time Series Forecasting: Comprehensive Benchmarking and Heterogeneity Analysis [70.78170766633039]
  我々は、MTS予測提案を確実かつ公平に評価する手段の必要性に対処する。 BasicTS+は、MTS予測ソリューションの公平で包括的で再現可能な比較を可能にするために設計されたベンチマークである。 リッチデータセットとともにBasicTS+を適用し,45 MTS以上の予測ソリューションの性能を評価する。
  論文  参考訳（メタデータ） (2023-10-09T19:52:22Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。