論文の概要: Improving the TENOR of Labeling: Re-evaluating Topic Models for Content Analysis

• arxiv url: http://arxiv.org/abs/2401.16348v2
• Date: Tue, 20 Feb 2024 03:10:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 19:38:05.741744
• Title: Improving the TENOR of Labeling: Re-evaluating Topic Models for Content Analysis
• Title（参考訳）: ラベリングのTENORの改善:コンテンツ分析のためのトピックモデルの再評価
• Authors: Zongxia Li, Andrew Mao, Daniel Stephens, Pranav Goel, Emily Walpole, Alden Dima, Juan Fung, Jordan Boyd-Graber
• Abstract要約: 対話型タスクベース設定において,ニューラル,教師付き,古典的なトピックモデルの最初の評価を行う。 現在の自動メトリクスは、トピックモデリング機能の完全な図を提供していないことを示す。
• 参考スコア（独自算出の注目度）: 5.757610495733924
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Topic models are a popular tool for understanding text collections, but their evaluation has been a point of contention. Automated evaluation metrics such as coherence are often used, however, their validity has been questioned for neural topic models (NTMs) and can overlook a models benefits in real world applications. To this end, we conduct the first evaluation of neural, supervised and classical topic models in an interactive task based setting. We combine topic models with a classifier and test their ability to help humans conduct content analysis and document annotation. From simulated, real user and expert pilot studies, the Contextual Neural Topic Model does the best on cluster evaluation metrics and human evaluations; however, LDA is competitive with two other NTMs under our simulated experiment and user study results, contrary to what coherence scores suggest. We show that current automated metrics do not provide a complete picture of topic modeling capabilities, but the right choice of NTMs can be better than classical models on practical task.
• Abstract（参考訳）: トピックモデルはテキストコレクションを理解するための一般的なツールであるが、その評価は議論のポイントとなっている。 コヒーレンスなどの自動評価指標はよく用いられるが、その妥当性はニューラルトピックモデル(NTM)に疑問視され、現実世界のアプリケーションでモデルの有効性を見落としることができる。 そこで我々は,対話型タスクベース設定において,ニューラル,教師付き,古典的なトピックモデルの最初の評価を行う。 トピックモデルを分類器と組み合わせて、人間がコンテンツ分析や文書アノテーションを行うのを助ける能力をテストする。 シミュレーションされた実際のユーザと専門家によるパイロットスタディから、Contextual Neural Topic Modelはクラスタ評価の指標と人間の評価に最善を尽くすが、LDAは他の2つのNTMと競合する。 現在の自動メトリクスはトピックモデリング機能の完全な図示を提供していないが、NTMの正しい選択は、実践的なタスクにおける古典的なモデルよりも優れていることを示す。

関連論文リスト

• Interactive Topic Models with Optimal Transport [75.26555710661908]
  ラベル名監視型トピックモデリングのためのアプローチとして,EdTMを提案する。 EdTMは、LM/LLMベースのドキュメントトピック親和性を活用しながら、代入問題としてのトピックモデリングをモデル化する。
  論文  参考訳（メタデータ） (2024-06-28T13:57:27Z)
• Historia Magistra Vitae: Dynamic Topic Modeling of Roman Literature using Neural Embeddings [10.095706051685665]
  従来の統計モデル(LDAとNMF)とBERTモデルを用いたトピックモデルの比較を行った。 定量的メトリクスは統計モデルを好むが、定性的評価は神経モデルからより良い洞察を得る。
  論文  参考訳（メタデータ） (2024-06-27T05:38:49Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Are Neural Topic Models Broken? [81.15470302729638]
  トピックモデルの自動評価と人的評価の関係について検討する。 ニューラルトピックモデルは、確立された古典的手法と比較して、両方の点においてより悪くなる。
  論文  参考訳（メタデータ） (2022-10-28T14:38:50Z)
• A Joint Learning Approach for Semi-supervised Neural Topic Modeling [25.104653662416023]
  本稿では,最初の効果的な上流半教師付きニューラルトピックモデルであるラベル付きニューラルトピックモデル(LI-NTM)を紹介する。 LI-NTMは文書再構成ベンチマークにおいて既存のニューラルトピックモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-04-07T04:42:17Z)
• Is Automated Topic Model Evaluation Broken?: The Incoherence of Coherence [62.826466543958624]
  トピックモデル評価における標準化のギャップと検証のギャップについて考察する。 これらの指標によると、最近のニューラルネットワークコンポーネントに依存したモデルは、古典的なトピックモデルを超えている。 我々は,話題評価と単語侵入という,最も広く受け入れられている2つの人間の判断タスクとともに,自動的コヒーレンスを用いる。
  論文  参考訳（メタデータ） (2021-07-05T17:58:52Z)
• Have you tried Neural Topic Models? Comparative Analysis of Neural and Non-Neural Topic Models with Application to COVID-19 Twitter Data [11.199249808462458]
  我々は、最先端のニューラルモデルと非ニューラルトピックモデルの比較研究を行う。 ニューラルトピックモデルは、標準評価基準において従来のトピックよりも優れていることを示す。 また,モード崩壊問題に対処するために,ニューラルトピックモデルの新しい正規化項を提案する。
  論文  参考訳（メタデータ） (2021-05-21T07:24:09Z)
• Improving Neural Topic Models using Knowledge Distillation [84.66983329587073]
  我々は,確率論的トピックモデルと事前学習されたトランスフォーマーの最適属性を組み合わせるために,知識蒸留を用いる。 我々のモジュラー手法は、どのニューラルトピックモデルでも簡単に適用でき、トピックの品質を向上させることができる。
  論文  参考訳（メタデータ） (2020-10-05T22:49:16Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。