論文の概要: Reliability of Topic Modeling

• arxiv url: http://arxiv.org/abs/2410.23186v1
• Date: Wed, 30 Oct 2024 16:42:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:28:11.108078
• Title: Reliability of Topic Modeling
• Title（参考訳）: トピックモデリングの信頼性
• Authors: Kayla Schroeder, Zach Wood-Doughty,
• Abstract要約: トピックモデルの信頼性を定量化する標準的な手法は,2つの広く使用されているトピックモデルにおいて,その変動の本質的な側面を捉えるのに失敗することを示す。 合成データと実世界のデータから、マクドナルドの$omega$は信頼性の最高のカプセル化を提供することを示している。
• 参考スコア（独自算出の注目度）: 0.3759936323189418
• License:
• Abstract: Topic models allow researchers to extract latent factors from text data and use those variables in downstream statistical analyses. However, these methodologies can vary significantly due to initialization differences, randomness in sampling procedures, or noisy data. Reliability of these methods is of particular concern as many researchers treat learned topic models as ground truth for subsequent analyses. In this work, we show that the standard practice for quantifying topic model reliability fails to capture essential aspects of the variation in two widely-used topic models. Drawing from a extensive literature on measurement theory, we provide empirical and theoretical analyses of three other metrics for evaluating the reliability of topic models. On synthetic and real-world data, we show that McDonald's $\omega$ provides the best encapsulation of reliability. This metric provides an essential tool for validation of topic model methodologies that should be a standard component of any topic model-based research.
• Abstract（参考訳）: トピックモデルにより、研究者はテキストデータから潜在因子を抽出し、下流の統計分析にそれらの変数を使用することができる。 しかし、これらの手法は初期化の違い、サンプリング手順のランダム性、ノイズの多いデータによって大きく異なる可能性がある。 これらの手法の信頼性は、多くの研究者が学習された話題モデルをその後の分析の基礎的真理として扱うため、特に懸念されている。 本研究では,トピックモデルの信頼性を定量化するための標準手法は,2つの広く使用されているトピックモデルにおいて,その変動の本質的な側面を捉えることができないことを示す。 測定理論に関する広範な文献から、トピックモデルの信頼性を評価するために、他の3つの指標を実証的および理論的に分析する。 合成データと実世界のデータから、マクドナルドの$\omega$が信頼性の最高のカプセル化を提供することを示す。 このメトリクスは、トピックモデルベースの研究の標準コンポーネントであるべきトピックモデル方法論の検証に不可欠なツールを提供する。

関連論文リスト

• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
  我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。 GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。 本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
  論文  参考訳（メタデータ） (2024-06-01T08:01:05Z)
• Reliability and Interpretability in Science and Deep Learning [0.0]
  この記事では、従来の科学的モデルとDeep Neural Network(DNN)モデルの比較に焦点を当てる。 DNNモデルの複雑さは、その信頼性と長期的進歩の予測を妨げていると論じている。 また、解釈可能性が、統計分析だけでは理解できないあらゆるモデルの信頼性を評価するための前提条件であることも明らかにした。
  論文  参考訳（メタデータ） (2024-01-14T20:14:07Z)
• Are Neural Topic Models Broken? [81.15470302729638]
  トピックモデルの自動評価と人的評価の関係について検討する。 ニューラルトピックモデルは、確立された古典的手法と比較して、両方の点においてより悪くなる。
  論文  参考訳（メタデータ） (2022-10-28T14:38:50Z)
• Learning Topic Models: Identifiability and Finite-Sample Analysis [6.181048261489101]
  本稿では,特定の統合可能性に基づく潜在トピックの最大確率推定器(MLE)を提案する。 シミュレーションと実データの両方について実証的研究を行った。
  論文  参考訳（メタデータ） (2021-10-08T16:35:42Z)
• A comprehensive comparative evaluation and analysis of Distributional Semantic Models [61.41800660636555]
  我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。 その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。 我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
  論文  参考訳（メタデータ） (2021-05-20T15:18:06Z)
• How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating and Auditing Generative Models [95.8037674226622]
  ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。 当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
  論文  参考訳（メタデータ） (2021-02-17T18:25:30Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)
• Amortized Bayesian model comparison with evidential deep learning [0.12314765641075436]
  本稿では,専門的なディープラーニングアーキテクチャを用いたベイズモデルの比較手法を提案する。 提案手法は純粋にシミュレーションベースであり,観測された各データセットに対して,すべての代替モデルを明示的に適合させるステップを回避している。 提案手法は,本研究で検討した事例に対して,精度,キャリブレーション,効率の点で優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-04-22T15:15:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。