Fugu-MT 論文翻訳(概要): Evaluating Dynamic Topic Models

論文の概要: Evaluating Dynamic Topic Models

arxiv url: http://arxiv.org/abs/2309.08627v1
Date: Tue, 12 Sep 2023 13:30:25 GMT
ステータス: 処理完了
システム内更新日: 2023-09-24 04:04:51.702198
Title: Evaluating Dynamic Topic Models
Title（参考訳）: 動的トピックモデルの評価
Authors: Charu James, Mayank Nagda, Nooshin Haji Ghassemi, Marius Kloft, Sophie Fellenz
Abstract要約: 本稿では,各トピックの品質変化を経時的に分析するDTMの新たな評価尺度を提案する。また、トピック品質とモデルの時間的整合性を組み合わせた拡張を提案する。
参考スコア（独自算出の注目度）: 21.623395674959657
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: There is a lack of quantitative measures to evaluate the progression of topics through time in dynamic topic models (DTMs). Filling this gap, we propose a novel evaluation measure for DTMs that analyzes the changes in the quality of each topic over time. Additionally, we propose an extension combining topic quality with the model's temporal consistency. We demonstrate the utility of the proposed measure by applying it to synthetic data and data from existing DTMs. We also conducted a human evaluation, which indicates that the proposed measure correlates well with human judgment. Our findings may help in identifying changing topics, evaluating different DTMs, and guiding future research in this area.
Abstract（参考訳）: 動的トピックモデル(DTM)では,時間経過に伴うトピックの進行を評価する定量的尺度が欠如している。このギャップを埋めて,各トピックの質の変化を経時的に分析するDTMの新たな評価尺度を提案する。さらに,トピック品質とモデルの時間的整合性を組み合わせた拡張を提案する。既存のDTMの合成データやデータに適用することで,提案手法の有用性を実証する。また,人的評価を行い,提案手法が人的判断とよく相関していることを示す。本研究の成果は,トピックの変化の特定,DTMの評価,今後の研究の指針となる可能性がある。

関連論文リスト

Bayesian temporal biclustering with applications to multi-subject neuroscience studies [6.515516311120015]
本研究では,時間不変な被検体の分割が時間変化による測定の分割を誘導するネスト分割を特徴とする時間的双クラスタリングのためのベイズモデルを提案する。提案手法は,データ駆動による被検体数および測定クラスター数の決定と,測定分割における変化点数および位置の推定を可能にする。
論文参考訳（メタデータ） (2024-06-24T20:41:37Z)
Improving the TENOR of Labeling: Re-evaluating Topic Models for Content Analysis [5.757610495733924]
対話型タスクベース設定において,ニューラル,教師付き,古典的なトピックモデルの最初の評価を行う。現在の自動メトリクスは、トピックモデリング機能の完全な図を提供していないことを示す。
論文参考訳（メタデータ） (2024-01-29T17:54:04Z)
QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文参考訳（メタデータ） (2023-11-06T00:21:44Z)
From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
論文参考訳（メタデータ） (2023-06-18T09:54:33Z)
Are Neural Topic Models Broken? [81.15470302729638]
トピックモデルの自動評価と人的評価の関係について検討する。ニューラルトピックモデルは、確立された古典的手法と比較して、両方の点においてより悪くなる。
論文参考訳（メタデータ） (2022-10-28T14:38:50Z)
Mixed Effects Neural ODE: A Variational Approximation for Analyzing the Dynamics of Panel Data [50.23363975709122]
パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
論文参考訳（メタデータ） (2022-02-18T22:41:51Z)
Deep learning and differential equations for modeling changes in individual-level latent dynamics between observation periods [0.0]
本稿では,異なる微分方程式パラメータの集合が観測サブ周期で許容される拡張を提案する。アプリケーション内のレジリエンスの個々の動的モデルから予測対象を導出する。提案手法では,動的モデルの個々のレベルパラメータの同定に成功し,予測子を安定して選択できる。
論文参考訳（メタデータ） (2022-02-15T13:53:42Z)
SyMetric: Measuring the Quality of Learnt Hamiltonian Dynamics Inferred from Vision [73.26414295633846]
最近提案されたモデルのクラスは、高次元観測から潜在力学を学習しようと試みている。既存の手法は画像再構成の品質に依存しており、学習した潜在力学の質を常に反映しているわけではない。我々は、基礎となるハミルトン力学が忠実に捕獲されたかどうかのバイナリ指標を含む、一連の新しい尺度を開発する。
論文参考訳（メタデータ） (2021-11-10T23:26:58Z)
How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating and Auditing Generative Models [95.8037674226622]
ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
論文参考訳（メタデータ） (2021-02-17T18:25:30Z)
A Topic Coverage Approach to Evaluation of Topic Models [0.0]
トピックカバレッジの測定に基づくトピックモデル評価のアプローチについて検討する。このアプローチの利点を,一連の実験において,異なる種類のトピックモデルを評価することによって実証する。この論文の寄稿には、カバレッジの尺度とトピック発見のためのトピックモデルの使用のための推奨事項が含まれる。
論文参考訳（メタデータ） (2020-12-11T12:08:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。