論文の概要: Document Topic Alignment Metrics for Evaluating Topic Models of Short-Text Public Health Communications on Social Media
- arxiv url: http://arxiv.org/abs/2609.14256v1
- Date: Sun, 13 Sep 2026 03:22:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 12:40:38.825831
- Title: Document Topic Alignment Metrics for Evaluating Topic Models of Short-Text Public Health Communications on Social Media
- Title（参考訳）: ソーシャルメディア上での短文公衆衛生コミュニケーションのトピックモデル評価のためのドキュメントトピックアライメントメトリクス
- Abstract要約: 本稿では,文書(投稿)と割り当てられたトピック間のセマンティックアライメントを測定するメトリクスからなる課題認識評価フレームワークを提案する。
公衆衛生関連3つのソーシャルメディアデータセットを対象に,5つのトピックモデル間でDoTAを評価した。
- 参考スコア（独自算出の注目度）: 2.073927793507761
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Topic models are widely used to analyze public health-related social media short texts, yet their evaluation remains dominated by metrics that focus entirely on generated topics alone. There is a lack of metrics that quantitatively assess whether assigned topics meaningfully represent the corresponding short-text posts. We propose Document-Topic Alignment metrics (DoTA), an assignment-aware evaluation framework comprising metrics that measure semantic alignment between documents (posts) and their assigned topics. We also introduce margin-based and discriminative variants that capture topic assignment confidence and distinguishability. We evaluate DoTA across five topic models on three public health-related social media datasets from X and compare DoTA metrics with conventional topic-based metrics. Results show that DoTA provides complementary evaluation cues and aligns meaningfully with human evaluations. These findings establish the need for assignment-aware evaluation and demonstrate that the addition of DoTA enables a more comprehensive and practically meaningful evaluation for assessing short-text topic modeling performance.
- Abstract（参考訳）: トピックモデルは、公衆衛生関連ソーシャルメディア短文の分析に広く使用されているが、その評価は、生成したトピックのみに焦点を当てた指標に支配されている。
割り当てられたトピックが対応する短文投稿を有意に表現するかどうかを定量的に評価する指標が不足している。
本稿では,文書(投稿)のセマンティックアライメント(意味的アライメント)を計測する指標を含む割当てアライメント評価フレームワークであるDocument-Topic Alignment Metrics(DoTA)を提案する。
また、トピック割り当ての信頼度と識別性をキャプチャする、マージンベースおよび差別的なバリエーションも導入する。
我々は,3つの公衆衛生関連ソーシャルメディアデータセットを対象とした5つのトピックモデルを対象としたDoTA評価を行い,従来のトピックベースの指標と比較した。
その結果、DoTAは補完的な評価方法を提供し、人間の評価と有意義に一致していることがわかった。
これらの結果は,課題認識による評価の必要性を確立し,DoTAの追加により,より包括的かつ実践的に意味のある評価が,短文のトピックモデリング性能を評価する上で有効であることを示す。
関連論文リスト
- When Numbers Tell Half the Story: Human-Metric Alignment in Topic Model Evaluation [0.0]
本稿では,話題間の相違性を評価する新しい人間評価課題である,話題語混合(TWM)を紹介する。
我々は,学術出版物の分野固有の哲学のコーパスから,約4,000のアノテーションに基づいて,自動メトリクスと人的評価手法を比較した。
論文 参考訳（メタデータ） (2026-03-02T14:58:20Z) - What Makes a Good Story and How Can We Measure It? A Comprehensive Survey of Story Evaluation [57.550045763103334]
ストーリーを評価することは、他の世代の評価タスクよりも難しい場合があります。
まず、テキスト・トゥ・テキスト、ビジュアル・トゥ・テキスト、テキスト・トゥ・ビジュアルといった既存のストーリーテリングタスクを要約する。
本研究では,これまで開発されてきた,あるいはストーリー評価に応用可能な評価指標を整理する分類法を提案する。
論文 参考訳（メタデータ） (2024-08-26T20:35:42Z) - A Survey on Quality Metrics for Text-to-Image Generation [9.753473063305503]
AIベースのテキスト・ツー・イメージモデルは、現実的な画像の生成に優れるだけでなく、デザイナーが画像の内容をより細かく制御できるようになっている。
これらのアプローチはコンピュータグラフィックス研究コミュニティ内で注目を集めている。
本稿では,このようなテキスト・ツー・イメージの品質指標の概要を概観し,これらの指標を分類するための分類法を提案する。
論文 参考訳（メタデータ） (2024-03-18T14:24:20Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。
我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。
最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - OpinSummEval: Revisiting Automated Evaluation for Opinion Summarization [52.720711541731205]
人間の判断と14の意見要約モデルからの出力からなるデータセットであるOpinSummEvalを提案する。
以上の結果から,ニューラルネットワークに基づく測定値が神経以外の測定値を上回っていることが示唆された。
論文 参考訳（メタデータ） (2023-10-27T13:09:54Z) - Towards Interpretable Summary Evaluation via Allocation of Contextual
Embeddings to Reference Text Topics [1.5749416770494706]
多面的解釈可能な要約評価法(MISEM)は、要約の文脈トークンの埋め込みを、参照テキストで特定されたセマンティックトピックに割り当てることに基づいている。
MISEMはTAC'08データセット上の人間の判断と有望な.404ピアソン相関を達成している。
論文 参考訳（メタデータ） (2022-10-25T17:09:08Z) - Author Clustering and Topic Estimation for Short Texts [69.54017251622211]
同じ文書中の単語間の強い依存をモデル化することにより、遅延ディリクレ割当を拡張できる新しいモデルを提案する。
同時にユーザをクラスタ化し、ホック後のクラスタ推定の必要性を排除しています。
我々の手法は、短文で生じる問題に対する従来のアプローチよりも、-または----------- で機能する。
論文 参考訳（メタデータ） (2021-06-15T20:55:55Z) - A Topic Coverage Approach to Evaluation of Topic Models [0.0]
トピックカバレッジの測定に基づくトピックモデル評価のアプローチについて検討する。
このアプローチの利点を,一連の実験において,異なる種類のトピックモデルを評価することによって実証する。
この論文の寄稿には、カバレッジの尺度とトピック発見のためのトピックモデルの使用のための推奨事項が含まれる。
論文 参考訳（メタデータ） (2020-12-11T12:08:27Z) - GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。
10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。
また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
論文 参考訳（メタデータ） (2020-10-24T08:30:20Z) - Weakly-Supervised Aspect-Based Sentiment Analysis via Joint
Aspect-Sentiment Topic Embedding [71.2260967797055]
アスペクトベース感情分析のための弱教師付きアプローチを提案する。
We learn sentiment, aspects> joint topic embeddeds in the word embedding space。
次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
論文 参考訳（メタデータ） (2020-10-13T21:33:24Z) - Towards Question-Answering as an Automatic Metric for Evaluating the
Content Quality of a Summary [65.37544133256499]
質問回答(QA)を用いて要約内容の質を評価する指標を提案する。
提案指標であるQAEvalの分析を通じて,QAに基づくメトリクスの実験的メリットを実証する。
論文 参考訳（メタデータ） (2020-10-01T15:33:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。