論文の概要: Beyond Sentiment: Leveraging Topic Metrics for Political Stance Classification

• arxiv url: http://arxiv.org/abs/2310.15429v1
• Date: Tue, 24 Oct 2023 00:50:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 21:00:13.062265
• Title: Beyond Sentiment: Leveraging Topic Metrics for Political Stance Classification
• Title（参考訳）: Beyond Sentiment: 政治的スタンス分類のためのトピックメトリクスを活用する
• Authors: Weihong Qi
• Abstract要約: 本研究では,抽出されたトピックから変換されたダミー変数であるトピックメトリクスを,スタンス分類における感情指標の代替と補完の両方として紹介する。 実験の結果、BERTopicは従来のアプローチと比較してコヒーレンススコアを17.07%から54.20%改善していることがわかった。 本研究は, 文脈に富むテキストやコーパスにおいて, 姿勢と感情の相関が弱いトピックメトリクスが特に有効であることが示唆された。
• 参考スコア（独自算出の注目度）: 1.0878040851638
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sentiment analysis, widely critiqued for capturing merely the overall tone of a corpus, falls short in accurately reflecting the latent structures and political stances within texts. This study introduces topic metrics, dummy variables converted from extracted topics, as both an alternative and complement to sentiment metrics in stance classification. By employing three datasets identified by Bestvater and Monroe (2023), this study demonstrates BERTopic's proficiency in extracting coherent topics and the effectiveness of topic metrics in stance classification. The experiment results show that BERTopic improves coherence scores by 17.07% to 54.20% when compared to traditional approaches such as Dirichlet Allocation (LDA) and Non-negative Matrix Factorization (NMF), prevalent in earlier political science research. Additionally, our results indicate topic metrics outperform sentiment metrics in stance classification, increasing performance by as much as 18.95%. Our findings suggest topic metrics are especially effective for context-rich texts and corpus where stance and sentiment correlations are weak. The combination of sentiment and topic metrics achieve an optimal performance in most of the scenarios and can further address the limitations of relying solely on sentiment as well as the low coherence score of topic metrics.
• Abstract（参考訳）: 感覚分析は、コーパスの全体音だけを捉えるために広く批判されているが、テキスト内の潜伏構造や政治的スタンスを正確に反映するには不十分である。 本研究では,抽出されたトピックから変換されたダミー変数であるトピックメトリクスを,スタンス分類における感情指標の代替および補完として導入する。 本研究は,Bestvater and Monroe (2023) が同定した3つのデータセットを用いて,一貫性のあるトピック抽出におけるBERTopicの習熟度と,スタンス分類におけるトピックメトリクスの有効性を示す。 実験の結果、BERTopicのコヒーレンススコアは17.07%から54.20%向上し、ディリクレ転位(英語版)(LDA)や非負行列因子化(英語版)(NMF)のような従来のアプローチと比較しても改善した。 さらに,トピックメトリクスは,スタンス分類における感情指標を上回り,最大18.95%のパフォーマンス向上を示した。 本研究は,文脈に富んだテキストやコーパスにおいて,スタンスと感情の相関が弱い話題メトリクスが特に有効であることを示唆する。 センチメントとトピックメトリクスの組み合わせは、ほとんどのシナリオで最適なパフォーマンスを達成し、トピックメトリクスのコヒーレンススコアの低さだけでなく、感情のみに依存するという制限にも対処できます。

関連論文リスト

• Towards Fine-Grained Citation Evaluation in Generated Text: A Comparative Analysis of Faithfulness Metrics [22.041561519672456]
  大型言語モデル(LLM)は、しばしば「幻覚」として知られる、サポートされていない、または検証できないコンテンツを生成している。 本稿では,3段階のサポートレベル間での引用を識別する上で,メトリクスの有効性を評価するための比較評価フレームワークを提案する。 以上の結果から,全ての評価において一貫した指標が得られず,きめ細かな支援評価の複雑さが明らかとなった。
  論文  参考訳（メタデータ） (2024-06-21T15:57:24Z)
• Evaluating the IWSLT2023 Speech Translation Tasks: Human Annotations, Automatic Metrics, and Segmentation [50.60733773088296]
  音声言語翻訳国際ワークショップ(IWSLT 2023)における共有タスクの結果を総合的に評価する。 本稿では,セグメントコンテキストによる自動回帰と直接評価に基づく効果的な評価戦略を提案する。 分析の結果,1) 提案した評価戦略は頑健であり,他の種類の人的判断とよく相関している,2) 自動測定基準は通常,必ずしも直接評価スコアとよく関連しているわけではない,3) COMET は chrF よりもわずかに強い自動測定基準である,といった結果を得た。
  論文  参考訳（メタデータ） (2024-06-06T09:18:42Z)
• BBScore: A Brownian Bridge Based Metric for Assessing Text Coherence [20.507596002357655]
  コヒーレントテキストは本質的に文間の連続的かつ密着的な相互作用を示す。 BBScore(英: BBScore)は、ブラウン橋理論において、テキストコヒーレンスを評価するための基準のない計量である。
  論文  参考訳（メタデータ） (2023-12-28T08:34:17Z)
• On the Intrinsic and Extrinsic Fairness Evaluation Metrics for Contextualized Language Representations [74.70957445600936]
  様々な自然言語処理タスクの公平度を測定するために、複数のメトリクスが導入された。 これらの指標は,(1)下流アプリケーションにおけるフェアネスを評価する遠因性指標と,(2)上流言語表現モデルにおけるフェアネスを推定する遠因性指標の2つのカテゴリに大別することができる。
  論文  参考訳（メタデータ） (2022-03-25T22:17:43Z)
• SMURF: SeMantic and linguistic UndeRstanding Fusion for Caption Evaluation via Typicality Analysis [20.026835809227283]
  情報理論に根ざした評価の新しい定式化である「定型性」を導入する。 これらの分割された意味論と流布の次元が、キャプタの違いに関するシステムレベルの洞察をいかに与えているかを示す。 提案手法とそれらの組み合わせであるSMURFは,他のルールベース評価指標と比較した場合,人間の判断と最先端の相関が得られた。
  論文  参考訳（メタデータ） (2021-06-02T19:58:20Z)
• Through the Data Management Lens: Experimental Analysis and Evaluation of Fair Classification [75.49600684537117]
  データ管理研究は、データとアルゴリズムの公平性に関連するトピックに対する存在感と関心が高まっている。 我々は,その正しさ,公平性,効率性,スケーラビリティ,安定性よりも,13の公正な分類アプローチと追加の変種を幅広く分析している。 我々の分析は、異なるメトリクスとハイレベルなアプローチ特性がパフォーマンスの異なる側面に与える影響に関する新しい洞察を強調します。
  論文  参考訳（メタデータ） (2021-01-18T22:55:40Z)
• LCEval: Learned Composite Metric for Caption Evaluation [37.2313913156926]
  ニューラルネットワークに基づく学習指標を提案し,キャプションレベルのキャプション評価を改善する。 本稿では,異なる言語特徴と学習指標のキャプションレベルの相関関係について検討する。 提案手法は,キャプションレベルの相関で既存の指標を上回るだけでなく,人間評価に対するシステムレベルの相関性も示している。
  論文  参考訳（メタデータ） (2020-12-24T06:38:24Z)
• GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
  本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。 また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
  論文  参考訳（メタデータ） (2020-10-24T08:30:20Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)
• A computational model implementing subjectivity with the 'Room Theory'. The case of detecting Emotion from Text [68.8204255655161]
  本研究は,テキスト分析における主観性と一般的文脈依存性を考慮した新しい手法を提案する。 単語間の類似度を用いて、ベンチマーク中の要素の相対的関連性を抽出することができる。 この方法は、主観的評価がテキストの相対値や意味を理解するために関係しているすべてのケースに適用できる。
  論文  参考訳（メタデータ） (2020-05-12T21:26:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。