論文の概要: Analysing the Impact of Removing Infrequent Words on Topic Quality in LDA Models

• arxiv url: http://arxiv.org/abs/2311.14505v1
• Date: Fri, 24 Nov 2023 14:20:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-27 15:00:36.169450
• Title: Analysing the Impact of Removing Infrequent Words on Topic Quality in LDA Models
• Title（参考訳）: 頻度の低い単語の除去がLDAモデルの話題品質に及ぼす影響の分析
• Authors: Victor Bystrov, Viktoriia Naboka-Krell, Anna Staszewska-Bystrova, Peter Winker
• Abstract要約: 本稿では,低頻度単語の除去が,遅延ディリクレ割当を用いて推定したトピックの品質に与える影響について検討する。 その結果, 刈り取りは有益であり, 取り除かれる可能性のある語彙のシェアは極めて大きいことが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An initial procedure in text-as-data applications is text preprocessing. One of the typical steps, which can substantially facilitate computations, consists in removing infrequent words believed to provide limited information about the corpus. Despite popularity of vocabulary pruning, not many guidelines on how to implement it are available in the literature. The aim of the paper is to fill this gap by examining the effects of removing infrequent words for the quality of topics estimated using Latent Dirichlet Allocation. The analysis is based on Monte Carlo experiments taking into account different criteria for infrequent terms removal and various evaluation metrics. The results indicate that pruning is beneficial and that the share of vocabulary which might be eliminated can be quite considerable.
• Abstract（参考訳）: テキスト・アズ・データ・アプリケーションの初期手順はテキスト前処理である。 計算を実質的に促進できる典型的なステップの1つは、コーパスに関する限られた情報を提供すると考えられる少ない単語を除去することである。 語彙プルーニングの人気にもかかわらず、その実装方法に関するガイドラインは文献に多くはない。 本研究の目的は,Latent Dirichlet Allocation を用いて推定したトピックの品質に対して,頻度の低い単語を除去することで,このギャップを埋めることである。 この分析は、頻繁な用語の除去と様々な評価基準を考慮に入れたモンテカルロの実験に基づいている。 その結果, 刈り取りは有益であり, 取り除かれる可能性のある語彙のシェアは極めて大きいことが示唆された。

関連論文リスト

• The Empirical Impact of Data Sanitization on Language Models [1.1359551336076306]
  本稿では,複数のベンチマーク言語モデリングタスクにおけるデータ・サニタイズの効果を実証的に分析する。 以上の結果から,感情分析やエンテーメントなどのタスクでは,リアクションの影響は極めて低く,典型的には1～5%程度であることが示唆された。 理解的なQ&Aのようなタスクでは、オリジナルのものと比較して、再実行クエリで観測されるパフォーマンスの25%が大幅に低下している。
  論文  参考訳（メタデータ） (2024-11-08T21:22:37Z)
• An Evaluation of Sindhi Word Embedding in Semantic Analogies and Downstream Tasks [2.3624125155742064]
  我々は,複数のWebリソースから6100万以上の単語をクロールする新しい単語埋め込み型コーパスを提案する。 クロールデータから不要なテキストをフィルタリングするための前処理パイプラインを設計する。 クリーニングされた語彙は、最先端の連続バグ・オブ・ワード、スキップグラム、GloVeワード埋め込みアルゴリズムに供給される。
  論文  参考訳（メタデータ） (2024-08-28T11:36:29Z)
• Categorical Syllogisms Revisited: A Review of the Logical Reasoning Abilities of LLMs for Analyzing Categorical Syllogism [62.571419297164645]
  本稿では,分類的シロジズムを解析するための大規模言語モデルの論理的推論能力に関する先行研究を体系的に概説する。 まず、純粋に論理的な観点から分類的シロジズムの可能なバリエーションについて検討する。 次に、既存のデータセットでテストされた基本的な設定(ムードとフィギュア)を調べます。
  論文  参考訳（メタデータ） (2024-06-26T21:17:20Z)
• An Analysis of BPE Vocabulary Trimming in Neural Machine Translation [56.383793805299234]
  語彙トリミング(vocabulary trimming)は、まれなサブワードをコンポーネントサブワードに置き換える後処理のステップである。 ボキャブラリトリミングは性能向上に失敗し,さらに大きな劣化を招きやすいことを示す。
  論文  参考訳（メタデータ） (2024-03-30T15:29:49Z)
• Constructing Vec-tionaries to Extract Message Features from Texts: A Case Study of Moral Appeals [5.336592570916432]
  本稿では,単語埋め込みによる検証辞書を向上するベクタリー測度ツールの構築手法を提案する。 vec-tionaryは、テキストの強みを超えてメッセージ機能のあいまいさを捉えるために、追加のメトリクスを生成することができる。
  論文  参考訳（メタデータ） (2023-12-10T20:37:29Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• Just Rank: Rethinking Evaluation with Word and Sentence Similarities [105.5541653811528]
  埋め込みの本質的な評価は かなり遅れています そして過去10年間 重要な更新は行われていません 本稿ではまず,単語と文の埋め込み評価におけるゴールドスタンダードとして意味的類似性を用いた問題点を指摘する。 本稿では,下流タスクとより強い相関関係を示すEvalRankという本質的な評価手法を提案する。
  論文  参考訳（メタデータ） (2022-03-05T08:40:05Z)
• Clustering and Network Analysis for the Embedding Spaces of Sentences and Sub-Sentences [69.3939291118954]
  本稿では,文とサブ文の埋め込みを対象とする包括的クラスタリングとネットワーク解析について検討する。 その結果,1つの手法が最もクラスタリング可能な埋め込みを生成することがわかった。 一般に、スパン部分文の埋め込みは、原文よりもクラスタリング特性が優れている。
  論文  参考訳（メタデータ） (2021-10-02T00:47:35Z)
• Disentangling Homophemes in Lip Reading using Perplexity Analysis [10.262299768603894]
  本稿では,ジェネレーティブ・プレトレーニング・トランスの新しい応用法を提案する。 ヴィセムの形で視覚音声を、単語や文の形で言語に変換する言語モデルとして機能する。 ネットワークは最適なパープレキシティを探索して、ビセメ・ツー・ワードマッピングを実行する。
  論文  参考訳（メタデータ） (2020-11-28T12:12:17Z)
• Curious Case of Language Generation Evaluation Metrics: A Cautionary Tale [52.663117551150954]
  イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。 これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。 本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
  論文  参考訳（メタデータ） (2020-10-26T13:57:20Z)
• Analysis and Evaluation of Language Models for Word Sense Disambiguation [18.001457030065712]
  トランスフォーマーベースの言語モデルは、嵐によってNLPの多くの分野を取り込んでいる。 BERTは、ワードセンス毎に限られた数のサンプルが利用できる場合でも、高いレベルの感覚の区別を正確に捉えることができる。 BERTとその派生種は既存の評価ベンチマークの大部分を支配している。
  論文  参考訳（メタデータ） (2020-08-26T15:07:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。