論文の概要: Semantic Sensitive TF-IDF to Determine Word Relevance in Documents
- arxiv url: http://arxiv.org/abs/2001.09896v2
- Date: Mon, 25 Jan 2021 23:52:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-14 01:52:01.655208
- Title: Semantic Sensitive TF-IDF to Determine Word Relevance in Documents
- Title（参考訳）: 文書における単語関連性決定のための意味的感性TF-IDF
- Authors: Amir Jalilifard, Vinicius F. Carid\'a, Alex F. Mansano, Rogers S.
Cristo, Felipe Penhorate C. da Fonseca
- Abstract要約: STF-IDF は TF-IDF をベースとした新しい意味論的手法であり,コーパス内の非公式文書の単語重要度を評価する。
提案手法は,TF-IDF平均誤差率を50%,平均誤差率13.7%まで下げることに成功した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Keyword extraction has received an increasing attention as an important
research topic which can lead to have advancements in diverse applications such
as document context categorization, text indexing and document classification.
In this paper we propose STF-IDF, a novel semantic method based on TF-IDF, for
scoring word importance of informal documents in a corpus. A set of nearly four
million documents from health-care social media was collected and was trained
in order to draw semantic model and to find the word embeddings. Then, the
features of semantic space were utilized to rearrange the original TF-IDF
scores through an iterative solution so as to improve the moderate performance
of this algorithm on informal texts. After testing the proposed method with 200
randomly chosen documents, our method managed to decrease the TF-IDF mean error
rate by a factor of 50% and reaching the mean error of 13.7%, as opposed to
27.2% of the original TF-IDF.
- Abstract（参考訳）: キーワード抽出は重要な研究トピックとして注目され、文書コンテキスト分類、テキストインデックス化、文書分類などの様々な応用に発展をもたらす可能性がある。
本稿では,TF-IDFに基づく新しい意味的手法であるSTF-IDFを提案する。
医療用ソーシャルメディアから400万件近い文書が収集され、セマンティックモデルを作成し、埋め込みという言葉を見つけるために訓練された。
次に, 意味空間の特徴を用いて, tf-idfスコアを反復解を用いて再構成し, 非公式テキストにおけるこのアルゴリズムの適度な性能向上を図る。
提案手法をランダムに選択した200の文書で検証した結果, tf-idf平均誤差率は50%, 平均誤差13.7%と, tf-idfの27.2%に低下した。
関連論文リスト
- Effects of term weighting approach with and without stop words removing
on Arabic text classification [0.9217021281095907]
本研究では,2項重み付け法と項重み付け法が停止語を除去した場合のテキストの分類方法に与える影響を比較検討した。
全ての指標に対して、停止語除去を伴う周波数特徴重み付け手法は二分法よりも優れている。
このデータから、同じフレーズ重み付け手法を用いて、停止語除去が分類精度を高めることは明らかである。
論文 参考訳（メタデータ） (2024-02-21T11:31:04Z) - Language Models As Semantic Indexers [78.83425357657026]
本稿では,ジェネレーティブ言語モデルを用いてセマンティックIDを学習するための自己教師型フレームワークLMIndexerを紹介する。
学習したIDの質を検証し,推奨,製品検索,文書検索の3つの課題において有効性を示す。
論文 参考訳（メタデータ） (2023-10-11T18:56:15Z) - A Comparative Study on TF-IDF feature Weighting Method and its Analysis
using Unstructured Dataset [0.5156484100374058]
用語周波数-逆文書周波数(TF-IDF)と自然言語処理(NLP)は、テキスト分類において最もよく用いられる情報検索手法である。
本研究では,非構造化データのテキスト分類における特徴重み付け手法の検討と解析を行った。
提案モデルは、IMDB映画レビューにおけるN-GramsとTF-IDFと、感情分析のためのAmazon Alexaレビューデータセットの2つの特徴を検討した。
論文 参考訳（メタデータ） (2023-08-08T04:27:34Z) - Method for Determining the Similarity of Text Documents for the Kazakh
language, Taking Into Account Synonyms: Extension to TF-IDF [0.0]
文書の類似性を決定するタスクは,情報検索など多くの分野で注目されている。
周波数-逆文書周波数(TF-IDF)は、関連文書の検索を容易にするために最も広く使われている用語重み付け法である。
この手法の有効性は、カザフ語におけるテキスト文書の類似性を測定するために、Cosine, Dice, Jaccardなどの関数の実験によって確認される。
論文 参考訳（メタデータ） (2022-11-22T15:54:41Z) - Document-Level Relation Extraction with Sentences Importance Estimation
and Focusing [52.069206266557266]
文書レベルの関係抽出(DocRE)は、複数の文の文書から2つのエンティティ間の関係を決定することを目的としている。
我々はDocREのための文重要度スコアと文集中損失を設計するSIEF(Sentence Estimation and Focusing)フレームワークを提案する。
2つのドメインの実験結果から、SIEFは全体的なパフォーマンスを改善するだけでなく、DocREモデルをより堅牢にします。
論文 参考訳（メタデータ） (2022-04-27T03:20:07Z) - GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。
FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
論文 参考訳（メタデータ） (2022-04-12T03:49:35Z) - Out-of-Category Document Identification Using Target-Category Names as
Weak Supervision [64.671654559798]
Out-of-category Detection は、文書が不適格(またはターゲット)カテゴリと意味的関連性に応じて区別することを目的としている。
対象のカテゴリの1つに属する文書の信頼性を効果的に測定する,カテゴリ外検出フレームワークを提案する。
論文 参考訳（メタデータ） (2021-11-24T21:01:25Z) - Unsupervised Identification of Relevant Prior Cases [0.0]
本稿では,あるクエリケースに対して,関連する前例を特定するタスクを解くために,異なる教師なしアプローチを提案する。
提案手法は, word2vec, doc2vec, sent2vec などの単語埋め込みを用いて,TF-IDF を用いてコサイン類似性を発見し,BM25 スコアを用いて関連文書を検索し,事前学習したモデルと SBERT を用いて最も類似した文書を検索する。
比較分析の結果, TF-IDFスコアをBM25スコアに乗じると, 最高の結果が得られることがわかった。
論文 参考訳（メタデータ） (2021-07-19T15:41:49Z) - Unsupervised Document Embedding via Contrastive Augmentation [48.71917352110245]
本稿では,教師なしで文書表現を学習するためのデータ拡張手法と対比学習手法を提案する。
画像と事前学習に使われる最近のコントラスト的自己教師付き学習アルゴリズムに触発されて、高品質な文書埋め込みは様々なパラフレーズに不変であるべきだと仮定した。
本手法は,文書分類作業におけるSOTA手法よりも最大6.4%の分類誤差率を減少させることができる。
論文 参考訳（メタデータ） (2021-03-26T15:48:52Z) - Extending Neural Keyword Extraction with TF-IDF tagset matching [4.014524824655106]
キーワード抽出は、与えられた文書を最もよく記述し、同様のトピックの記事をリンクするニュースポータルで機能する単語を識別するタスクである。
本研究では, ヨーロッパのニュースメディア産業において, 表現の少ない, 形態的に豊かな言語を対象とする4つの新しいデータセットの手法を開発し, 評価する。
論文 参考訳（メタデータ） (2021-01-31T15:39:17Z) - Pre-training Tasks for Embedding-based Large-scale Retrieval [68.01167604281578]
本稿では,大規模クエリ文書検索問題について考察する。
クエリ(例えば質問)が与えられたら、関連するドキュメントのセットを大きなドキュメントコーパスから返します。
本稿では, 組込み型トランスフォーマーモデルの学習の鍵となる要素が, 事前学習作業のセットであることを示す。
論文 参考訳（メタデータ） (2020-02-10T16:44:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。