論文の概要: Information Retrieval in long documents: Word clustering approach for improving Semantics
- arxiv url: http://arxiv.org/abs/2302.10150v2
- Date: Sat, 26 Jul 2025 21:01:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-29 16:23:55.056198
- Title: Information Retrieval in long documents: Word clustering approach for improving Semantics
- Title（参考訳）: 長文における情報検索:意味論改善のための単語クラスタリング手法
- Authors: Paul Mbathe Mekontchou, Armel Fotsoh, Bernabe Batchakui, Eddy Ella,
- Abstract要約: 本稿では,長い文書の場合のセマンティック情報検索のためのディープニューラルネットワークの代替案を提案する。
クラスタリング技術を活用したこの新しいアプローチは、長文と短文を対象とする情報検索システムにおける単語の意味を考慮に入れている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we propose an alternative to deep neural networks for semantic information retrieval for the case of long documents. This new approach exploiting clustering techniques to take into account the meaning of words in Information Retrieval systems targeting long as well as short documents. This approach uses a specially designed clustering algorithm to group words with similar meanings into clusters. The dual representation (lexical and semantic) of documents and queries is based on the vector space model proposed by Gerard Salton in the vector space constituted by the formed clusters. The originalities of our proposal are at several levels: first, we propose an efficient algorithm for the construction of clusters of semantically close words using word embedding as input, then we define a formula for weighting these clusters, and then we propose a function allowing to combine efficiently the meanings of words with a lexical model widely used in Information Retrieval. The evaluation of our proposal in three contexts with two different datasets SQuAD and TREC-CAR has shown that is significantly improves the classical approaches only based on the keywords without degrading the lexical aspect.
- Abstract（参考訳）: 本稿では,長い文書の場合のセマンティック情報検索のためのディープニューラルネットワークの代替案を提案する。
この手法は,長文と短文を対象とする情報検索システムにおいて,単語の意味を考慮に入れたクラスタリング手法を活用する。
このアプローチでは、類似した意味を持つ単語をクラスタに分類するために、特別に設計されたクラスタリングアルゴリズムを使用する。
文書とクエリの二重表現(語彙と意味)は、ジェラルド・サルトンによって提案されたベクトル空間モデルに基づく。
まず、単語埋め込みを入力として用いた意味論的クローズワードのクラスタ構築のための効率的なアルゴリズムを提案し、次に、これらのクラスタを重み付けするための公式を定義し、次に、情報検索で広く使われている語彙モデルと単語の意味を効率的に組み合わせる機能を提案する。
SQuAD と TREC-CAR の2つの異なるデータセットを持つ3つの文脈における提案手法の評価は,語彙的側面を劣化させることなく,キーワードのみに基づいて古典的アプローチを大幅に改善することを示した。
関連論文リスト
- An Enhanced Model-based Approach for Short Text Clustering [58.60681789677676]
Twitter、Google+、Facebookなどのソーシャルメディアの人気が高まり、短いテキストのクラスタリングがますます重要になっている。
既存の手法は、トピックモデルに基づくアプローチと深層表現学習に基づくアプローチの2つのパラダイムに大別することができる。
短文の空間性と高次元性を効果的に扱えるDirichlet Multinomial Mixture Model (GSDMM) のギブスサンプリングアルゴリズムを提案する。
さらなる改良を保証しているGSDMMのいくつかの側面に基づいて,さらなる性能向上を目的とした改良されたアプローチであるGSDMM+を提案する。
論文 参考訳（メタデータ） (2025-07-18T10:07:42Z) - Graph-Convolutional Networks: Named Entity Recognition and Large Language Model Embedding in Document Clustering [9.929301228994095]
本稿では、文書クラスタリングのためのグラフベースのフレームワークに、名前付きエンティティ認識(NER)とLarge Language Models(LLM)を組み込む新しいアプローチを提案する。
グラフ畳み込みネットワーク(GCN)を用いて最適化された名前付きエンティティ類似性によって重み付けされた文書とエッジのノードでグラフを構築する。
実験結果から,本手法はクラスタリングにおける従来の共起型手法,特に名前付きエンティティに富んだ文書よりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-12-19T14:03:22Z) - LIST: Learning to Index Spatio-Textual Data for Embedding based Spatial Keyword Queries [53.843367588870585]
リスト K-kNN 空間キーワードクエリ (TkQ) は、空間的およびテキスト的関連性の両方を考慮したランキング関数に基づくオブジェクトのリストを返す。
効率的かつ効率的な指標、すなわち高品質なラベルの欠如とバランスの取れない結果を構築する上で、大きな課題が2つある。
この2つの課題に対処する新しい擬似ラベル生成手法を開発した。
論文 参考訳（メタデータ） (2024-03-12T05:32:33Z) - A Process for Topic Modelling Via Word Embeddings [0.0]
この研究は、単語の埋め込み、次元の縮小、クラスタリングに基づくアルゴリズムを組み合わせる。
目的は、未分類テキストの集合からトピックを取得することである。
論文 参考訳（メタデータ） (2023-10-06T15:10:35Z) - Towards Realistic Zero-Shot Classification via Self Structural Semantic
Alignment [53.2701026843921]
大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。
本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。
本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-24T17:56:46Z) - CLIP-GCD: Simple Language Guided Generalized Category Discovery [21.778676607030253]
一般化カテゴリー発見(GCD)は、既知のカテゴリと未知のカテゴリをラベルのないデータで分類するモデルを必要とする。
従来の手法では、自己教師付き事前学習とラベル付きデータの教師付き微調整を併用し、続いて単純なクラスタリング手法を併用していた。
我々は2つの相補的な方法でマルチモーダル(ビジョンと言語)モデルを活用することを提案する。
論文 参考訳（メタデータ） (2023-05-17T17:55:33Z) - CEIL: A General Classification-Enhanced Iterative Learning Framework for
Text Clustering [16.08402937918212]
短文クラスタリングのための新しい分類強化反復学習フレームワークを提案する。
各イテレーションにおいて、まず最初に言語モデルを採用して、初期テキスト表現を検索する。
厳密なデータフィルタリングと集約プロセスの後、クリーンなカテゴリラベルを持つサンプルが検索され、監督情報として機能する。
最後に、表現能力が改善された更新言語モデルを使用して、次のイテレーションでクラスタリングを強化する。
論文 参考訳（メタデータ） (2023-04-20T14:04:31Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳（メタデータ） (2022-05-23T11:01:59Z) - A Proposition-Level Clustering Approach for Multi-Document Summarization [82.4616498914049]
クラスタリングアプローチを再検討し、より正確な情報アライメントの提案をグループ化します。
提案手法は,有意な命題を検出し,それらをパラフラスティックなクラスタに分類し,その命題を融合して各クラスタの代表文を生成する。
DUC 2004 とTAC 2011 データセットでは,従来の最先端 MDS 法よりも要約法が優れている。
論文 参考訳（メタデータ） (2021-12-16T10:34:22Z) - Out-of-Category Document Identification Using Target-Category Names as
Weak Supervision [64.671654559798]
Out-of-category Detection は、文書が不適格(またはターゲット)カテゴリと意味的関連性に応じて区別することを目的としている。
対象のカテゴリの1つに属する文書の信頼性を効果的に測定する,カテゴリ外検出フレームワークを提案する。
論文 参考訳（メタデータ） (2021-11-24T21:01:25Z) - Unsupervised Key-phrase Extraction and Clustering for Classification
Scheme in Scientific Publications [0.0]
本稿では,システムマッピング (SM) とシステムレビュー (SR) プロセスの自動化の可能性について検討する。
キーフレーズは教師なしの方法で科学文書から抽出され、対応する分類体系を構築するために使用される。
また、クラスタリングを使って関連するキーフレーズをグループ化する方法についても検討する。
論文 参考訳（メタデータ） (2021-01-25T10:17:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。