論文の概要: Towards Semi-Automatically Comparing Keyword-Based and Semantic Search Accuracy

• arxiv url: http://arxiv.org/abs/2609.37749v1
• Date: Tue, 29 Sep 2026 15:00:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.657043
• Title: Towards Semi-Automatically Comparing Keyword-Based and Semantic Search Accuracy
• Title（参考訳）: キーワードベースと意味検索の半自動比較に向けて
• Abstract要約: 本研究では,検索システムの情報検索精度を定量的に評価する新たな予備的枠組みを提案する。 キーワードベースのシステムにおけるランキング精度と、セマンティックチャットベースのシステムにおける検索された情報の完全性である。 産業ケーススタディを通じてこの枠組みを検証し,キーワードに基づく手法による文脈認識検索の統計的に有意な改善を実証した。
• 参考スコア（独自算出の注目度）: 1.7919336414429534
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing importance of Information Retrieval (IR) in managing large datasets has highlighted significant limitations in traditional keyword-based search systems. Context-aware chat-based search methods, such as Retrieval Augmented Generation (RAG), have recently emerged, but their evaluation compared to keyword-based systems often relies on subjective user feedback. A rigorous, quantitative comparison between these paradigms remains lacking. This work introduces a novel, preliminary framework to quantitatively assess IR accuracy of search systems that produce different output formats, such as lists and messages. It focuses on two key aspects: the ranking accuracy for keyword-based systems and the completeness of retrieved information for semantic chat-based systems. Our approach enables semi-automatic comparisons of semantic and keyword-based methods using interchangeable equivalence classes tailored to domain-specific contexts (e.g., companies or problems). We validate the framework through an industrial case study, demonstrating statistically significant improvements in context-aware search over keyword-based methods, supported by analyses including the Mann-Whitney U-Test. With its adaptable design, the proposed framework provides a strong foundation for objectively assessing keyword-based and semantic chat-based search methods.
• Abstract（参考訳）: 大規模データセット管理における情報検索(IR)の重要性の高まりは、従来のキーワードベースの検索システムにおいて重要な制限を浮き彫りにした。 Retrieval Augmented Generation (RAG) のようなコンテキスト対応のチャットベースの検索手法が最近登場したが、キーワードベースのシステムと比較して評価は主観的なユーザフィードバックに依存していることが多い。 これらのパラダイム間の厳密で定量的な比較は依然として不十分である。 この研究は、リストやメッセージなどの異なる出力フォーマットを生成する検索システムのIR精度を定量的に評価する、新しい予備的なフレームワークを導入する。 キーワードベースのシステムにおけるランキング精度と、セマンティックチャットベースのシステムにおける検索された情報の完全性である。 提案手法は,ドメイン固有のコンテキスト(企業や問題など)に適合した交換可能な同値クラスを用いて,セマンティックおよびキーワードベースのメソッドの半自動比較を可能にする。 本研究は,マン・ホイットニー U-Test などの分析により,キーワードベースの手法による文脈認識検索の統計的に有意な改善が示された。 適応的な設計により,提案フレームワークはキーワードベースおよびセマンティックチャットベースの検索手法を客観的に評価するための強力な基盤を提供する。

関連論文リスト

• Comparing how Large Language Models perform against keyword-based searches for social science research data discovery [4.121634776585654]
  本稿では,従来のキーワードに基づくデータ探索と比較して,大規模言語モデル(LLM)に基づく意味探索ツールの性能を評価する。
  論文  参考訳（メタデータ） (2026-01-27T12:51:45Z)
• Towards Context-aware Reasoning-enhanced Generative Searching in E-commerce [61.03081096959132]
  そこで本稿では,複雑な状況下でのテキストバウンダリングを改善するための,文脈対応推論強化型生成検索フレームワークを提案する。 提案手法は,強力なベースラインに比べて優れた性能を示し,検索に基づく推薦の有効性を検証した。
  論文  参考訳（メタデータ） (2025-10-19T16:46:11Z)
• KPEval: Towards Fine-Grained Semantic-Based Keyphrase Evaluation [69.57018875757622]
  KPEvalは、参照合意、忠実性、多様性、有用性という4つの重要な側面からなる総合的な評価フレームワークである。 KPEvalを用いて、23のキーフレーズシステムを再評価し、確立されたモデル比較結果に盲点があることを発見した。
  論文  参考訳（メタデータ） (2023-03-27T17:45:38Z)
• Semantic Search for Large Scale Clinical Ontologies [63.71950996116403]
  本稿では,大規模臨床語彙検索システムを構築するための深層学習手法を提案する。 本稿では,意味学習データに基づくトレーニングデータを生成するTriplet-BERTモデルを提案する。 このモデルは,5つの実ベンチマークデータセットを用いて評価され,提案手法は自由テキストから概念,概念まで,概念語彙の検索において高い結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-01-01T05:15:42Z)
• Unsupervised Key-phrase Extraction and Clustering for Classification Scheme in Scientific Publications [0.0]
  本稿では,システムマッピング (SM) とシステムレビュー (SR) プロセスの自動化の可能性について検討する。 キーフレーズは教師なしの方法で科学文書から抽出され、対応する分類体系を構築するために使用される。 また、クラスタリングを使って関連するキーフレーズをグループ化する方法についても検討する。
  論文  参考訳（メタデータ） (2021-01-25T10:17:33Z)
• Leveraging Cognitive Search Patterns to Enhance Automated Natural Language Retrieval Performance [0.0]
  ユーザの検索行動を模倣する認知的再構成パターンが強調されている。 問合せの概念表現を考慮し,これらのパターンの適用を形式化する。 遺伝的アルゴリズムに基づく重み付けプロセスでは、概念的役割タイプに応じて用語に重点を置くことができる。
  論文  参考訳（メタデータ） (2020-04-21T14:13:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。