論文の概要: A Comparative Evaluation of Embeddings and LLMs in a Greek Book Publisher Setting - The CUP Dataset

• arxiv url: http://arxiv.org/abs/2607.21274v1
• Date: Thu, 23 Jul 2026 12:51:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.415319
• Title: A Comparative Evaluation of Embeddings and LLMs in a Greek Book Publisher Setting - The CUP Dataset
• Title（参考訳）: ギリシャ書店設定における埋め込みとLCMの比較評価 - CUPデータセット-
• Abstract要約: CUPは,868のカタログレコードと104のエキスパートアノテートクエリからなる,ギリシャの書籍検索ベンチマークである。 本書検索では,スパース (BM25), 密度 (文変換器), ハイブリッド, LLM を用いた検索手法について検討した。
• 参考スコア（独自算出の注目度）: 0.6201364126398703
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present CUP, a Greek book retrieval benchmark consisting of 868 catalog records and 104 expert-annotated queries with graded relevance judgments. We evaluate sparse (BM25), dense (sentence-transformers), hybrid, and LLM-assisted retrieval methods in this book-search setting. Multilingual embeddings outperform Greek-specific models, while hybrid retrieval performs best overall. A query-level analysis shows that BM25 excels at named-entity queries, while dense and hybrid methods improve natural-language, noisy, cross-lingual, and concept queries. Field-aware prompting has model-specific effects, while LLM TOC summarization improves TOC-only retrieval and LLM post-filtering improves early-stage retrieval at a high cost. Overall, CUP enables real-world evaluation of Greek retrieval across lexical, semantic, noisy, and cross-lingual queries.
• Abstract（参考訳）: CUPは868のカタログ記録と104のエキスパートアノテートクエリからなるギリシャ語の書籍検索ベンチマークである。 本書検索では,スパース (BM25), 密度 (文変換器), ハイブリッド, LLM を用いた検索手法について検討した。 多言語埋め込みはギリシャ固有のモデルより優れており、ハイブリッド検索は全体として最も優れている。 クエリレベルの分析では、BM25は名前付きクエリに優れ、高密度でハイブリットなメソッドは自然言語、ノイズ、クロスランガル、コンセプトクエリを改善している。 フィールド・アウェア・プロンプトはモデル固有の効果を持つが、LLM TOCの要約はTOCのみの検索を改良し、LLMのポストフィルタは早期検索を高コストで改善する。 全体として、CUPは語彙、意味、雑音、言語間クエリをまたいだギリシャ語検索の現実的な評価を可能にしている。

関連論文リスト

• SpIDER: Spatially Informed Dense Embedding Retrieval for Software Issue Localization [6.098008057625392]
  エージェントアプローチは一般的に、BM25のようなスパース検索手法や、関連するユニットを特定するための密着型埋め込み戦略を用いる。 本研究では,LLMに基づく補助的文脈に基づく推論を組み込んだ高密度検索手法であるSpIDERを提案する。 実験結果から,SpIDERは複数のプログラミング言語間の密集検索性能を一貫して向上することが示された。
  論文  参考訳（メタデータ） (2025-12-18T01:32:25Z)
• Hint-Augmented Re-ranking: Efficient Product Search using LLM-Based Query Decomposition [20.966359103135762]
  LLMは,eコマースクエリにおいて最下位の意図を明らかにすることができることを示す。 提案手法では,クエリを検索と同時に生成した属性値ヒントに分解する。 本手法はMAPにおける検索効率を10.9ポイント改善し,ベースライン上のMRRにおいて5.9ポイントのランク付けを行う。
  論文  参考訳（メタデータ） (2025-11-17T23:53:25Z)
• Rethinking On-policy Optimization for Query Augmentation [49.87723664806526]
  本稿では,様々なベンチマークにおいて,プロンプトベースとRLベースのクエリ拡張の最初の体系的比較を示す。 そこで我々は,検索性能を最大化する擬似文書の生成を学習する,新しいハイブリッド手法 On-policy Pseudo-document Query Expansion (OPQE) を提案する。
  論文  参考訳（メタデータ） (2025-10-20T04:16:28Z)
• Reasoning-enhanced Query Understanding through Decomposition and Interpretation [87.56450566014625]
  ReDIは、分解と解釈によるクエリ理解のための推論強化アプローチである。 我々は,大規模検索エンジンから実世界の複雑なクエリの大規模データセットをコンパイルした。 BRIGHT と BEIR の実験により、ReDI はスパースと密度の高い検索パラダイムの両方において、強いベースラインを一貫して超えることを示した。
  論文  参考訳（メタデータ） (2025-09-08T10:58:42Z)
• InsertRank: LLMs can reason over BM25 scores to Improve Listwise Reranking [3.1125398490785217]
  InsertRankはLLMベースのリランカで、リランク中のBM25スコアなどの語彙信号を活用して、検索性能をさらに向上する。 Deepseek-R1では、InsertRankはBRIGHTベンチマークで37.5点、R2MEDベンチマークで51.1点を獲得し、以前の手法を上回りました。
  論文  参考訳（メタデータ） (2025-06-17T01:04:45Z)
• MERIT: Multilingual Semantic Retrieval with Interleaved Multi-Condition Query [91.01970848241075]
  MERITは、インターリーブされたマルチ条件セマンティック検索のための最初の多言語データセットである。 本稿では,多条件セマンティック検索のための最初の多言語データセットであるMERITを紹介する。
  論文  参考訳（メタデータ） (2025-06-03T17:59:14Z)
• Optimizing Retrieval Augmented Generation for Object Constraint Language [3.4777703321218225]
  OCLはモデルベースシステムエンジニアリング(MBSE)に必須であるが、手動でOCLルールを記述するのは複雑で時間を要する。 OCLBERT生成に対する3つの異なる検索戦略の影響を評価する。 検索は生成精度を向上させることができるが,その有効性は検索方法と検索したチャンク数に依存する。
  論文  参考訳（メタデータ） (2025-05-19T14:00:10Z)
• Don't Retrieve, Generate: Prompting LLMs for Synthetic Training Data in Dense Retrieval [0.0]
  効果的な高密度検索モデルの訓練は、典型的には、大きな文書コーパスから抽出した強陰性(HN)の例に依存する。 本稿では,Large Language Model (LLM) を用いたエンドツーエンドパイプラインを提案する。 我々のデータセットは、数学、物理学、計算機科学、および関連する分野を含む様々な領域にまたがる7,250のarXiv抽象データからなる。
  論文  参考訳（メタデータ） (2025-04-20T08:34:10Z)
• Description-Based Text Similarity [59.552704474862004]
  我々は、その内容の抽象的な記述に基づいて、テキストを検索する必要性を特定する。 そこで本研究では,近隣の標準探索で使用する場合の精度を大幅に向上する代替モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-21T17:14:31Z)
• Query2doc: Query Expansion with Large Language Models [69.9707552694766]
  提案手法はまず,大言語モデル (LLM) をプロンプトすることで擬似文書を生成する。 query2docは、アドホックIRデータセットでBM25のパフォーマンスを3%から15%向上させる。 また,本手法は,ドメイン内およびドメイン外の両方において,最先端の高密度検索に有効である。
  論文  参考訳（メタデータ） (2023-03-14T07:27:30Z)
• Query Expansion Using Contextual Clue Sampling with Language Models [69.51976926838232]
  本稿では,実効的なフィルタリング戦略と検索した文書の融合の組み合わせを,各文脈の生成確率に基づいて提案する。 我々の語彙マッチングに基づくアプローチは、よく確立された高密度検索モデルDPRと比較して、同様のトップ5/トップ20検索精度と上位100検索精度を実現する。 エンド・ツー・エンドのQAでは、読者モデルも我々の手法の恩恵を受けており、いくつかの競争基準に対してエクサクト・マッチのスコアが最も高い。
  論文  参考訳（メタデータ） (2022-10-13T15:18:04Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。