論文の概要: Understanding the User: An Intent-Based Ranking Dataset

• arxiv url: http://arxiv.org/abs/2408.17103v1
• Date: Fri, 30 Aug 2024 08:40:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 15:58:20.773745
• Title: Understanding the User: An Intent-Based Ranking Dataset
• Title（参考訳）: ユーザを理解する: インテントベースのランキングデータセット
• Authors: Abhijit Anand, Jurek Leonhardt, V Venktesh, Avishek Anand,
• Abstract要約: 本稿では,このようなデータセットを付加して,アノテートなクエリ記述を付加する手法を提案する。 我々の手法は、個々のクエリにおける暗黙の意図を分析し、理解するために最先端のLCMを利用することである。 キーセマンティック要素を抽出することにより、これらのクエリについて詳細に、文脈的にリッチな記述を構築する。
• 参考スコア（独自算出の注目度）: 2.6145315573431214
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As information retrieval systems continue to evolve, accurate evaluation and benchmarking of these systems become pivotal. Web search datasets, such as MS MARCO, primarily provide short keyword queries without accompanying intent or descriptions, posing a challenge in comprehending the underlying information need. This paper proposes an approach to augmenting such datasets to annotate informative query descriptions, with a focus on two prominent benchmark datasets: TREC-DL-21 and TREC-DL-22. Our methodology involves utilizing state-of-the-art LLMs to analyze and comprehend the implicit intent within individual queries from benchmark datasets. By extracting key semantic elements, we construct detailed and contextually rich descriptions for these queries. To validate the generated query descriptions, we employ crowdsourcing as a reliable means of obtaining diverse human perspectives on the accuracy and informativeness of the descriptions. This information can be used as an evaluation set for tasks such as ranking, query rewriting, or others.
• Abstract（参考訳）: 情報検索システムが進化を続けるにつれ、これらのシステムの正確な評価とベンチマークが重要となる。 MS MARCOのようなWeb検索データセットは、主に意図や記述を伴わずに短いキーワードクエリを提供しており、基盤となる情報要求を理解する上での課題である。 本稿では, TREC-DL-21 と TREC-DL-22 の2つの主要なベンチマークデータセットに着目し, 情報的クエリ記述に注釈を付けるためのデータセットの拡張手法を提案する。 我々の手法は、ベンチマークデータセットから個々のクエリ内の暗黙の意図を分析し、理解するために最先端のLCMを利用することである。 キーセマンティック要素を抽出することにより、これらのクエリについて詳細に、文脈的にリッチな記述を構築する。 生成したクエリ記述を検証するために,クラウドソーシングを,記述の正確性と情報性に関する多様な人間の視点を得るための信頼性の高い手段として採用する。 この情報は、ランキング、クエリ書き換えなどのタスクの評価セットとして使用できる。

関連論文リスト

• QUIDS: Query Intent Generation via Dual Space Modeling [12.572815037915348]
  本稿では,検索意図の理解を説明するために,返却文書における意味的関連性および無関係情報を利用する二重空間モデルを提案する。 提案手法は高品質な問合せインテント記述を生成し,既存の手法と最先端の問合せベース要約手法を比較検討する。
  論文  参考訳（メタデータ） (2024-10-16T09:28:58Z)
• QueryBuilder: Human-in-the-Loop Query Development for Information Retrieval [12.543590253664492]
  我々は、$textitQueryBuilder$という、インタラクティブな新しいシステムを提示します。 初心者の英語を話すユーザは、少量の労力でクエリを作成できる。 ユーザの情報要求に応じた言語間情報検索クエリを迅速に開発する。
  論文  参考訳（メタデータ） (2024-09-07T00:46:58Z)
• STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
  テキストと知識ベースを用いた大規模半構造検索ベンチマークSTARKを開発した。 本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野について検討した。 多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
  論文  参考訳（メタデータ） (2024-04-19T22:54:54Z)
• Hierarchical Indexing for Retrieval-Augmented Opinion Summarization [60.5923941324953]
  本稿では,抽出アプローチの帰属性と拡張性と,大規模言語モデル(LLM)の一貫性と拡散性を組み合わせた,教師なし抽象的意見要約手法を提案する。 我々の方法であるHIROは、意味的に整理された離散的な階層を通して文を経路にマッピングするインデックス構造を学習する。 推測時にインデックスを投入し、入力レビューから人気意見を含む文群を識別し、検索する。
  論文  参考訳（メタデータ） (2024-03-01T10:38:07Z)
• INSTRUCTIR: A Benchmark for Instruction Following of Information Retrieval Models [32.16908034520376]
  検索者は、ユーザの意図した検索コンテキストを掘り下げることなく、クエリ情報のみを優先順位付けする。 本稿では,情報検索タスクにおける指示追従能力の評価に特化して設計された新しいベンチマークINSTRUCTIRを提案する。 InSTRUCTORのようなタスクスタイルの指示に従うように微調整されたレトリバーは、命令なしの命令に比べて性能が劣る。
  論文  参考訳（メタデータ） (2024-02-22T06:59:50Z)
• Graph Enhanced BERT for Query Understanding [55.90334539898102]
  クエリ理解は、ユーザの検索意図を探索し、ユーザが最も望まれる情報を発見できるようにする上で、重要な役割を果たす。 近年、プレトレーニング言語モデル (PLM) は様々な自然言語処理タスクを進歩させてきた。 本稿では,クエリコンテンツとクエリグラフの両方を活用可能な,グラフ強化事前学習フレームワークGE-BERTを提案する。
  論文  参考訳（メタデータ） (2022-04-03T16:50:30Z)
• Exposing Query Identification for Search Transparency [69.06545074617685]
  本稿では,検索システムの2つのクラスにおいて,クエリとドキュメントの役割を逆転させることにより,検索タスクとしてのEQIの実現可能性について検討する。 本研究では,クエリのランク付けの質を評価するための評価基準を導出するとともに,近似EQIの様々な実践的側面に着目した経験的分析を行う。
  論文  参考訳（メタデータ） (2021-10-14T20:19:27Z)
• Query Understanding via Intent Description Generation [75.64800976586771]
  問合せ理解のためのQ2ID(Query-to-Intent-Description)タスクを提案する。 クエリとその記述を利用してドキュメントの関連性を計算する既存のランキングタスクとは異なり、Q2IDは自然言語のインテント記述を生成するための逆タスクである。 Q2IDタスクにおける複数の最先端生成モデルとの比較により,本モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2020-08-25T08:56:40Z)
• Overview of the TREC 2019 Fair Ranking Track [65.15263872493799]
  TREC Fair Ranking トラックの目標は、異なるコンテンツプロバイダに対する公正性の観点から、検索システムを評価するベンチマークを開発することであった。 本稿では,タスク定義やデータ記述,アノテーションプロセスなどを含むトラックの概要について述べる。
  論文  参考訳（メタデータ） (2020-03-25T21:34:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。