論文の概要: Tip of the Tongue Query Elicitation for Simulated Evaluation

• arxiv url: http://arxiv.org/abs/2502.17776v1
• Date: Tue, 25 Feb 2025 02:11:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:18:46.879012
• Title: Tip of the Tongue Query Elicitation for Simulated Evaluation
• Title（参考訳）: 模擬評価のための舌問合せのヒント
• Authors: Yifan He, To Eun Kim, Fernando Diaz, Jaime Arguello, Bhaskar Mitra,
• Abstract要約: Tip-of-the-tongue (TOT) 検索は、ユーザがドキュメントタイトルなどの特定の識別子を思い出すのに苦労する場合に発生する。 現在のアプローチはコミュニティ質問回答(CQA)のウェブサイトに大きく依存しており、労働集約的な評価とドメインバイアスにつながっている。 大規模言語モデル(LLM)と人的参加者を活用するため,TOTクエリを抽出する2つの手法を提案する。
• 参考スコア（独自算出の注目度）: 49.083870362622164
• License:
• Abstract: Tip-of-the-tongue (TOT) search occurs when a user struggles to recall a specific identifier, such as a document title. While common, existing search systems often fail to effectively support TOT scenarios. Research on TOT retrieval is further constrained by the challenge of collecting queries, as current approaches rely heavily on community question-answering (CQA) websites, leading to labor-intensive evaluation and domain bias. To overcome these limitations, we introduce two methods for eliciting TOT queries - leveraging large language models (LLMs) and human participants - to facilitate simulated evaluations of TOT retrieval systems. Our LLM-based TOT user simulator generates synthetic TOT queries at scale, achieving high correlations with how CQA-based TOT queries rank TOT retrieval systems when tested in the Movie domain. Additionally, these synthetic queries exhibit high linguistic similarity to CQA-derived queries. For human-elicited queries, we developed an interface that uses visual stimuli to place participants in a TOT state, enabling the collection of natural queries. In the Movie domain, system rank correlation and linguistic similarity analyses confirm that human-elicited queries are both effective and closely resemble CQA-based queries. These approaches reduce reliance on CQA-based data collection while expanding coverage to underrepresented domains, such as Landmark and Person. LLM-elicited queries for the Movie, Landmark, and Person domains have been released as test queries in the TREC 2024 TOT track, with human-elicited queries scheduled for inclusion in the TREC 2025 TOT track. Additionally, we provide source code for synthetic query generation and the human query collection interface, along with curated visual stimuli used for eliciting TOT queries.
• Abstract（参考訳）: Tip-of-the-tongue (TOT) 検索は、ユーザがドキュメントタイトルなどの特定の識別子を思い出すのに苦労する場合に発生する。 一般的な検索システムはTOTのシナリオを効果的にサポートできないことが多い。 TOT検索の研究は、現在のアプローチはコミュニティ質問回答(CQA)のウェブサイトに大きく依存しており、労働集約的な評価やドメインバイアスにつながるため、クエリ収集の課題によってさらに制限されている。 これらの制約を克服するために,大規模な言語モデル (LLM) と人間の参加者を利用したTOT検索システムのシミュレーション評価を容易にする2つの方法を提案する。 LLMベースのTOTユーザシミュレータは大規模に合成TOTクエリを生成し、映画ドメインでテストすると、CQAベースのTOTクエリがTOT検索システムにランク付けする方法と高い相関性が得られる。 さらに、これらの合成クエリは、CQA由来のクエリと高い言語的類似性を示す。 人為的なクエリに対して,視覚刺激を用いて参加者をTOT状態に配置し,自然なクエリの収集を可能にするインタフェースを開発した。 Movieドメインでは、システムランクの相関と言語的類似性の分析により、人間によるクエリがCQAベースのクエリと密接に類似していることが確認されている。 これらのアプローチはCQAベースのデータ収集への依存を減らすと同時に、ランドマークやパーソナライズといった表現不足のドメインにもカバー範囲を広げる。 LLM-elicited query for the Movie, Landmark, Person domain has released as test query in the TREC 2024 TOT track, with human-elicited query scheduled to include in the TREC 2025 TOT track。 さらに、合成クエリ生成のためのソースコードと人間のクエリコレクションインタフェース、およびTOTクエリの抽出に使用されるキュレートされた視覚刺激を提供する。

関連論文リスト

• SRSA: A Cost-Efficient Strategy-Router Search Agent for Real-world Human-Machine Interactions [3.5725872564627785]
  現実の状況では、ユーザーはしばしばコンテキストと高度にパーソナライズされたクエリをチャットボットに入力する。 これまでの研究は、人間と機械の対話のシナリオに特に焦点を絞ってはいなかった。 これらのギャップに対処するために、戦略ベース検索エージェント(SRSA)を提案する。 SRSAは、異なるクエリを適切な検索戦略にルーティングし、よりきめ細かいシリアル検索により、比較的低コストで高品質な結果を得ることができる。
  論文  参考訳（メタデータ） (2024-11-21T20:41:55Z)
• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  多くの複雑な実世界のクエリは、関連する文書を特定するために詳細な推論を必要とする。 BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)
• Redefining Information Retrieval of Structured Database via Large Language Models [10.117751707641416]
  本稿では,ChatLRと呼ばれる新しい検索拡張フレームワークを提案する。 主に、Large Language Models (LLM) の強力な意味理解能力を用いて、正確かつ簡潔な情報検索を実現する。 実験の結果、ChatLRがユーザクエリに対処する効果を示し、全体の情報検索精度は98.8%を超えた。
  論文  参考訳（メタデータ） (2024-05-09T02:37:53Z)
• STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
  テキストと知識ベースを用いた大規模半構造検索ベンチマークSTARKを開発した。 本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野について検討した。 多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
  論文  参考訳（メタデータ） (2024-04-19T22:54:54Z)
• MFORT-QA: Multi-hop Few-shot Open Rich Table Question Answering [3.1651118728570635]
  今日の急成長する業界では、専門家は大量の文書を要約し、毎日重要な情報を抽出するという課題に直面している。 この課題に対処するために、テーブル質問回答(QA)のアプローチを開発し、関連する情報を抽出した。 近年のLarge Language Models (LLMs) の進歩により,プロンプトを用いて表データから情報を取り出す新たな可能性が高まっている。
  論文  参考訳（メタデータ） (2024-03-28T03:14:18Z)
• An Interactive Query Generation Assistant using LLM-based Prompt Modification and User Feedback [9.461978375200102]
  提案するインタフェースは,単言語および多言語文書コレクション上での対話型クエリ生成をサポートする,新しい検索インタフェースである。 このインタフェースにより、ユーザーは異なるLCMによって生成されたクエリを洗練し、検索したドキュメントやパスに対するフィードバックを提供し、より効果的なクエリを生成するプロンプトとしてユーザーのフィードバックを組み込むことができる。
  論文  参考訳（メタデータ） (2023-11-19T04:42:24Z)
• Open Question Answering over Tables and Text [55.8412170633547]
  オープンな質問応答(QA)では、質問に対する回答は、質問に対する回答を含む可能性のある文書を検索して分析することによって生成される。 ほとんどのオープンQAシステムは、構造化されていないテキストからのみ情報を取得することを検討している。 我々は,このタスクの性能を評価するために,新しい大規模データセット Open Table-and-Text Question Answering (OTT-QA) を提案する。
  論文  参考訳（メタデータ） (2020-10-20T16:48:14Z)
• Query Understanding via Intent Description Generation [75.64800976586771]
  問合せ理解のためのQ2ID(Query-to-Intent-Description)タスクを提案する。 クエリとその記述を利用してドキュメントの関連性を計算する既存のランキングタスクとは異なり、Q2IDは自然言語のインテント記述を生成するための逆タスクである。 Q2IDタスクにおける複数の最先端生成モデルとの比較により,本モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2020-08-25T08:56:40Z)
• Query Resolution for Conversational Search with Limited Supervision [63.131221660019776]
  本稿では,双方向トランスフォーマに基づくニューラルクエリ解決モデルQuReTeCを提案する。 我々はQuReTeCが最先端モデルより優れており、また、QuReTeCのトレーニングに必要な人為的なデータ量を大幅に削減するために、我々の遠隔監視手法が有効であることを示す。
  論文  参考訳（メタデータ） (2020-05-24T11:37:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。