論文の概要: Open-World Evaluation for Retrieving Diverse Perspectives

• arxiv url: http://arxiv.org/abs/2409.18110v1
• Date: Thu, 26 Sep 2024 17:52:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 21:27:33.335023
• Title: Open-World Evaluation for Retrieving Diverse Perspectives
• Title（参考訳）: 多様な視点を捉えるためのオープンワールド評価
• Authors: Hung-Ting Chen, Eunsol Choi,
• Abstract要約: 主観的質問に対する検索多様性のベンチマーク(BERDS)を作成する。 それぞれの例は質問と、質問に関連するさまざまな視点で構成されている。 検索した文書に視点があるかどうかを判断する言語モデルに基づく自動評価器を構築する。
• 参考スコア（独自算出の注目度）: 39.22331280176582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study retrieving a set of documents that covers various perspectives on a complex and contentious question (e.g., will ChatGPT do more harm than good?). We curate a Benchmark for Retrieval Diversity for Subjective questions (BERDS), where each example consists of a question and diverse perspectives associated with the question, sourced from survey questions and debate websites. On this data, retrievers paired with a corpus are evaluated to surface a document set that contains diverse perspectives. Our framing diverges from most retrieval tasks in that document relevancy cannot be decided by simple string matches to references. Instead, we build a language model based automatic evaluator that decides whether each retrieved document contains a perspective. This allows us to evaluate the performance of three different types of corpus (Wikipedia, web snapshot, and corpus constructed on the fly with retrieved pages from the search engine) paired with retrievers. Retrieving diverse documents remains challenging, with the outputs from existing retrievers covering all perspectives on only 33.74% of the examples. We further study the impact of query expansion and diversity-focused reranking approaches and analyze retriever sycophancy. Together, we lay the foundation for future studies in retrieval diversity handling complex queries.
• Abstract（参考訳）: 複雑で論争の多い質問(例えば、ChatGPTは善よりも害を受けるのか? 調査質問や討論ウェブサイトを参考に,各事例は質問と質問に関連した多様な視点から構成される。 このデータに基づいて、コーパスとペアのレトリバーを評価し、多様な視点を含む文書セットをサーフェスする。 我々のフレーミングは、そのドキュメントの関連性にあるほとんどの検索タスクから分岐しており、単純な文字列マッチングと参照によって決定できない。 代わりに、検索した文書に視点があるかどうかを判断する言語モデルに基づく自動評価器を構築する。 これにより、3種類のコーパス(ウィキペディア、ウェブスナップショット、コーパス、検索エンジンからの検索ページで構築したコーパス)を検索器と組み合わせて評価することができる。 多様な文書の検索は依然として困難であり、既存の検索者からの出力は33.74%のサンプルで全ての視点をカバーしている。 さらに,クエリ拡張と多様性を重視したリグレードアプローチの影響について検討し,検索者のサイコファンシーを分析した。 そこで我々は,複雑なクエリを扱う検索の多様性に関する今後の研究の基盤を構築した。

関連論文リスト

• Uni-Retrieval: A Multi-Style Retrieval Framework for STEM's Education [30.071212702797016]
  AIに精通した授業では、さまざまなクエリスタイルを活用して、抽象的なテキスト記述を解釈することが、高品質な教育の確保に不可欠である。 本稿では,複数のクエリスタイルと表現に基づく検索を支援する,教育シナリオに適した多様な表現検索タスクを提案する。 本稿では,異なるスタイルの24,000以上のクエリペアを含むSTEM Education Retrievalデータセットと,プロンプトチューニングに基づく効率的かつ多様な検索ビジョン言語モデルであるUni-Retrievalを紹介する。
  論文  参考訳（メタデータ） (2025-02-09T11:46:05Z)
• Leveraging Inter-Chunk Interactions for Enhanced Retrieval in Large Language Model-Based Question Answering [12.60063463163226]
  IIERは、構造、キーワード、セマンティックという3つのタイプの相互作用を考慮し、ドキュメントチャンク間の内部接続をキャプチャする。 対象の質問に基づいて複数のシードノードを特定し、関連するチャンクを反復的に検索して、支持する証拠を収集する。 コンテキストと推論チェーンを洗練し、推論と回答の生成において大きな言語モデルを支援する。
  論文  参考訳（メタデータ） (2024-08-06T02:39:55Z)
• Beyond Relevance: Evaluate and Improve Retrievers on Perspective Awareness [56.42192735214931]
  検索者は、ドキュメントとクエリ間のセマンティックな関連性に頼るだけでなく、ユーザクエリの背後にある微妙な意図や視点を認識することも期待されている。 本研究では,検索者がクエリの異なる視点を認識し,応答できるかどうかを検討する。 我々は,現在の検索者はクエリにおいて微妙に異なる視点に対する認識が限られており,特定の視点に偏りがあることを示す。
  論文  参考訳（メタデータ） (2024-05-04T17:10:00Z)
• ExcluIR: Exclusionary Neural Information Retrieval [74.08276741093317]
  本稿では,排他的検索のためのリソースセットであるExcluIRを提案する。 評価ベンチマークには3,452の高品質な排他的クエリが含まれている。 トレーニングセットには70,293の排他的クエリが含まれており、それぞれに正のドキュメントと負のドキュメントがペアリングされている。
  論文  参考訳（メタデータ） (2024-04-26T09:43:40Z)
• Decomposing Complex Queries for Tip-of-the-tongue Retrieval [72.07449449115167]
  複雑なクエリは、コンテンツ要素(例えば、書籍の文字やイベント)、ドキュメントテキスト以外の情報を記述する。 この検索設定は舌の先端 (TOT) と呼ばれ、クエリと文書テキスト間の語彙的および意味的重複に依存するモデルでは特に困難である。 クエリを個別のヒントに分解し、サブクエリとしてルーティングし、特定の検索者にルーティングし、結果をアンサンブルすることで、このような複雑なクエリを扱うための、シンプルで効果的なフレームワークを導入します。
  論文  参考訳（メタデータ） (2023-05-24T11:43:40Z)
• DAPR: A Benchmark on Document-Aware Passage Retrieval [57.45793782107218]
  我々は,このタスクemphDocument-Aware Passage Retrieval (DAPR)を提案する。 State-of-The-Art(SoTA)パスレトリバーのエラーを分析しながら、大きなエラー(53.5%)は文書コンテキストの欠如に起因する。 提案するベンチマークにより,検索システムの開発・比較を今後行うことができる。
  論文  参考訳（メタデータ） (2023-05-23T10:39:57Z)
• Exposing Query Identification for Search Transparency [69.06545074617685]
  本稿では,検索システムの2つのクラスにおいて,クエリとドキュメントの役割を逆転させることにより,検索タスクとしてのEQIの実現可能性について検討する。 本研究では,クエリのランク付けの質を評価するための評価基準を導出するとともに,近似EQIの様々な実践的側面に着目した経験的分析を行う。
  論文  参考訳（メタデータ） (2021-10-14T20:19:27Z)
• End-to-End Training of Multi-Document Reader and Retriever for Open-Domain Question Answering [36.80395759543162]
  本稿では,検索拡張されたオープンドメイン質問応答システムに対するエンドツーエンドの差別化学習手法を提案する。 我々は,検索決定を関連文書の集合よりも遅延変数としてモデル化する。 提案手法は,一致点の精度を2～3%向上させる。
  論文  参考訳（メタデータ） (2021-06-09T19:25:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。