論文の概要: Beyond Relevance: Evaluate and Improve Retrievers on Perspective Awareness

• arxiv url: http://arxiv.org/abs/2405.02714v1
• Date: Sat, 4 May 2024 17:10:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 18:39:58.473076
• Title: Beyond Relevance: Evaluate and Improve Retrievers on Perspective Awareness
• Title（参考訳）: 関連性を超えて: パースペクティブ・アウェアネスにおけるレトリバーの評価と改善
• Authors: Xinran Zhao, Tong Chen, Sihao Chen, Hongming Zhang, Tongshuang Wu,
• Abstract要約: 検索者は、ドキュメントとクエリ間のセマンティックな関連性に頼るだけでなく、ユーザクエリの背後にある微妙な意図や視点を認識することも期待されている。 本研究では,検索者がクエリの異なる視点を認識し,応答できるかどうかを検討する。 我々は,現在の検索者はクエリにおいて微妙に異なる視点に対する認識が限られており,特定の視点に偏りがあることを示す。
• 参考スコア（独自算出の注目度）: 56.42192735214931
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The task of Information Retrieval (IR) requires a system to identify relevant documents based on users' information needs. In real-world scenarios, retrievers are expected to not only rely on the semantic relevance between the documents and the queries but also recognize the nuanced intents or perspectives behind a user query. For example, when asked to verify a claim, a retrieval system is expected to identify evidence from both supporting vs. contradicting perspectives, for the downstream system to make a fair judgment call. In this work, we study whether retrievers can recognize and respond to different perspectives of the queries -- beyond finding relevant documents for a claim, can retrievers distinguish supporting vs. opposing documents? We reform and extend six existing tasks to create a benchmark for retrieval, where we have diverse perspectives described in free-form text, besides root, neutral queries. We show that current retrievers covered in our experiments have limited awareness of subtly different perspectives in queries and can also be biased toward certain perspectives. Motivated by the observation, we further explore the potential to leverage geometric features of retriever representation space to improve the perspective awareness of retrievers in a zero-shot manner. We demonstrate the efficiency and effectiveness of our projection-based methods on the same set of tasks. Further analysis also shows how perspective awareness improves performance on various downstream tasks, with 4.2% higher accuracy on AmbigQA and 29.9% more correlation with designated viewpoints on essay writing, compared to non-perspective-aware baselines.
• Abstract（参考訳）: Information Retrieval (IR) のタスクは、ユーザの情報要求に基づいて関連する文書を識別するシステムを必要とする。 現実のシナリオでは、検索者はドキュメントとクエリ間のセマンティックな関連性に頼るだけでなく、ユーザクエリの背後にある微妙な意図や視点を認識することが期待されている。 例えば、クレームの検証を依頼すると、下流システムが公正な判断を下すために、支持と矛盾する視点の両方から証拠を特定することが期待される。 本研究では,検索者がクエリの異なる視点を認識および応答できるかどうかを検討する。クレームに関する関連文書の検索以外にも,検索者がサポートする文書と反対する文書とを区別できるのか? 我々は既存の6つのタスクを改革して拡張し、検索のためのベンチマークを作成します。 実験でカバーされている現在の検索者は、クエリの微妙な視点に対する認識が限られており、また特定の視点に偏りがあることが示される。 本研究の目的は,レトリバー表現空間の幾何学的特徴を活用し,ゼロショット方式でレトリバーの視点認識を改善することにある。 我々は,同じタスクセット上での投影法の有効性と有効性を示す。 さらに分析は、アンビグQAでは4.2%、エッセイ執筆では29.9%の精度で、非認識ベースラインに比べて、視点認識が様々な下流タスクのパフォーマンスを向上することを示す。

関連論文リスト

• JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
  本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。 我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。 さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
  論文  参考訳（メタデータ） (2024-10-31T18:43:12Z)
• Open-World Evaluation for Retrieving Diverse Perspectives [39.22331280176582]
  主観的質問に対する検索多様性のベンチマーク(BERDS)を作成する。 それぞれの例は質問と、質問に関連するさまざまな視点で構成されている。 検索した文書に視点があるかどうかを判断する言語モデルに基づく自動評価器を構築する。
  論文  参考訳（メタデータ） (2024-09-26T17:52:57Z)
• Overview of PerpectiveArg2024: The First Shared Task on Perspective Argument Retrieval [56.66761232081188]
  本稿では,社会における少数派・多数派を代表する年齢,性別,政治的態度など,人口・社会文化(社会)の多様性を包括する新しいデータセットを提案する。 パースペクティビズムを取り入れる上での重大な課題は、特に社会的なプロファイルを明示的に提供せずに、議論のテキストのみに基づくパーソナライズを目指す場合である。 パーソナライズと分極の低減を図るため, パーソナライズを最適化するためには, パーソナライズされた論証検索をブートストラップするが, さらなる研究が不可欠である。
  論文  参考訳（メタデータ） (2024-07-29T03:14:57Z)
• INSTRUCTIR: A Benchmark for Instruction Following of Information Retrieval Models [32.16908034520376]
  検索者は、ユーザの意図した検索コンテキストを掘り下げることなく、クエリ情報のみを優先順位付けする。 本稿では,情報検索タスクにおける指示追従能力の評価に特化して設計された新しいベンチマークINSTRUCTIRを提案する。 InSTRUCTORのようなタスクスタイルの指示に従うように微調整されたレトリバーは、命令なしの命令に比べて性能が劣る。
  論文  参考訳（メタデータ） (2024-02-22T06:59:50Z)
• Perspectives on Large Language Models for Relevance Judgment [56.935731584323996]
  大型言語モデル(LLM)は、関連判断を支援することができると主張している。 自動判定が検索システムの評価に確実に利用できるかどうかは不明である。
  論文  参考訳（メタデータ） (2023-04-13T13:08:38Z)
• Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking [56.80065604034095]
  我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。 異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
  論文  参考訳（メタデータ） (2022-10-19T16:19:37Z)
• Exposing Query Identification for Search Transparency [69.06545074617685]
  本稿では,検索システムの2つのクラスにおいて,クエリとドキュメントの役割を逆転させることにより,検索タスクとしてのEQIの実現可能性について検討する。 本研究では,クエリのランク付けの質を評価するための評価基準を導出するとともに,近似EQIの様々な実践的側面に着目した経験的分析を行う。
  論文  参考訳（メタデータ） (2021-10-14T20:19:27Z)
• End-to-End Training of Multi-Document Reader and Retriever for Open-Domain Question Answering [36.80395759543162]
  本稿では,検索拡張されたオープンドメイン質問応答システムに対するエンドツーエンドの差別化学習手法を提案する。 我々は,検索決定を関連文書の集合よりも遅延変数としてモデル化する。 提案手法は,一致点の精度を2～3%向上させる。
  論文  参考訳（メタデータ） (2021-06-09T19:25:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。