Fugu-MT 論文翻訳(概要): Open-World Evaluation for Retrieving Diverse Perspectives

論文の概要: Open-World Evaluation for Retrieving Diverse Perspectives

arxiv url: http://arxiv.org/abs/2409.18110v2
Date: Tue, 22 Apr 2025 14:11:55 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-01 02:48:10.074198
Title: Open-World Evaluation for Retrieving Diverse Perspectives
Title（参考訳）: 多様な視点を捉えるためのオープンワールド評価
Authors: Hung-Ting Chen, Eunsol Choi,
Abstract要約: 主観的質問に対する検索多様性のベンチマーク(BERDS)を作成する。それぞれの例は質問と、質問に関連するさまざまな視点で構成されている。検索した文書に視点があるかどうかを判断する言語モデルに基づく自動評価器を構築した。
参考スコア（独自算出の注目度）: 39.22331280176582
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We study retrieving a set of documents that covers various perspectives on a complex and contentious question (e.g., will ChatGPT do more harm than good?). We curate a Benchmark for Retrieval Diversity for Subjective questions (BERDS), where each example consists of a question and diverse perspectives associated with the question, sourced from survey questions and debate websites. On this data, retrievers paired with a corpus are evaluated to surface a document set that contains diverse perspectives. Our framing diverges from most retrieval tasks in that document relevancy cannot be decided by simple string matches to references. Instead, we build a language model-based automatic evaluator that decides whether each retrieved document contains a perspective. This allows us to evaluate the performance of three different types of corpus (Wikipedia, web snapshot, and corpus constructed on the fly with retrieved pages from the search engine) paired with retrievers. Retrieving diverse documents remains challenging, with the outputs from existing retrievers covering all perspectives on only 40% of the examples. We further study the effectiveness of query expansion and diversity-focused reranking approaches and analyze retriever sycophancy.
Abstract（参考訳）: 複雑で論争の多い質問(例えば、ChatGPTは善よりも害を受けるのか? 調査質問や討論ウェブサイトを参考に,各事例は質問と質問に関連した多様な視点から構成される。このデータに基づいて、コーパスとペアのレトリバーを評価し、多様な視点を含む文書セットをサーフェスする。我々のフレーミングは、そのドキュメントの関連性にあるほとんどの検索タスクから分岐しており、単純な文字列マッチングと参照によって決定できない。代わりに、検索した文書に視点があるかどうかを判断する言語モデルに基づく自動評価器を構築する。これにより、3種類のコーパス(ウィキペディア、ウェブスナップショット、コーパス、検索エンジンからの検索ページで構築したコーパス)を検索器と組み合わせて評価することができる。さまざまなドキュメントを取得することは依然として困難であり、既存のレトリバーからのアウトプットは、例のわずか40%ですべての視点をカバーしている。さらに,クエリ拡張と多様性を重視したリグレード手法の有効性について検討し,検索者のサイコファンシーを分析した。

関連論文リスト

Retrieval-Augmented Visual Question Answering via Built-in Autoregressive Search Engines [17.803396998387665]
Retrieval-augmented Generation (RAG)は、知識集約型視覚質問応答(VQA)タスクに対処するために登場した。本稿では,知識に基づくVQAタスクに対する従来のRAGモデルの代替としてReAuSEを提案する。我々のモデルは生成型検索器と正確な回答生成器の両方として機能する。
論文参考訳（メタデータ） (2025-02-23T16:39:39Z)
Learning More Effective Representations for Dense Retrieval through Deliberate Thinking Before Search [65.53881294642451]
ディリベレート思考に基づくDense Retriever (DEBATER) DEBATERは、ステップバイステップの思考プロセスを通じて、より効果的な文書表現を学習できるようにすることにより、最近の密集型検索機能を強化している。実験の結果,DEBATERはいくつかのベンチマークで既存手法よりも優れていた。
論文参考訳（メタデータ） (2025-02-18T15:56:34Z)
PerSphere: A Comprehensive Framework for Multi-Faceted Perspective Retrieval and Summarization [34.32063749002148]
PerSphereは多面的視点検索と要約を容易にするために設計されたベンチマークである。 PerSphere内の各クエリには、2つの反対のクレームがあり、それぞれが異なる、重複しない視点でサポートされている。我々のゴールは、これらの文書を正確に要約し、それぞれの主張とその基盤となる視点と要約を一致させることです。
論文参考訳（メタデータ） (2024-12-17T06:44:06Z)
Leveraging Inter-Chunk Interactions for Enhanced Retrieval in Large Language Model-Based Question Answering [12.60063463163226]
IIERは、構造、キーワード、セマンティックという3つのタイプの相互作用を考慮し、ドキュメントチャンク間の内部接続をキャプチャする。対象の質問に基づいて複数のシードノードを特定し、関連するチャンクを反復的に検索して、支持する証拠を収集する。コンテキストと推論チェーンを洗練し、推論と回答の生成において大きな言語モデルを支援する。
論文参考訳（メタデータ） (2024-08-06T02:39:55Z)
Beyond Relevance: Evaluate and Improve Retrievers on Perspective Awareness [56.42192735214931]
検索者は、ドキュメントとクエリ間のセマンティックな関連性に頼るだけでなく、ユーザクエリの背後にある微妙な意図や視点を認識することも期待されている。本研究では,検索者がクエリの異なる視点を認識し,応答できるかどうかを検討する。我々は,現在の検索者はクエリにおいて微妙に異なる視点に対する認識が限られており,特定の視点に偏りがあることを示す。
論文参考訳（メタデータ） (2024-05-04T17:10:00Z)
ExcluIR: Exclusionary Neural Information Retrieval [74.08276741093317]
本稿では,排他的検索のためのリソースセットであるExcluIRを提案する。評価ベンチマークには3,452の高品質な排他的クエリが含まれている。トレーニングセットには70,293の排他的クエリが含まれており、それぞれに正のドキュメントと負のドキュメントがペアリングされている。
論文参考訳（メタデータ） (2024-04-26T09:43:40Z)
Decomposing Complex Queries for Tip-of-the-tongue Retrieval [72.07449449115167]
複雑なクエリは、コンテンツ要素(例えば、書籍の文字やイベント)、ドキュメントテキスト以外の情報を記述する。この検索設定は舌の先端 (TOT) と呼ばれ、クエリと文書テキスト間の語彙的および意味的重複に依存するモデルでは特に困難である。クエリを個別のヒントに分解し、サブクエリとしてルーティングし、特定の検索者にルーティングし、結果をアンサンブルすることで、このような複雑なクエリを扱うための、シンプルで効果的なフレームワークを導入します。
論文参考訳（メタデータ） (2023-05-24T11:43:40Z)
DAPR: A Benchmark on Document-Aware Passage Retrieval [57.45793782107218]
我々は,このタスクemphDocument-Aware Passage Retrieval (DAPR)を提案する。 State-of-The-Art(SoTA)パスレトリバーのエラーを分析しながら、大きなエラー(53.5%)は文書コンテキストの欠如に起因する。提案するベンチマークにより,検索システムの開発・比較を今後行うことができる。
論文参考訳（メタデータ） (2023-05-23T10:39:57Z)
Exposing Query Identification for Search Transparency [69.06545074617685]
本稿では,検索システムの2つのクラスにおいて,クエリとドキュメントの役割を逆転させることにより,検索タスクとしてのEQIの実現可能性について検討する。本研究では,クエリのランク付けの質を評価するための評価基準を導出するとともに,近似EQIの様々な実践的側面に着目した経験的分析を行う。
論文参考訳（メタデータ） (2021-10-14T20:19:27Z)
End-to-End Training of Multi-Document Reader and Retriever for Open-Domain Question Answering [36.80395759543162]
本稿では,検索拡張されたオープンドメイン質問応答システムに対するエンドツーエンドの差別化学習手法を提案する。我々は,検索決定を関連文書の集合よりも遅延変数としてモデル化する。提案手法は,一致点の精度を2～3%向上させる。
論文参考訳（メタデータ） (2021-06-09T19:25:37Z)
Cross-Lingual Document Retrieval with Smooth Learning [31.638708227607214]
言語間文書検索は、クエリの言語が文書の言語と異なる情報検索タスクである。本稿では,異なる文書言語を用いた言語間検索の性能向上を実現するための,新しいエンドツーエンドロバストフレームワークを提案する。
論文参考訳（メタデータ） (2020-11-02T03:17:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。