論文の概要: Less is Less: When Are Snippets Insufficient for Human vs Machine Relevance Estimation?

• arxiv url: http://arxiv.org/abs/2201.08721v1
• Date: Fri, 21 Jan 2022 14:41:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-24 13:29:32.309309
• Title: Less is Less: When Are Snippets Insufficient for Human vs Machine Relevance Estimation?
• Title（参考訳）: 少なからず:スニペットはいつ人間と機械の関係推定に不十分か?
• Authors: Gabriella Kazai, Bhaskar Mitra, Anlei Dong, Nick Craswell and Linjun Yang
• Abstract要約: 本報告では,文書要約のみにおける関連性評価の変化と,全文がアセステータに公開されている場合の比較を行う。 以上の結果から,本全文は人間にとって有益であり,BERTモデルは類似のクエリや文書タイプに対して有用であることがわかった。
• 参考スコア（独自算出の注目度）: 19.07512694674044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional information retrieval (IR) ranking models process the full text of documents. Newer models based on Transformers, however, would incur a high computational cost when processing long texts, so typically use only snippets from the document instead. The model's input based on a document's URL, title, and snippet (UTS) is akin to the summaries that appear on a search engine results page (SERP) to help searchers decide which result to click. This raises questions about when such summaries are sufficient for relevance estimation by the ranking model or the human assessor, and whether humans and machines benefit from the document's full text in similar ways. To answer these questions, we study human and neural model based relevance assessments on 12k query-documents sampled from Bing's search logs. We compare changes in the relevance assessments when only the document summaries and when the full text is also exposed to assessors, studying a range of query and document properties, e.g., query type, snippet length. Our findings show that the full text is beneficial for humans and a BERT model for similar query and document types, e.g., tail, long queries. A closer look, however, reveals that humans and machines respond to the additional input in very different ways. Adding the full text can also hurt the ranker's performance, e.g., for navigational queries.
• Abstract（参考訳）: 従来の情報検索(IR)ランキングモデルは文書の全文を処理する。 しかし、トランスフォーマーに基づく新しいモデルは、長いテキストを処理する際に高い計算コストを発生させるため、代わりに文書のスニペットのみを使用する。 文書のURL、タイトル、スニペット(UTS)に基づくモデルの入力は、検索エンジン検索結果ページ(SERP)に表示される要約に似ており、検索者がどの結果をクリックするかを決めるのに役立つ。 このことは、ランキングモデルや人間評価者による関連性評価にそのような要約が十分である時期や、人間と機械が文書の全文から同様の方法で恩恵を受けるかどうかという疑問を提起する。 これらの疑問に答えるために、Bingの検索ログから採取した12kクエリ文書の人間と神経モデルによる関連性評価について検討した。 文書要約のみと全文が評価者にも公開される場合の関連度評価の変化を比較し、クエリタイプやスニペット長など、様々なクエリとドキュメントの特性を調査した。 以上の結果から,全文は人間にとって有益であり,BERTモデルは類似のクエリやドキュメントタイプ,例えば尾,長いクエリに対して有用であることがわかった。 しかし、より詳しく見ると、人間と機械は全く異なる方法で追加入力に反応していることがわかる。 フルテキストを追加することで、例えばナビゲーションクエリのパフォーマンスが損なわれる可能性がある。

関連論文リスト

• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  多くの複雑な実世界のクエリは、関連する文書を特定するために詳細な推論を必要とする。 BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)
• Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
  大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。 我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
  論文  参考訳（メタデータ） (2024-05-31T20:15:10Z)
• Improving Topic Relevance Model by Mix-structured Summarization and LLM-based Data Augmentation [16.170841777591345]
  Dianpingのようなほとんどのソーシャル検索シナリオでは、検索関連性のモデリングは常に2つの課題に直面している。 まず、クエリベースの要約と、クエリなしで文書の要約をトピック関連モデルの入力として取り上げる。 そこで我々は,大規模言語モデル(LLM)の言語理解と生成能力を利用して,既存のトレーニングデータにおけるクエリやドキュメントからのクエリを書き換え,生成する。
  論文  参考訳（メタデータ） (2024-04-03T10:05:47Z)
• DAPR: A Benchmark on Document-Aware Passage Retrieval [57.45793782107218]
  我々は,このタスクemphDocument-Aware Passage Retrieval (DAPR)を提案する。 State-of-The-Art(SoTA)パスレトリバーのエラーを分析しながら、大きなエラー(53.5%)は文書コンテキストの欠如に起因する。 提案するベンチマークにより,検索システムの開発・比較を今後行うことができる。
  論文  参考訳（メタデータ） (2023-05-23T10:39:57Z)
• Automated Query Generation for Evidence Collection from Web Search Engines [2.642698101441705]
  インターネット上で情報を探すことで、いわゆる事実を確認できることが広く受け入れられている。 このプロセスでは、事実に基づいて検索クエリを定式化し、それを検索エンジンに提示するためにファクトチェッカーが必要である。 まず,第1ステップ,問合せ生成の自動化が可能かどうかを問う。
  論文  参考訳（メタデータ） (2023-03-15T14:32:00Z)
• CAPSTONE: Curriculum Sampling for Dense Retrieval with Document Expansion [68.19934563919192]
  本稿では,学習中に擬似クエリを利用して,生成したクエリと実際のクエリとの関係を徐々に向上させるカリキュラムサンプリング戦略を提案する。 ドメイン内およびドメイン外両方のデータセットに対する実験結果から,本手法が従来の高密度検索モデルより優れていることが示された。
  論文  参考訳（メタデータ） (2022-12-18T15:57:46Z)
• End-to-End Multihop Retrieval for Compositional Question Answering over Long Documents [93.55268936974971]
  本稿では,長い文書の合成問題に答えるマルチホップ検索手法であるDocHopperを提案する。 各ステップでDocHopperは文書から段落や文を検索し、検索した結果とクエリを混合し、次のステップでクエリを更新する。 文書構造を活用すれば、長い文書の質問応答や検索性能を大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2021-06-01T03:13:35Z)
• Literature Retrieval for Precision Medicine with Neural Matching and Faceted Summarization [2.978663539080876]
  本稿では,ニューラルクエリ文書マッチングとテキスト要約を組み合わせた文書分類手法を提案する。 NISTのTREC-PMトラックデータセットを用いた評価により,本モデルが最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2020-12-17T02:01:32Z)
• Query Understanding via Intent Description Generation [75.64800976586771]
  問合せ理解のためのQ2ID(Query-to-Intent-Description)タスクを提案する。 クエリとその記述を利用してドキュメントの関連性を計算する既存のランキングタスクとは異なり、Q2IDは自然言語のインテント記述を生成するための逆タスクである。 Q2IDタスクにおける複数の最先端生成モデルとの比較により,本モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2020-08-25T08:56:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。