論文の概要: A Thorough Examination on Zero-shot Dense Retrieval
- arxiv url: http://arxiv.org/abs/2204.12755v2
- Date: Sun, 23 Apr 2023 17:11:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-26 00:23:57.431743
- Title: A Thorough Examination on Zero-shot Dense Retrieval
- Title(参考訳): ゼロショット高密度検索の検討
- Authors: Ruiyang Ren, Yingqi Qu, Jing Liu, Wayne Xin Zhao, Qifei Wu, Yuchen
Ding, Hua Wu, Haifeng Wang, Ji-Rong Wen
- Abstract要約: 本稿では,高密度検索(DR)モデルのゼロショット能力について,初めて徹底的に検討する。
我々は、ソーストレーニングセットに関連するいくつかの重要な要素の効果を議論し、ターゲットデータセットから潜在的なバイアスを分析し、既存のゼロショットDRモデルをレビューし、比較する。
- 参考スコア(独自算出の注目度): 84.70868940598143
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent years have witnessed the significant advance in dense retrieval (DR)
based on powerful pre-trained language models (PLM). DR models have achieved
excellent performance in several benchmark datasets, while they are shown to be
not as competitive as traditional sparse retrieval models (e.g., BM25) in a
zero-shot retrieval setting. However, in the related literature, there still
lacks a detailed and comprehensive study on zero-shot retrieval. In this paper,
we present the first thorough examination of the zero-shot capability of DR
models. We aim to identify the key factors and analyze how they affect
zero-shot retrieval performance. In particular, we discuss the effect of
several key factors related to source training set, analyze the potential bias
from the target dataset, and review and compare existing zero-shot DR models.
Our findings provide important evidence to better understand and develop
zero-shot DR models.
- Abstract(参考訳): 近年は、強力な事前学習言語モデル(PLM)に基づく高密度検索(DR)が著しく進歩している。
DRモデルはいくつかのベンチマークデータセットで優れたパフォーマンスを達成しているが、従来のスパース検索モデル(例えばBM25)ほどゼロショット検索では競合しない。
しかし、関連する文献では、ゼロショット検索に関する詳細かつ包括的な研究が不足している。
本稿では, drモデルのゼロショット能力について, 初めて徹底的に検討する。
重要要因を特定し,ゼロショット検索性能にどのように影響するかを分析することを目的とした。
特に、ソーストレーニングセットに関連するいくつかの重要な要因の効果について論じ、ターゲットデータセットからの潜在的なバイアスを分析し、既存のゼロショットdrmモデルのレビューと比較を行う。
本研究は,ゼロショットDRモデルをよりよく理解し,開発するための重要な証拠を提供する。
関連論文リスト
- A Study on Domain Generalization for Failure Detection through Human
Reactions in HRI [7.664159325276515]
マシンラーニングモデルは一般的に、分散(データセット)でテストされる。
これにより、ドメインの一般化 - 異なる設定でパフォーマンスを維持する - が重要な問題となる。
本稿では,人間の表情を訓練した故障検出モデルにおける領域一般化の簡潔な解析を行う。
論文 参考訳(メタデータ) (2024-03-10T21:30:22Z) - Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。
本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
論文 参考訳(メタデータ) (2023-11-29T05:33:28Z) - Black-box Adversarial Attacks against Dense Retrieval Models: A
Multi-view Contrastive Learning Method [115.29382166356478]
本稿では,敵探索攻撃(AREA)タスクを紹介する。
DRモデルは、DRモデルによって取得された候補文書の初期セットの外側にあるターゲット文書を取得するように、DRモデルを騙すことを目的としている。
NRM攻撃で報告された有望な結果は、DRモデルに一般化されない。
マルチビュー表現空間における対照的な学習問題として,DRモデルに対する攻撃を形式化する。
論文 参考訳(メタデータ) (2023-08-19T00:24:59Z) - A Comprehensive Evaluation and Analysis Study for Chinese Spelling Check [53.152011258252315]
音声とグラフィックの情報を合理的に使用することは,中国語のスペルチェックに有効であることを示す。
モデルはテストセットのエラー分布に敏感であり、モデルの欠点を反映している。
一般的なベンチマークであるSIGHANは、モデルの性能を確実に評価できない。
論文 参考訳(メタデータ) (2023-07-25T17:02:38Z) - Rethinking Dense Retrieval's Few-Shot Ability [24.86681340512899]
少数の高密度検索は,いくつかのサンプルを学習することで,新しい検索シナリオに一般化することを目的としている。
現在の手法では、教師付きデータセットからランダムにサンプリングして、"few-data"セットアップを作成することが多い。
カスタマイズされたFewDRデータセットと統一評価ベンチマークを提案する。
論文 参考訳(メタデータ) (2023-04-12T13:20:16Z) - A Systematic Investigation of Commonsense Understanding in Large
Language Models [23.430757316504316]
大規模な言語モデルでは、ゼロショット設定で多くの自然言語処理(NLP)タスクで顕著なパフォーマンスを示している。
これらのモデルが4つのコモンセンスベンチマークに対してモデルを評価することによってコモンセンス理解を示すかどうかを問う。
論文 参考訳(メタデータ) (2021-10-31T22:20:36Z) - On the Efficacy of Adversarial Data Collection for Question Answering:
Results from a Large-Scale Randomized Study [65.17429512679695]
逆データ収集(ADC)では、人間の労働力がモデルとリアルタイムで対話し、誤った予測を誘発する例を作成しようとする。
ADCの直感的な魅力にも拘わらず、敵対的データセットのトレーニングがより堅牢なモデルを生成するかどうかは不明だ。
論文 参考訳(メタデータ) (2021-06-02T00:48:33Z) - BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information
Retrieval Models [41.45240621979654]
情報検索のための異種ベンチマークであるBEIRを紹介する。
ゼロショット評価設定における9つの最先端の検索モデルの有効性を検討する。
Dense-Retrievalモデルは計算効率が良いが、他のアプローチでは性能が劣ることが多い。
論文 参考訳(メタデータ) (2021-04-17T23:29:55Z) - ReClor: A Reading Comprehension Dataset Requiring Logical Reasoning [85.33459673197149]
標準化された大学院受験試験から抽出した論理的推論(ReClor)を必要とする新たな読解データセットを提案する。
本稿では、偏りのあるデータポイントを識別し、それらをEASY集合と残りをHARD集合に分離することを提案する。
実験結果によると、最先端のモデルでは、データセットに含まれるバイアスをEASYセット上で高精度にキャプチャする能力に優れていた。
しかし、彼らはランダムな推測に近い性能のHARDセットに苦慮しており、現在のモデルの論理的推論能力を本質的に向上させるためには、より多くの研究が必要であることを示している。
論文 参考訳(メタデータ) (2020-02-11T11:54:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。