論文の概要: Selecting which Dense Retriever to use for Zero-Shot Search

• arxiv url: http://arxiv.org/abs/2309.09403v1
• Date: Mon, 18 Sep 2023 00:01:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 15:42:58.418075
• Title: Selecting which Dense Retriever to use for Zero-Shot Search
• Title（参考訳）: ゼロショット検索に使用するDense Retrieverの選択
• Authors: Ekaterina Khramtsova, Shengyao Zhuang, Mahsa Baktashmotlagh, Xi Wang, Guido Zuccon
• Abstract要約: 本稿では,ラベルを使用できない新しいコレクションを検索する際に使用する高密度検索モデルを選択するための新しい問題を提案する。 教師なし性能評価における最近の研究にインスパイアされた手法は,高能率検索器の選択に有効ではないことを示す。
• 参考スコア（独自算出の注目度）: 34.04158960512326
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose the new problem of choosing which dense retrieval model to use when searching on a new collection for which no labels are available, i.e. in a zero-shot setting. Many dense retrieval models are readily available. Each model however is characterized by very differing search effectiveness -- not just on the test portion of the datasets in which the dense representations have been learned but, importantly, also across different datasets for which data was not used to learn the dense representations. This is because dense retrievers typically require training on a large amount of labeled data to achieve satisfactory search effectiveness in a specific dataset or domain. Moreover, effectiveness gains obtained by dense retrievers on datasets for which they are able to observe labels during training, do not necessarily generalise to datasets that have not been observed during training. This is however a hard problem: through empirical experimentation we show that methods inspired by recent work in unsupervised performance evaluation with the presence of domain shift in the area of computer vision and machine learning are not effective for choosing highly performing dense retrievers in our setup. The availability of reliable methods for the selection of dense retrieval models in zero-shot settings that do not require the collection of labels for evaluation would allow to streamline the widespread adoption of dense retrieval. This is therefore an important new problem we believe the information retrieval community should consider. Implementation of methods, along with raw result files and analysis scripts are made publicly available at https://www.github.com/anonymized.
• Abstract（参考訳）: 本稿では,ラベルが存在しない新しいコレクション,すなわちゼロショット設定で検索する際に,どの高密度検索モデルを使用するかを選択する新しい問題を提案する。 多くの高密度検索モデルが利用可能である。 しかし、それぞれのモデルは、非常に異なる検索効率で特徴付けられている -- 密度表現が学習されたデータセットのテスト部分だけでなく、密度表現を学習するためにデータが使用されなかった異なるデータセットについても。 これは、一般に、特定のデータセットやドメインで十分な探索効率を達成するために、大量のラベル付きデータをトレーニングする必要があるためである。 また、トレーニング中にラベルを観測できるデータセットの高密度検索によって得られる有効性は、トレーニング中に観測されていないデータセットに必ずしも一般化するとは限らない。 しかし、これは難しい問題であり、実証実験を通じて、コンピュータビジョンと機械学習の領域におけるドメインシフトの存在による教師なしのパフォーマンス評価における最近の研究にインスパイアされた手法は、我々の設定において高機能な高密度レトリバーを選択するのに有効ではないことを示す。 評価のためにラベルの収集を必要としないゼロショット設定で高密度検索モデルを選択するための信頼性の高い手法が利用可能となり、高密度検索が広く採用されるようになる。 したがって、これは情報検索コミュニティが考慮すべき重要な新しい問題である。 メソッドの実装と生の結果ファイルと分析スクリプトはhttps://www.github.com/匿名で公開されている。

関連論文リスト

• A Survey on Data Selection for Language Models [148.300726396877]
  データ選択方法は、トレーニングデータセットに含まれるデータポイントを決定することを目的としている。 ディープラーニングは、主に実証的な証拠によって駆動され、大規模なデータに対する実験は高価である。 広範なデータ選択研究のリソースを持つ組織はほとんどない。
  論文  参考訳（メタデータ） (2024-02-26T18:54:35Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• Exploring Data Redundancy in Real-world Image Classification through Data Selection [20.389636181891515]
  ディープラーニングモデルはトレーニングに大量のデータを必要とすることが多く、結果としてコストが増大する。 実世界の画像データの冗長性を調べるために,シナプスインテリジェンスと勾配ノルムに基づく2つのデータ評価指標を提案する。 オンラインおよびオフラインのデータ選択アルゴリズムは、検査されたデータ値に基づいてクラスタリングとグループ化によって提案される。
  論文  参考訳（メタデータ） (2023-06-25T03:31:05Z)
• infoVerse: A Universal Framework for Dataset Characterization with Multidimensional Meta-information [68.76707843019886]
  infoVerseは、データセットの特徴付けのための普遍的なフレームワークである。 infoVerseは、様々なモデル駆動メタ情報を統合することで、データセットの多次元特性をキャプチャする。 実世界の3つのアプリケーション(データプルーニング、アクティブラーニング、データアノテーション)において、infoVerse空間で選択されたサンプルは、強いベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2023-05-30T18:12:48Z)
• Dominant Set-based Active Learning for Text Classification and its Application to Online Social Media [0.0]
  本稿では,最小限のアノテーションコストで大規模未ラベルコーパスのトレーニングを行うための,プールベースのアクティブラーニング手法を提案する。 提案手法には調整すべきパラメータが一切ないため,データセットに依存しない。 本手法は,最先端のアクティブラーニング戦略と比較して高い性能を実現する。
  論文  参考訳（メタデータ） (2022-01-28T19:19:03Z)
• Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
  トレーニングデータアーティファクトの識別を容易にする手法を提案する。 提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。 我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-07-01T09:26:13Z)
• Meta-Learning for Neural Relation Classification with Distant Supervision [38.755055486296435]
  本稿では,参照データの指導の下で,雑音の多い学習データを重み付けするメタラーニング手法を提案する。 いくつかのデータセットの実験では、参照データがトレーニングデータの選択を効果的にガイドできることが示されている。
  論文  参考訳（メタデータ） (2020-10-26T12:52:28Z)
• Adversarial Knowledge Transfer from Unlabeled Data [62.97253639100014]
  本稿では,インターネット規模の未ラベルデータから知識を伝達し,分類器の性能を向上させるための新しいAdversarial Knowledge Transferフレームワークを提案する。 我々の手法の重要な新しい側面は、ラベル付けされていないソースデータは、ラベル付けされたターゲットデータと異なるクラスであることができ、個別のプリテキストタスクを定義する必要がないことである。
  論文  参考訳（メタデータ） (2020-08-13T08:04:27Z)
• DEAL: Deep Evidential Active Learning for Image Classification [0.0]
  アクティブラーニング(AL)は、限られたラベル付きデータの問題を緩和するためのアプローチである。 CNNの最近のAL手法は、ラベル付けするインスタンスの選択に異なる解決策を提案する。 本稿では,ラベルのないデータから高い予測不確かさを捕捉して効率よく学習する新しいALアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-22T11:14:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。