論文の概要: Rethinking Dense Retrieval's Few-Shot Ability

• arxiv url: http://arxiv.org/abs/2304.05845v1
• Date: Wed, 12 Apr 2023 13:20:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-13 15:03:43.092416
• Title: Rethinking Dense Retrieval's Few-Shot Ability
• Title（参考訳）: Dense RetrievalのFew-Shot能力の再考
• Authors: Si Sun, Yida Lu, Shi Yu, Xiangyang Li, Zhonghua Li, Zhao Cao, Zhiyuan Liu, Deiming Ye and Jie Bao
• Abstract要約: 少数の高密度検索は,いくつかのサンプルを学習することで,新しい検索シナリオに一般化することを目的としている。 現在の手法では、教師付きデータセットからランダムにサンプリングして、"few-data"セットアップを作成することが多い。 カスタマイズされたFewDRデータセットと統一評価ベンチマークを提案する。
• 参考スコア（独自算出の注目度）: 24.86681340512899
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot dense retrieval (DR) aims to effectively generalize to novel search scenarios by learning a few samples. Despite its importance, there is little study on specialized datasets and standardized evaluation protocols. As a result, current methods often resort to random sampling from supervised datasets to create "few-data" setups and employ inconsistent training strategies during evaluations, which poses a challenge in accurately comparing recent progress. In this paper, we propose a customized FewDR dataset and a unified evaluation benchmark. Specifically, FewDR employs class-wise sampling to establish a standardized "few-shot" setting with finely-defined classes, reducing variability in multiple sampling rounds. Moreover, the dataset is disjointed into base and novel classes, allowing DR models to be continuously trained on ample data from base classes and a few samples in novel classes. This benchmark eliminates the risk of novel class leakage, providing a reliable estimation of the DR model's few-shot ability. Our extensive empirical results reveal that current state-of-the-art DR models still face challenges in the standard few-shot scene. Our code and data will be open-sourced at https://github.com/OpenMatch/ANCE-Tele.
• Abstract（参考訳）: いくつかのサンプルを学習することで,新たな検索シナリオを効果的に一般化することを目的としている。 その重要性にもかかわらず、特別なデータセットと標準化された評価プロトコルについてはほとんど研究されていない。 結果として、現在の手法では、教師付きデータセットからランダムにサンプリングして"フェーデータ"の設定を作成し、評価中に一貫性のないトレーニング戦略を採用することが多い。 本稿では,カスタマイズされたFewDRデータセットと統一評価ベンチマークを提案する。 具体的には、FewDRはクラスワイドサンプリングを使用して、細かな定義のクラスで標準化された「ファウショット」設定を確立し、複数のサンプリングラウンドにおける可変性を低下させる。 さらに、データセットはベースクラスと新しいクラスに分離され、ベースクラスと新しいクラスのいくつかのサンプルからDRモデルを継続的にトレーニングすることができる。 このベンチマークは、新しいクラスリークのリスクを排除し、DRモデルの少数ショット能力の信頼性を推定する。 広範な実験結果から,現状のdrmモデルでは,標準的少数シーンでは依然として課題に直面していることが分かりました。 私たちのコードとデータはhttps://github.com/OpenMatch/ANCE-Tele.comでオープンソース化されます。

関連論文リスト

• Benchmarking Spurious Bias in Few-Shot Image Classifiers [26.544938760265136]
  画像分類器はほとんどないが、クラスとスプリアス属性の間のスプリアス相関に依存しており、スプリアスバイアスとして知られている。 我々はFewSTABを提案する。このFewSTABは、数発の分類器の様々な頑健さを定量的に証明し、定量化し、刺激バイアスを与える。 FewSTABは、バイアスのある属性を持つ少数ショット評価タスクを生成し、予測にそれらを使用することでパフォーマンスが低下することを示す。
  論文  参考訳（メタデータ） (2024-09-04T17:07:46Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Evaluating Graph Neural Networks for Link Prediction: Current Pitfalls and New Benchmarking [66.83273589348758]
  リンク予測は、グラフのエッジの一部のみに基づいて、目に見えないエッジが存在するかどうかを予測しようとする。 近年,この課題にグラフニューラルネットワーク(GNN)を活用すべく,一連の手法が導入されている。 これらの新しいモデルの有効性をよりよく評価するために、新しい多様なデータセットも作成されている。
  論文  参考訳（メタデータ） (2023-06-18T01:58:59Z)
• Large-scale Pre-trained Models are Surprisingly Strong in Incremental Novel Class Discovery [76.63807209414789]
  我々は,クラスiNCDにおける現状問題に挑戦し,クラス発見を継続的に,真に教師なしで行う学習パラダイムを提案する。 凍結したPTMバックボーンと学習可能な線形分類器から構成される単純なベースラインを提案する。
  論文  参考訳（メタデータ） (2023-03-28T13:47:16Z)
• Revisiting Long-tailed Image Classification: Survey and Benchmarks with New Evaluation Metrics [88.39382177059747]
  メトリクスのコーパスは、長い尾の分布で学習するアルゴリズムの正確性、堅牢性、およびバウンダリを測定するために設計されている。 ベンチマークに基づいて,CIFAR10およびCIFAR100データセット上での既存手法の性能を再評価する。
  論文  参考訳（メタデータ） (2023-02-03T02:40:54Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• Reconstruction guided Meta-learning for Few Shot Open Set Recognition [31.49168444631114]
  ReFOCS (Reconstructing Exemplar-based Few-shot Open-set Classifier) を提案する。 新規な再構築型メタラーニング戦略であるReFOCSを用いてFSOSRを効率化する。 ReFOCSは複数の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-31T23:23:35Z)
• Stance Detection Benchmark: How Robust Is Your Stance Detection? [65.91772010586605]
  Stance Detection (StD) は、あるトピックやクレームに対する著者の姿勢を検出することを目的としている。 マルチデータセット学習環境において、さまざまなドメインの10のStDデータセットから学習するStDベンチマークを導入する。 このベンチマーク設定では、5つのデータセットに新しい最先端結果を表示することができます。
  論文  参考訳（メタデータ） (2020-01-06T13:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。