論文の概要: No Parameter Left Behind: How Distillation and Model Size Affect Zero-Shot Retrieval

• arxiv url: http://arxiv.org/abs/2206.02873v1
• Date: Mon, 6 Jun 2022 19:56:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-08 15:31:32.162404
• Title: No Parameter Left Behind: How Distillation and Model Size Affect Zero-Shot Retrieval
• Title（参考訳）: 残らないパラメータ:蒸留とモデルサイズがゼロショット検索に与える影響
• Authors: Guilherme Moraes Rosa and Luiz Bonifacio and Vitor Jeronymo and Hugo Abonizio and Marzieh Fadaee and Roberto Lotufo and Rodrigo Nogueira
• Abstract要約: 本稿では,検索モデルの一般化能力において,パラメータの数と初期クエリ文書間相互作用が重要な役割を担っていることを示す。 実験の結果, モデルサイズの増加はドメイン内テストセットの限界ゲインをもたらすが, ファインチューニング中に見つからなかった新しいドメインでは, はるかに大きなゲインが得られることがわかった。 我々の最大のリランカーは、ベンチマーク-IR(BEIR)の18のデータセットのうち12の領域で最先端に到達し、これまでの最先端を平均3ポイント上回っている。
• 参考スコア（独自算出の注目度）: 4.712097135437801
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has shown that small distilled language models are strong competitors to models that are orders of magnitude larger and slower in a wide range of information retrieval tasks. This has made distilled and dense models, due to latency constraints, the go-to choice for deployment in real-world retrieval applications. In this work, we question this practice by showing that the number of parameters and early query-document interaction play a significant role in the generalization ability of retrieval models. Our experiments show that increasing model size results in marginal gains on in-domain test sets, but much larger gains in new domains never seen during fine-tuning. Furthermore, we show that rerankers largely outperform dense ones of similar size in several tasks. Our largest reranker reaches the state of the art in 12 of the 18 datasets of the Benchmark-IR (BEIR) and surpasses the previous state of the art by 3 average points. Finally, we confirm that in-domain effectiveness is not a good indicator of zero-shot effectiveness. Code is available at https://github.com/guilhermemr04/scaling-zero-shot-retrieval.git
• Abstract（参考訳）: 最近の研究により、小さな蒸留言語モデルは、幅広い情報検索タスクにおいて桁違いに大きく、遅いモデルと強力な競合関係にあることが示されている。 これにより、レイテンシの制約により、実世界の検索アプリケーションでデプロイする上で、蒸留と密集したモデルが選択できるようになった。 本研究では,検索モデルの一般化能力において,パラメータの数と初期クエリ文書間相互作用が重要な役割を果たすことを示す。 実験の結果, モデルサイズの増加はドメイン内テストセットの限界ゲインをもたらすが, ファインチューニング中に見つからなかった新しいドメインでは, はるかに大きなゲインが得られることがわかった。 さらに,複数のタスクにおいて,リランクがほぼ同じ大きさの密集したものよりも優れていることを示す。 当社の最大のリランカは,benchmark-ir(beir)の18のデータセットのうち12つでアートの状態を到達し,それまでのアートの状態を3ポイント上回っています。 最後に、ドメイン内の有効性はゼロショット効果のよい指標ではないことを確認した。 コードはhttps://github.com/guilhermemr04/scaling-zero-shot-retrieval.gitで入手できる。

関連論文リスト

• Enabling Small Models for Zero-Shot Classification through Model Label Learning [50.68074833512999]
  モデルと機能の間のギャップを埋める新しいパラダイムであるモデルラベル学習(MLL)を導入する。 7つの実世界のデータセットの実験により、MLLの有効性と効率が検証された。
  論文  参考訳（メタデータ） (2024-08-21T09:08:26Z)
• Maverick: Efficient and Accurate Coreference Resolution Defying Recent Trends [49.68011233558541]
  大規模な自己回帰生成モデルは、いくつかの自然言語処理タスクで最高のパフォーマンスを達成するための基盤として現れてきた。 学術予算の制約の中で最先端のCoreference Resolutionシステムを実行可能にするパイプラインであるMaverickを紹介します。 MaverickはCoNLL-2012ベンチマークで最先端のパフォーマンスを達成し、最大0.006倍のメモリリソースをトレーニングし、従来の最先端システムと比較して170倍高速な推論が得られる。
  論文  参考訳（メタデータ） (2024-07-31T09:58:48Z)
• Tiny models from tiny data: Textual and null-text inversion for few-shot distillation [11.80626524879555]
  ほとんどショット画像分類では、ごく少数のトレーニング例を使って画像の分類を行う。 近年の視覚基礎モデルでは、数発の転送能力は優れているが、推論では大きくて遅い。 本稿では,テキスト逆変換の多様性とNull-text逆変換の特異性を組み合わせた新しい拡散モデル逆変換法(TINT)を提案する。
  論文  参考訳（メタデータ） (2024-06-05T11:01:42Z)
• The Larger the Better? Improved LLM Code-Generation via Budget Reallocation [32.0844209512788]
  大型言語モデル(LLM)は小型言語よりも優れているという考え方が一般的である。 両方のモデルが同じ予算の下で動作した場合、どうなるのか? 我々は、様々なサイズのコード生成LLMを分析し、70Bモデルを実行する場合と13Bモデルから5つの出力を生成する場合の比較を行う。
  論文  参考訳（メタデータ） (2024-03-31T15:55:49Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot Neural Sparse Retrieval [92.27387459751309]
  ニューラルスパース検索を評価するための統一PythonツールキットであるSPRINTを提供する。 我々は、よく認識されているベンチマークBEIRにおいて、強く再現可能なゼロショットスパース検索ベースラインを確立する。 SPLADEv2は、元のクエリとドキュメントの外で、ほとんどのトークンでスパース表現を生成する。
  論文  参考訳（メタデータ） (2023-07-19T22:48:02Z)
• When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
  正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。 精度を向上させるために,2つの軽量モジュールを提案する。 DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。 QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
  論文  参考訳（メタデータ） (2021-05-27T13:51:42Z)
• BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models [41.45240621979654]
  情報検索のための異種ベンチマークであるBEIRを紹介する。 ゼロショット評価設定における9つの最先端の検索モデルの有効性を検討する。 Dense-Retrievalモデルは計算効率が良いが、他のアプローチでは性能が劣ることが多い。
  論文  参考訳（メタデータ） (2021-04-17T23:29:55Z)
• Contemplating real-world object classification [53.10151901863263]
  Barbuらが最近提案したObjectNetデータセットを再分析した。 日常の状況に物を含むこと。 分離されたオブジェクトにディープモデルを適用すると、元の論文のようにシーン全体ではなく、約20～30%の性能改善が得られます。
  論文  参考訳（メタデータ） (2021-03-08T23:29:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。