論文の概要: An Efficiency Study for SPLADE Models
- arxiv url: http://arxiv.org/abs/2207.03834v1
- Date: Fri, 8 Jul 2022 11:42:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-11 14:04:34.026660
- Title: An Efficiency Study for SPLADE Models
- Title(参考訳): SPLADEモデルの効率化に関する研究
- Authors: Carlos Lassance and St\'ephane Clinchant
- Abstract要約: 本稿では,SPLADEモデルの効率向上に焦点をあてる。
本稿では、クエリのL1正規化、ドキュメント/エンコーダの分離、FLOPS正規化ミドルトレーニング、高速なクエリエンコーダの使用など、いくつかの手法を提案する。
- 参考スコア(独自算出の注目度): 5.725475501578801
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Latency and efficiency issues are often overlooked when evaluating IR models
based on Pretrained Language Models (PLMs) in reason of multiple hardware and
software testing scenarios. Nevertheless, efficiency is an important part of
such systems and should not be overlooked.
In this paper, we focus on improving the efficiency of the SPLADE model since
it has achieved state-of-the-art zero-shot performance and competitive results
on TREC collections. SPLADE efficiency can be controlled via a regularization
factor, but solely controlling this regularization has been shown to not be
efficient enough. In order to reduce the latency gap between SPLADE and
traditional retrieval systems, we propose several techniques including L1
regularization for queries, a separation of document/query encoders, a
FLOPS-regularized middle-training, and the use of faster query encoders. Our
benchmark demonstrates that we can drastically improve the efficiency of these
models while increasing the performance metrics on in-domain data. To our
knowledge, {we propose the first neural models that, under the same computing
constraints, \textit{achieve similar latency (less than 4ms difference) as
traditional BM25}, while having \textit{similar performance (less than 10\%
MRR@10 reduction)} as the state-of-the-art single-stage neural rankers on
in-domain data}.
- Abstract(参考訳): 遅延と効率の問題は、複数のハードウェアおよびソフトウェアテストシナリオのために、プレトレーニング言語モデル(PLM)に基づいたIRモデルを評価する際にしばしば見過ごされる。
それでも、効率性はそのようなシステムの重要な部分であり、見落としてはいけない。
本稿では,最先端のゼロショット性能を実現したSPLADEモデルの効率向上と,TRECコレクションの競争結果に焦点をあてる。
スプレイド効率は正則化係数によって制御できるが、この正則化を制御するだけでは十分ではないことが示されている。
SPLADEと従来の検索システム間の遅延ギャップを低減するため,クエリのL1正規化,ドキュメント/クエリエンコーダの分離,FLOPS正規化中間学習,高速クエリエンコーダの使用など,いくつかの手法を提案する。
我々のベンチマークでは、ドメイン内のデータの性能指標を増やしながら、これらのモデルの効率を大幅に改善できることが示されています。
計算の制約の下では、従来のbm25と同等のレイテンシ(4ms差以下)を持ちながら、ドメイン内のデータに対する最先端のシングルステージニューラルネットワークランカとして、 \textit{ similar performance(10\% mrr@10 reduction未満)を持つ最初のニューラルモデルを提案する。
関連論文リスト
- The Missing U for Efficient Diffusion Models [3.8983468222277686]
拡散確率モデル(Diffusion Probabilistic Models)は、画像合成、ビデオ生成、分子設計などのタスクにおいて、記録破りのパフォーマンスをもたらす。
それらの能力にもかかわらず、その効率、特に逆過程では、収束速度が遅いことと計算コストが高いため、依然として課題である。
本研究では,連続力学系を利用した拡散モデルのための新しいデノナイジングネットワークの設計手法を提案する。
論文 参考訳(メタデータ) (2023-10-31T00:12:14Z) - Federated Learning of Large Language Models with Parameter-Efficient
Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。
LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。
本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文 参考訳(メタデータ) (2023-10-23T16:37:59Z) - PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly
Detection [65.24854366973794]
ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。
本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。
我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
論文 参考訳(メタデータ) (2023-10-18T02:59:57Z) - Stabilizing Subject Transfer in EEG Classification with Divergence
Estimation [17.924276728038304]
脳波分類タスクを記述するためのグラフィカルモデルをいくつか提案する。
理想的な訓練シナリオにおいて真であるべき統計的関係を同定する。
我々は、これらの関係を2段階で強制する正規化罰則を設計する。
論文 参考訳(メタデータ) (2023-10-12T23:06:52Z) - DiffNAS: Bootstrapping Diffusion Models by Prompting for Better
Architectures [63.12993314908957]
そこで我々は,DiffNASと呼ばれるベースモデル探索手法を提案する。
GPT-4をスーパーネットとして利用して検索を高速化し,検索メモリを補足して結果を向上する。
厳密な実験により,GPTに基づくシナリオでは,探索効率を2倍に向上できることが示された。
論文 参考訳(メタデータ) (2023-10-07T09:10:28Z) - Cheaply Evaluating Inference Efficiency Metrics for Autoregressive
Transformer APIs [66.30706841821123]
大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。
LLMは、推論時でさえ非常に計算コストが高い。
モデル間での推論効率を比較するための新しい指標を提案する。
論文 参考訳(メタデータ) (2023-05-03T21:51:42Z) - LegoNet: A Fast and Exact Unlearning Architecture [59.49058450583149]
機械学習は、トレーニングされたモデルから削除された要求に対する特定のトレーニングサンプルの影響を削除することを目的としている。
固定エンコーダ+複数アダプタのフレームワークを採用した新しいネットワークである textitLegoNet を提案する。
我々は、LegoNetが許容できる性能を維持しつつ、高速かつ正確な未学習を実現し、未学習のベースラインを総合的に上回っていることを示す。
論文 参考訳(メタデータ) (2022-10-28T09:53:05Z) - Rethinking Attention Mechanism in Time Series Classification [6.014777261874646]
我々は、フレキシブル・マルチヘッド・リニア・アテンション(FMLA)を提案することにより、アテンション機構の効率性と性能を向上する。
本稿では,時系列におけるノイズの影響を低減し,FMLAの冗長性を低減できる簡易だが効果的なマスク機構を提案する。
85のUCR2018データセットを用いて、このアルゴリズムを11のよく知られたデータセットと比較し、このアルゴリズムがトップ1の精度で同等の性能を持つことを示す。
論文 参考訳(メタデータ) (2022-07-14T07:15:06Z) - Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。
計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。
また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文 参考訳(メタデータ) (2022-03-23T06:24:31Z) - Hybridization of Capsule and LSTM Networks for unsupervised anomaly
detection on multivariate data [0.0]
本稿では,Long-Short-Term-Memory(LSTM)とCapsule Networksを1つのネットワークに結合した新しいNNアーキテクチャを提案する。
提案手法は教師なし学習手法を用いて大量のラベル付きトレーニングデータを見つける際の問題を克服する。
論文 参考訳(メタデータ) (2022-02-11T10:33:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。