Fugu-MT 論文翻訳(概要): SPLADE-v3: New baselines for SPLADE

論文の概要: SPLADE-v3: New baselines for SPLADE

arxiv url: http://arxiv.org/abs/2403.06789v1
Date: Mon, 11 Mar 2024 15:04:55 GMT
ステータス: 処理完了
システム内更新日: 2024-03-12 18:44:36.823592
Title: SPLADE-v3: New baselines for SPLADE
Title（参考訳）: SPLADE-v3: SPLADEの新しいベースライン
Authors: Carlos Lassance, Herv\'e D\'ejean, Thibault Formal, St\'ephane Clinchant
Abstract要約: SPLADE-v3はBM25やSPLADE++よりも統計的にはるかに効果的である。 MS MARCO 開発セットでは 40 MRR@10 を超え、BEIR ベンチマークでは 2% 改善されている。
参考スコア（独自算出の注目度）: 8.969771027682382
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: A companion to the release of the latest version of the SPLADE library. We describe changes to the training structure and present our latest series of models -- SPLADE-v3. We compare this new version to BM25, SPLADE++, as well as re-rankers, and showcase its effectiveness via a meta-analysis over more than 40 query sets. SPLADE-v3 further pushes the limit of SPLADE models: it is statistically significantly more effective than both BM25 and SPLADE++, while comparing well to cross-encoder re-rankers. Specifically, it gets more than 40 MRR@10 on the MS MARCO dev set, and improves by 2% the out-of-domain results on the BEIR benchmark.
Abstract（参考訳）: SPLADEライブラリの最新バージョンのリリースに付属する。トレーニング構造の変更を説明し、最新のモデルであるSPLADE-v3を提示する。この新バージョンをbm25、splade++、および再ランク付けツールと比較し、40以上のクエリセットのメタ分析を通じてその効果を示す。 SPLADE-v3 はさらに SPLADE モデルの限界を押し上げ、BM25 や SPLADE++ よりも統計的にはるかに効果的であると同時に、クロスエンコーダのリランカと比較する。具体的には、MS MARCO開発セットで40 MRR@10以上を取得し、BEIRベンチマークのドメイン外の結果の2%改善する。

関連論文リスト

Chart-based Reasoning: Transferring Capabilities from LLMs to VLMs [15.469974080478247]
本稿では,大規模言語モデル (LLM) から視覚言語モデル (VLM) へ機能を移行する手法を提案する。最近導入されたChartQAでは、citetchen2023pali3によるPaLI3-5B VLMに適用すると、最先端の性能が得られる。我々のモデルは、citethieh2023蒸留によって導入されたマルチタスク損失を用いて微調整される。
論文参考訳（メタデータ） (2024-03-19T10:03:07Z)
Scaling Sparse Fine-Tuning to Large Language Models [67.59697720719672]
大きな言語モデル(LLM)は、パラメータの数が多いため、完全な微調整が難しい。本研究では,パラメータの配列とパラメータのデルタを事前学習した値に対して保持する新しいスパース微調整法SpIELを提案する。提案手法は,LoRAのようなパラメータ効率の高い微調整法よりも性能が優れ,実行時間も同等であることを示す。
論文参考訳（メタデータ） (2024-01-29T18:43:49Z)
1st Place Solution for 5th LSVOS Challenge: Referring Video Object Segmentation [65.45702890457046]
主要なRVOSモデルの強みを統合して、効果的なパラダイムを構築します。マスクの整合性と品質を改善するために,2段階のマルチモデル融合戦略を提案する。第5回大規模ビデオオブジェクトチャレンジ(ICCV 2023)トラック3位にランクインしたRef-Youtube-VOS検証セットで75.7%,テストセットで70%のJ&Fを達成した。
論文参考訳（メタデータ） (2024-01-01T04:24:48Z)
BLESS: Benchmarking Large Language Models on Sentence Simplification [55.461555829492866]
我々は、テキスト単純化(TS)タスク上で、最新の最先端の大規模言語モデル(LLM)のパフォーマンスベンチマークであるBLESSを紹介する。異なるドメイン(Wikipedia、ニュース、医療)の3つのテストセットに対して、サイズ、アーキテクチャ、事前学習方法、アクセシビリティの異なる44のモデルを評価する。評価の結果,最高のLSMはTSのトレーニングを受けていないにもかかわらず,最先端のTSベースラインと相容れない性能を示した。
論文参考訳（メタデータ） (2023-10-24T12:18:17Z)
PaLI-3 Vision Language Models: Smaller, Faster, Stronger [82.6453282241224]
PaLI-3は、より小さく、より速く、より強力な視覚言語モデル(VLM)であり、10倍大きい類似のモデルと好意的に比較できる。 SigLIPベースのPaLIは、標準画像分類ベンチマークでは若干性能が劣っているものの、様々なマルチモーダルベンチマークにおいて優れた性能を示している。
論文参考訳（メタデータ） (2023-10-13T15:45:19Z)
Learning Cross-Modal Affinity for Referring Video Object Segmentation Targeting Limited Samples [61.66967790884943]
ビデオオブジェクトセグメンテーション(RVOS)の参照は、所定のシーンに十分なデータに依存する。より現実的なシナリオでは、新しいシーンで利用できるのは最小限のアノテーションだけです。トランスフォーマーアーキテクチャに基づいた,新たに設計したクロスモーダル親和性(CMA)モジュールを用いたモデルを提案する。 CMAモジュールは、いくつかのサンプルでマルチモーダル親和性を構築し、新しいセマンティック情報を素早く学習し、モデルが異なるシナリオに適応できるようにする。
論文参考訳（メタデータ） (2023-09-05T08:34:23Z)
SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot Neural Sparse Retrieval [92.27387459751309]
ニューラルスパース検索を評価するための統一PythonツールキットであるSPRINTを提供する。我々は、よく認識されているベンチマークBEIRにおいて、強く再現可能なゼロショットスパース検索ベースラインを確立する。 SPLADEv2は、元のクエリとドキュメントの外で、ほとんどのトークンでスパース表現を生成する。
論文参考訳（メタデータ） (2023-07-19T22:48:02Z)
Larger Probes Tell a Different Story: Extending Psycholinguistic Datasets Via In-Context Learning [14.606961537327345]
我々は、精神言語学研究に触発された否定と役割逆転のための、より大規模なデータセットを導入する。 GPT3 を用いて既存の NEG-136 と ROLE-88 ベンチマークを劇的に拡張し,それぞれ 18 と 44 の文対から 750 にサイズを拡大した。拡張データセット上で22のモデルを評価し、オリジナルのより小さなベンチマークと比較すると、モデル性能は20～57%低下した。
論文参考訳（メタデータ） (2023-03-29T04:00:53Z)
InPars-Light: Cost-Effective Unsupervised Training of Efficient Rankers [4.771736071778191]
InPars-lightは、InParsの単純なyet効果の修正である。 InParsとは異なり、InPars-lightは7倍から100倍小さいランキングモデルを使用している。 InPars-lightは、プロプライエタリなGPT-3モデルよりも正確なランク付けを行う。
論文参考訳（メタデータ） (2023-01-08T08:03:46Z)
SPLADE v2: Sparse Lexical and Expansion Model for Information Retrieval [11.38022203865326]
SPLADEモデルは、最先端の高密度かつスパースなアプローチに関して、高度にスパースな表現と競争結果を提供する。我々は、プール機構を変更し、文書拡張のみに基づいてモデルをベンチマークし、蒸留で訓練されたモデルを導入する。全体として、SPLADEはTREC DL 2019のNDCG@10で9ドル以上のゲインで大幅に改善され、BEIRベンチマークで最先端の結果が得られた。
論文参考訳（メタデータ） (2021-09-21T10:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。