論文の概要: Do We Need Domain-Specific Embedding Models? An Empirical Investigation
- arxiv url: http://arxiv.org/abs/2409.18511v1
- Date: Fri, 27 Sep 2024 07:46:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-01 06:57:11.048030
- Title: Do We Need Domain-Specific Embedding Models? An Empirical Investigation
- Title(参考訳): ドメイン特化埋め込みモデルが必要か? : 実証的研究
- Authors: Yixuan Tang, Yi Yang,
- Abstract要約: 埋め込みモデルは、様々なNLPアプリケーションにまたがる情報の表現と検索において重要な役割を果たす。
大規模言語モデルの最近の進歩は、埋め込みモデルの性能をさらに向上させた。
汎用モデルがすでに特殊なドメインテキストを含む巨大なコーパスで訓練されている場合、ドメイン固有の埋め込みモデルの開発は必要か?
- 参考スコア(独自算出の注目度): 18.990655668481075
- License:
- Abstract: Embedding models play a crucial role in representing and retrieving information across various NLP applications. Recent advancements in Large Language Models (LLMs) have further enhanced the performance of embedding models, which are trained on massive amounts of text covering almost every domain. These models are often benchmarked on general-purpose datasets like Massive Text Embedding Benchmark (MTEB), where they demonstrate superior performance. However, a critical question arises: Is the development of domain-specific embedding models necessary when general-purpose models are trained on vast corpora that already include specialized domain texts? In this paper, we empirically investigate this question, choosing the finance domain as an example. We introduce the Finance Massive Text Embedding Benchmark (FinMTEB), a counterpart to MTEB that consists of financial domain-specific text datasets. We evaluate the performance of seven state-of-the-art embedding models on FinMTEB and observe a significant performance drop compared to their performance on MTEB. To account for the possibility that this drop is driven by FinMTEB's higher complexity, we propose four measures to quantify dataset complexity and control for this factor in our analysis. Our analysis provides compelling evidence that state-of-the-art embedding models struggle to capture domain-specific linguistic and semantic patterns, even when trained on large general-purpose corpora. This study sheds light on the necessity of developing domain-specific embedding models in the LLM era, offering valuable insights for researchers and practitioners.
- Abstract(参考訳): 埋め込みモデルは、様々なNLPアプリケーションにまたがる情報の表現と検索において重要な役割を果たす。
大規模言語モデル(LLM)の最近の進歩は、ほとんどすべてのドメインをカバーする大量のテキストに基づいて訓練された埋め込みモデルの性能をさらに向上させた。
これらのモデルはしばしば、より優れたパフォーマンスを示すMTEB(Massive Text Embedding Benchmark)のような汎用データセットでベンチマークされる。
汎用モデルがすでに特殊なドメインテキストを含む巨大なコーパスでトレーニングされている場合、ドメイン固有の埋め込みモデルの開発は必要か?
本稿では,金融分野を事例として,この課題を実証的に検討する。
金融ドメイン固有のテキストデータセットからなるMTEBに対抗して、ファイナンス質量テキスト埋め込みベンチマーク(FinMTEB)を導入する。
我々は、FinMTEB上での7つの最先端埋め込みモデルの性能評価を行い、MTEB上でのパフォーマンスと比較して顕著な性能低下を観測した。
この低下がFinMTEBの複雑さの増大によって引き起こされる可能性を考慮するため、本分析では、データセットの複雑さを定量化し、この要因の制御を行うための4つの方法を提案する。
我々の分析は、大規模な汎用コーパスで訓練しても、最先端の埋め込みモデルがドメイン固有の言語的・意味的なパターンを捉えるのに苦労していることを示す。
この研究は、LLM時代にドメイン固有の埋め込みモデルを開発する必要性に光を当て、研究者や実践者に貴重な洞察を提供する。
関連論文リスト
- What matters when building vision-language models? [52.8539131958858]
我々は、80億のパラメータを持つ効率的な基礎的視覚言語モデルであるIdefics2を開発した。
Idefics2は、様々なマルチモーダルベンチマークで、そのサイズカテゴリ内で最先端のパフォーマンスを達成する。
トレーニング用に作成されたデータセットとともに、モデル(ベース、指示、チャット)をリリースします。
論文 参考訳(メタデータ) (2024-05-03T17:00:00Z) - Tabular Embedding Model (TEM): Finetuning Embedding Models For Tabular RAG Applications [0.0]
Tabular Embedding Model (TEM) は、表型検索・拡張生成(RAG)アプリケーションのためのファインチューン埋め込みモデルに対する新しいアプローチである。
TEMは現在のSOTA埋め込みモデルよりも優れているだけでなく、より小さく、より効率的なモデル構造でも優れている。
論文 参考訳(メタデータ) (2024-04-28T14:58:55Z) - Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳(メタデータ) (2024-02-07T13:41:53Z) - Large Language Model Adaptation for Financial Sentiment Analysis [2.0499240875882]
一般言語モデルは、金融に特化されたタスクでは不足する傾向にある。
1.5B未満のパラメータを持つ2つの基礎モデルは、幅広い戦略を用いて適応されている。
小型LLMは大規模モデルに匹敵する性能を有しつつ,パラメータやデータの観点からも効率がよいことを示す。
論文 参考訳(メタデータ) (2024-01-26T11:04:01Z) - Learn From Model Beyond Fine-Tuning: A Survey [78.80920533793595]
Learn From Model (LFM) は、モデルインターフェースに基づいた基礎モデル(FM)の研究、修正、設計に焦点を当てている。
LFM技術の研究は、モデルチューニング、モデル蒸留、モデル再利用、メタラーニング、モデル編集の5つの分野に大別できる。
本稿では, LFM の観点から, FM に基づく現在の手法を概観する。
論文 参考訳(メタデータ) (2023-10-12T10:20:36Z) - Adapting Large Language Models for Content Moderation: Pitfalls in Data
Engineering and Supervised Fine-tuning [79.53130089003986]
大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。
本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
論文 参考訳(メタデータ) (2023-10-05T09:09:44Z) - Multi-document Summarization: A Comparative Evaluation [0.0]
本論文は,多文書要約(MDS)のための最先端モデルの評価を,様々な領域の異なるタイプのデータセット上で行うことを目的としている。
我々は,Big-SurveyおよびMS$2$データセット上でのPRIMERAおよびPEGモデルの性能を解析した。
論文 参考訳(メタデータ) (2023-09-10T07:43:42Z) - StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized
Image-Dialogue Data [129.92449761766025]
本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。
このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。
本研究は,各種データセットを対象とした総合的な実験を含む。
論文 参考訳(メタデータ) (2023-08-20T12:43:52Z) - Are ChatGPT and GPT-4 General-Purpose Solvers for Financial Text
Analytics? A Study on Several Typical Tasks [36.84636748560657]
ChatGPTやGPT-4のような大規模言語モデルは、ジェネラリストモデルの例外的な能力を示している。
このようなモデルは金融分野でどの程度有効か?
論文 参考訳(メタデータ) (2023-05-10T03:13:54Z) - Attention is Not Always What You Need: Towards Efficient Classification
of Domain-Specific Text [1.1508304497344637]
階層構造に整理された数百のクラスを持つ大規模ITコーパスでは、階層構造における上位レベルのクラスの正確な分類が不可欠である。
ビジネスの世界では、高額なブラックボックスモデルよりも効率的で説明可能なMLモデルが好まれる。
PLMが広く使われているにもかかわらず、これらのモデルがドメイン固有のテキスト分類に使われている理由として、明確で明確な必要性が欠如している。
論文 参考訳(メタデータ) (2023-03-31T03:17:23Z) - Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。
我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
論文 参考訳(メタデータ) (2023-03-13T16:00:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。