論文の概要: The Embedder's Dilemma: LLMs Are Better, but at What Cost?

• arxiv url: http://arxiv.org/abs/2608.12875v1
• Date: Thu, 13 Aug 2026 06:39:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.41411
• Title: The Embedder's Dilemma: LLMs Are Better, but at What Cost?
• Title（参考訳）: The Embedder's Dilemma: LLMs are Better, but at the Cost?
• Authors: Adnan El Assadi, Niklas Muennighoff, Jinhyuk Lee,
• Abstract要約: 10のテキスト埋め込みモデルと26の埋め込みモデルを比較した。 最良のLLM(Gemini 3.1 Pro)と最高の埋め込みモデル(77.2)は0.4ポイント異なる。 本研究は, 類似性, 分類, クラスタリングのための埋め込みモデルと, 推論集約検索のための予備LLMを用いて, 作業の分割を支援する。
• 参考スコア（独自算出の注目度）: 18.755750863102232
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Should you replace your text-embedding pipeline with a large language model? We answer this with a controlled, cost-aware comparison of ten LLMs across six families and 26 embedding models (118M to 14B parameters) on 37 tasks spanning classification, semantic textual similarity (STS), clustering, pair classification, and retrieval. In aggregate the two paradigms are effectively tied: the best LLM (Gemini 3.1 Pro, 77.6) and the best embedding model (77.2) differ by 0.4 points. Their strengths differ by task: LLMs lead on reasoning-heavy retrieval, embedding models lead on classification, and the two match on clustering, STS, and pair classification. Reaching that parity is expensive. An LLM costs up to 1,431x more than an embedding model of comparable quality (USD 154 vs. USD 0.11 per benchmark pass), and the open LLMs tested process tokens 2.5 to 736x more slowly on the same GPU. Reasoning tokens account for 28 to 81% of LLM inference cost; lower reasoning budgets preserve or improve retrieval quality for most models in our ablation. The Pareto frontier contains the leading embedding models and one LLM, Gemini 3.1 Pro. These results support a division of labour: use embedding models for similarity, classification, and clustering, and reserve LLMs for reasoning-intensive retrieval. Our code, datasets, and results are publicly available at https://github.com/embeddings-benchmark/embedders-dilemma.
• Abstract（参考訳）: テキスト埋め込みパイプラインを大きな言語モデルに置き換えるべきだろうか? 我々は,分類,意味的テキスト類似性(STS),クラスタリング,ペア分類,検索にまたがる37のタスクに対して,6つのファミリーと26の埋め込みモデル(118Mから14Bパラメータ)の10のLSMを制御し,コストを意識した比較を行った。 最良のLLM(Gemini 3.1 Pro, 77.6)と最高の埋め込みモデル(77.2)は0.4ポイント異なる。 それらの強みはタスクによって異なり、LSMは推論と重みの検索を導き、埋め込みモデルは分類を導き、両者はクラスタリング、STS、ペア分類にマッチする。 その品位は高くつく。 LLMは、同等の品質の埋め込みモデル(ベンチマークパス当たりUSD 154対USD 0.11)よりも1,431倍高く、オープンなLLMは、同じGPU上で2.5から736倍遅くプロセストークンをテストした。 LLM推論コストの28～81%は推論トークンであり、推論予算の低さは私たちのアブレーションにおけるほとんどのモデルの検索品質を維持または改善する。 Paretoフロンティアには主要な埋め込みモデルと1つのLCM、Gemini 3.1 Proが含まれている。 これらの結果は、類似性、分類、クラスタリングに埋め込みモデルを使用し、推論集約的な検索に予備的なLLMを使用するという、労働の分断を支持する。 私たちのコード、データセット、結果はhttps://github.com/embeddings-benchmark/embedders-dilemma.comで公開されています。

関連論文リスト

• PyroDash: Cost-Efficient Token-Level Small-Large Language Model Collaborative Inference [0.5568796330843819]
  PyroDashはトークンレベルのSLM-LLM協調推論のためのコスト対応フレームワークである。 Collaborate Engineは、クエリと部分的推論トレースをフリーズしたLLMに送信し、単一のハンドオフで完了させる。
  論文  参考訳（メタデータ） (2026-07-22T16:14:26Z)
• A Reliability Evaluation of Hybrid Deterministic-LLM Based Approaches for Academic Course Registration PDF Information Extraction [0.0]
  本研究では,KRS文書からの情報抽出手法の信頼性を3つの戦略を用いて評価した。 実験は、LCMベースのテストのための140の文書と、Camelotベースのパイプライン評価のための860の文書で実施された。
  論文  参考訳（メタデータ） (2026-03-09T02:09:02Z)
• Pay for Hints, Not Answers: LLM Shepherding for Cost-Efficient Inference [7.865726406769634]
  小型言語モデル(SLM)は劇的なコスト削減を提供するが、精度はかなり遅い。 LLM Shepherdingは,LLMから短いプレフィックス(ヒント)のみを要求するフレームワークで,SLMに提供します。 シェパードはルーティングとカスケードの両方を一般化し、オラクルの意思決定において低コストを実現する。
  論文  参考訳（メタデータ） (2026-01-29T18:52:54Z)
• Enhancing LLM Code Generation with Ensembles: A Similarity-Based Selection Approach [6.93983229112122]
  コード生成における大規模言語モデル(LLM)のアンサンブル手法を提案する。 投票には,CodeBLEUと行動等価性を用いて構文的・意味的類似性を計算する。 実験により,我々のアンサンブルアプローチはスタンドアローンLLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2025-03-20T04:38:56Z)
• Preference Leakage: A Contamination Problem in LLM-as-a-judge [69.96778498636071]
  審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、2つの基本的なLLM駆動型データアノテーション法として登場した。 本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。
  論文  参考訳（メタデータ） (2025-02-03T17:13:03Z)
• How Far Are We on the Decision-Making of LLMs? Evaluating LLMs' Gaming Ability in Multi-Agent Environments [83.78240828340681]
  GAMA($gamma$)-Benchは、マルチエージェント環境における大規模言語モデルのゲーム能力を評価するための新しいフレームワークである。 $gamma$-Benchは8つの古典ゲーム理論シナリオと、LSMの性能を評価するために特別に設計された動的スコアリングスキームを含んでいる。 以上の結果から, GPT-3.5は強い強靭性を示すが, 一般化性は限定的であり, Chain-of-Thoughtのような手法で拡張可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-18T14:04:47Z)
• You can't pick your neighbors, or can you? When and how to rely on retrieval in the $k$NN-LM [65.74934004876914]
  Retrieval-enhanced Language Model (LM) は、大規模な外部データストアから取得したテキストにそれらの予測を条件付ける。 そのようなアプローチの1つ、$k$NN-LMは、既存のLMの予測を$k$-nearest近くのモデルの出力と補間する。 本研究では,2つの英語モデルデータセットに対するアプローチの有効性を実証的に測定する。
  論文  参考訳（メタデータ） (2022-10-28T02:57:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。