論文の概要: Advancing Semantic Caching for LLMs with Domain-Specific Embeddings and Synthetic Data

• arxiv url: http://arxiv.org/abs/2504.02268v1
• Date: Thu, 03 Apr 2025 04:27:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 12:58:06.783182
• Title: Advancing Semantic Caching for LLMs with Domain-Specific Embeddings and Synthetic Data
• Title（参考訳）: ドメイン特化埋め込みと合成データを用いたLCMのセマンティックキャッシング
• Authors: Waris Gill, Justin Cechmanek, Tyler Hutcherson, Srijith Rajamohan, Jen Agarwal, Muhammad Ali Gulzar, Manvinder Singh, Benoit Dion,
• Abstract要約: 本報告では, セマンティックキャッシングの精度向上を, 特別に調整された埋め込みモデルを用いて検討する。 そこで本研究では,ターゲットとした実世界と合成されたデータセットを微調整した,より小さなドメイン固有埋め込みモデルを提案する。
• 参考スコア（独自算出の注目度）: 3.877325424485755
• License:
• Abstract: This report investigates enhancing semantic caching effectiveness by employing specialized, fine-tuned embedding models. Semantic caching relies on embedding similarity rather than exact key matching, presenting unique challenges in balancing precision, query latency, and computational efficiency. We propose leveraging smaller, domain-specific embedding models, fine-tuned with targeted real-world and synthetically generated datasets. Our empirical evaluations demonstrate that compact embedding models fine-tuned for just one epoch on specialized datasets significantly surpass both state-of-the-art open-source and proprietary alternatives in precision and recall. Moreover, we introduce a novel synthetic data generation pipeline for the semantic cache that mitigates the challenge of limited domain-specific annotated data, further boosting embedding performance. Our approach effectively balances computational overhead and accuracy, establishing a viable and efficient strategy for practical semantic caching implementations.
• Abstract（参考訳）: 本報告では, セマンティックキャッシングの有効性を, 専門的, 微調整された埋め込みモデルを用いて検証する。 セマンティックキャッシュは、正確なキーマッチングではなく、埋め込み類似性に依存しており、精度、クエリレイテンシ、計算効率のバランスをとる上で、ユニークな課題を提示している。 そこで本研究では,ターゲットとした実世界と合成されたデータセットを微調整した,より小さなドメイン固有埋め込みモデルを提案する。 我々の経験的評価は、特定のデータセット上で1つのエポックに微調整されたコンパクトな埋め込みモデルは、最先端のオープンソースとプロプライエタリな代替品の両方を精度とリコールではるかに上回っていることを示している。 さらに,セマンティックキャッシュのための新しい合成データ生成パイプラインを導入し,ドメイン固有の注釈付きデータの難しさを軽減し,組込み性能をさらに向上する。 提案手法は,計算オーバーヘッドと精度を効果的にバランスさせ,実用的なセマンティックキャッシング実装のための実行可能かつ効率的な戦略を確立する。

関連論文リスト

• Enhancing Generalization via Sharpness-Aware Trajectory Matching for Dataset Condensation [37.77454972709646]
  学習した合成データセットの一般化能力を高めるシャープネス認識軌道マッチング(SATM)を導入する。 我々の手法は数学的に十分サポートされており、制御可能な計算オーバーヘッドとともに実装が容易である。
  論文  参考訳（メタデータ） (2025-02-03T22:30:06Z)
• Efficient Ternary Weight Embedding Model: Bridging Scalability and Performance [15.877771709013743]
  本研究では,3次重み付き埋め込みモデルのためのファインタニングフレームワークを提案する。 プレトレーニング埋込みモデルに三元化を適用するため, 線形層の三元重みを確定するために, 自己学習型知識蒸留を導入する。 パブリックテキストとビジョンデータセットに関する広範な実験により、テナライズされたモデルは、有効性を犠牲にすることなく、低メモリ使用量を消費することを示した。
  論文  参考訳（メタデータ） (2024-11-23T03:44:56Z)
• Domain Specific Data Distillation and Multi-modal Embedding Generation [0.0]
  ドメイン中心の埋め込みを作成するという課題は、非構造化データの豊富さとドメイン固有の構造化データの不足から生じる。 本稿では,非構造化データからノイズをフィルタリングするために構造化データを活用する新しいモデリング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-27T03:47:46Z)
• Hierarchical Features Matter: A Deep Exploration of Progressive Parameterization Method for Dataset Distillation [44.03611131165989]
  階層型生成蒸留(H-PD)と呼ばれる新しい生成パラメータ化法を提案する。 提案したH-PDは、等価な時間消費で様々な設定で大幅な性能向上を実現している。 IPC=1, IPC=10の超過圧縮比下での拡散モデルを用いて, 現在の再生蒸留を超越している。
  論文  参考訳（メタデータ） (2024-06-09T09:15:54Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Effective Few-Shot Named Entity Linking by Meta-Learning [34.70028855572534]
  本稿では,非自明な合成エンティティ-メント対を生成するための新しい弱監督戦略を提案する。 また,各合成実体対に異なる重みを割り当てるメタ学習機構を設計する。 実世界のデータセットの実験により、提案手法は最先端の少数ショットエンティティリンクモデルを大幅に改善できることが示された。
  論文  参考訳（メタデータ） (2022-07-12T03:23:02Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。