Fugu-MT 論文翻訳(概要): LLMs for Test Input Generation for Semantic Caches

論文の概要: LLMs for Test Input Generation for Semantic Caches

arxiv url: http://arxiv.org/abs/2401.08138v1
Date: Tue, 16 Jan 2024 06:16:33 GMT
ステータス: 処理完了
システム内更新日: 2024-01-17 15:03:57.532132
Title: LLMs for Test Input Generation for Semantic Caches
Title（参考訳）: セマンティックキャッシュのためのテスト入力生成用LCM
Authors: Zafaryab Rasool, Scott Barnett, David Willie, Stefanus Kurniawan, Sherwin Balugo, Srikanth Thudumu, Mohamed Abdelrazek
Abstract要約: 大規模言語モデル(LLM)は、最先端のセマンティック機能をソフトウェアシステムに追加することを可能にする。規模によっては、何千ものユーザーへのサービス提供コストは、ユーザーエクスペリエンスにも大きく影響します。本稿では、構造化されていない文書から類似した質問を生成するテスト入力生成にLLMを使用するアプローチであるVaryGenを提案する。
参考スコア（独自算出の注目度）: 1.8628177380024746
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models (LLMs) enable state-of-the-art semantic capabilities to be added to software systems such as semantic search of unstructured documents and text generation. However, these models are computationally expensive. At scale, the cost of serving thousands of users increases massively affecting also user experience. To address this problem, semantic caches are used to check for answers to similar queries (that may have been phrased differently) without hitting the LLM service. Due to the nature of these semantic cache techniques that rely on query embeddings, there is a high chance of errors impacting user confidence in the system. Adopting semantic cache techniques usually requires testing the effectiveness of a semantic cache (accurate cache hits and misses) which requires a labelled test set of similar queries and responses which is often unavailable. In this paper, we present VaryGen, an approach for using LLMs for test input generation that produces similar questions from unstructured text documents. Our novel approach uses the reasoning capabilities of LLMs to 1) adapt queries to the domain, 2) synthesise subtle variations to queries, and 3) evaluate the synthesised test dataset. We evaluated our approach in the domain of a student question and answer system by qualitatively analysing 100 generated queries and result pairs, and conducting an empirical case study with an open source semantic cache. Our results show that query pairs satisfy human expectations of similarity and our generated data demonstrates failure cases of a semantic cache. Additionally, we also evaluate our approach on Qasper dataset. This work is an important first step into test input generation for semantic applications and presents considerations for practitioners when calibrating a semantic cache.
Abstract（参考訳）: 大規模言語モデル(LLM)は、構造化されていない文書のセマンティック検索やテキスト生成など、最先端のセマンティック機能をソフトウェアシステムに追加することを可能にする。しかし、これらのモデルは計算コストが高い。大規模な場合、何千ものユーザをサービスするコストは、ユーザエクスペリエンスにも大きな影響を与えます。この問題に対処するために、セマンティックキャッシュを使用して、LLMサービスにぶつかることなく、類似したクエリ(異なるフレーズで呼ばれた可能性がある)の回答をチェックする。クエリ埋め込みに依存するこれらのセマンティックキャッシュ技術の性質から、システムに対するユーザの信頼度に影響を与えるエラーの確率が高い。セマンティックキャッシュ技術を採用する場合、通常、セマンティックキャッシュ(正確なキャッシュヒットとミス)の有効性をテストする必要がある。本稿では、構造化されていない文書から類似した質問を生成するテスト入力生成にLLMを使用する方法であるVaryGenを提案する。我々の新しいアプローチは llmsの推論能力を使って 1)クエリをドメインに適応させる。 2)クエリの微妙なバリエーションを合成し、 3) 合成テストデータセットを評価する。我々は,100のクエリと結果ペアを定性的に分析し,オープンソースセマンティックキャッシュを用いた経験的ケーススタディを行うことにより,学生問合せシステムの領域における我々のアプローチを評価した。結果から,クエリペアは類似性に対する人間の期待を満足し,生成したデータはセマンティックキャッシュの障害ケースを示す。さらに、Qasperデータセットに対する我々のアプローチを評価します。この作業はセマンティクスアプリケーションのテスト入力生成への重要な第一歩であり、セマンティクスキャッシュのキャリブレーションにおいて実践者のために考慮すべき事項である。

関連論文リスト

Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
言語モデルの性能の効果的な指標としての可能性を示す。提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
論文参考訳（メタデータ） (2024-11-12T13:14:09Z)
GPT Semantic Cache: Reducing LLM Costs and Latency via Semantic Embedding Caching [0.0]
GPT Semantic Cacheは、インメモリストレージ(Redis)におけるクエリ埋め込みのセマンティックキャッシュを利用する方法である。提案手法は意味論的に類似した質問を効果的に識別し,大規模言語モデルに対する冗長なAPI呼び出しを伴わずに,事前生成応答の検索を可能にする。この技術は運用コストを削減し、応答時間を短縮し、LCMを利用したアプリケーションの効率を向上させる。
論文参考訳（メタデータ） (2024-11-08T02:21:19Z)
Effective Instruction Parsing Plugin for Complex Logical Query Answering on Knowledge Graphs [51.33342412699939]
知識グラフクエリ埋め込み(KGQE)は、不完全なKGに対する複雑な推論のために、低次元KG空間に一階論理(FOL)クエリを埋め込むことを目的としている。近年の研究では、FOLクエリの論理的セマンティクスをよりよく捉えるために、さまざまな外部情報(エンティティタイプや関係コンテキストなど)を統合している。コードのようなクエリ命令から遅延クエリパターンをキャプチャする効果的なクエリ命令解析(QIPP)を提案する。
論文参考訳（メタデータ） (2024-10-27T03:18:52Z)
Synthetic Query Generation using Large Language Models for Virtual Assistants [7.446599238906526]
本稿では,テンプレートベースの手法を補完する合成クエリを生成するために,LLM(Large Language Models)の利用について検討する。 LLMはテンプレートベースのメソッドやエンティティ固有の参照アスペクトよりも冗長なクエリを生成する。
論文参考訳（メタデータ） (2024-06-10T18:50:57Z)
User Intent Recognition and Semantic Cache Optimization-Based Query Processing Framework using CFLIS and MGR-LAU [0.0]
この研究は、拡張QPのためのクエリにおける情報、ナビゲーション、およびトランザクションベースのインテントを分析した。効率的なQPのために、データはEpanechnikov Kernel-Ordering Pointsを用いて構造化され、クラスタリング構造(EK-OPTICS)を同定する。抽出された特徴、検出された意図、構造化データは、MGR-LAU(Multi-head Gated Recurrent Learnable Attention Unit)に入力される。
論文参考訳（メタデータ） (2024-06-06T20:28:05Z)
QLSC: A Query Latent Semantic Calibrator for Robust Extractive Question Answering [32.436530949623155]
クエリの潜在セマンティックセンターの特徴を捉えるために,ユニークなスケーリング戦略を提案する。これらの機能は、従来のクエリとパスの埋め込みにシームレスに統合されます。提案手法は,テキスト形式の変化に対する感度を低下させ,正確な回答をピンポイントするモデルの能力を高める。
論文参考訳（メタデータ） (2024-04-30T07:34:42Z)
LIST: Learning to Index Spatio-Textual Data for Embedding based Spatial Keyword Queries [53.843367588870585]
リスト K-kNN 空間キーワードクエリ (TkQ) は、空間的およびテキスト的関連性の両方を考慮したランキング関数に基づくオブジェクトのリストを返す。効率的かつ効率的な指標、すなわち高品質なラベルの欠如とバランスの取れない結果を構築する上で、大きな課題が2つある。この2つの課題に対処する新しい擬似ラベル生成手法を開発した。
論文参考訳（メタデータ） (2024-03-12T05:32:33Z)
MeanCache: User-Centric Semantic Cache for Large Language Model Based Web Services [8.350378532274405]
キャッシングは、繰り返しクエリの推論コストを削減するための自然なソリューションである。本稿では,LLMベースのサービスのためのユーザ中心セマンティックキャッシュであるMeanCacheを紹介する。 MeanCacheは、セマンティックに類似したクエリを特定して、キャッシュヒットやミスを判定する。
論文参考訳（メタデータ） (2024-03-05T06:23:50Z)
Temporal-aware Hierarchical Mask Classification for Video Semantic Segmentation [62.275143240798236]
ビデオセマンティックセグメンテーションデータセットは、ビデオ毎のカテゴリが限られている。 VSSトレーニング中に意味のある勾配更新を受けるために、クエリの10%未満がマッチする可能性がある。提案手法は,最新のVSSベンチマークVSPWにおいてベルやホイッスルを使わずに,最先端の性能を実現する。
論文参考訳（メタデータ） (2023-09-14T20:31:06Z)
CAPSTONE: Curriculum Sampling for Dense Retrieval with Document Expansion [68.19934563919192]
本稿では,学習中に擬似クエリを利用して,生成したクエリと実際のクエリとの関係を徐々に向上させるカリキュラムサンプリング戦略を提案する。ドメイン内およびドメイン外両方のデータセットに対する実験結果から,本手法が従来の高密度検索モデルより優れていることが示された。
論文参考訳（メタデータ） (2022-12-18T15:57:46Z)
UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文参考訳（メタデータ） (2022-05-23T11:01:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。