Fugu-MT 論文翻訳(概要): SoftQE: Learned Representations of Queries Expanded by LLMs

論文の概要: SoftQE: Learned Representations of Queries Expanded by LLMs

arxiv url: http://arxiv.org/abs/2402.12663v1
Date: Tue, 20 Feb 2024 02:23:15 GMT
ステータス: 処理完了
システム内更新日: 2024-02-21 17:20:38.964827
Title: SoftQE: Learned Representations of Queries Expanded by LLMs
Title（参考訳）: SoftQE: LLMで拡張されたクエリの学習表現
Authors: Varad Pimpalkhute, John Heyer, Xusen Yin, Sameer Gupta
Abstract要約: 本稿では,Large Language Models (LLM) のクエリエンコーダへの統合について検討し,遅延やコストを増大させることなく高密度検索を改善する。 SoftQEは、入力クエリの埋め込みをLLM拡張クエリにマッピングすることで、LLMからの知識を取り入れている。
参考スコア（独自算出の注目度）: 1.2180122937388962
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We investigate the integration of Large Language Models (LLMs) into query encoders to improve dense retrieval without increasing latency and cost, by circumventing the dependency on LLMs at inference time. SoftQE incorporates knowledge from LLMs by mapping embeddings of input queries to those of the LLM-expanded queries. While improvements over various strong baselines on in-domain MS-MARCO metrics are marginal, SoftQE improves performance by 2.83 absolute percentage points on average on five out-of-domain BEIR tasks.
Abstract（参考訳）: 大規模言語モデル(llms)をクエリエンコーダに統合し,遅延やコストを増加させることなく,推論時のllmsへの依存を回避し,密検索を改善する。 SoftQEは、入力クエリの埋め込みをLLM拡張クエリにマッピングすることで、LLMからの知識を取り入れている。ドメイン内MS-MARCO測定値に対する様々な強いベースラインの改善は限界であるが、SoftQEは5つの領域外BEIRタスクで平均2.83の絶対的なパーセンテージでパフォーマンスを改善する。

関連論文リスト

Confident or Seek Stronger: Exploring Uncertainty-Based On-device LLM Routing From Benchmarking to Generalization [61.02719787737867]
大規模言語モデル(LLM)はますますエッジデバイスにデプロイされ、民主化されている。 1つの有望な解決策は不確実性に基づくSLMルーティングであり、SLM上での低信頼応答が発生すると、高い要求を強いLCMにオフロードする。我々は1500以上の設定でSLMからLLMへの不確実性駆動型ルーティング戦略のベンチマークと一般化を包括的に調査する。
論文参考訳（メタデータ） (2025-02-06T18:59:11Z)
OptiSeq: Ordering Examples On-The-Fly for In-Context Learning [8.603219414567084]
OptiSeqは、最適なサンプル順序を効率的に決定する、純粋に推論時間、データセットなしの最適化手法である。 OptiSeqは複数のタスクで5.5～10.5ポイントの精度向上を実現している。
論文参考訳（メタデータ） (2025-01-25T02:24:00Z)
Rank It, Then Ask It: Input Reranking for Maximizing the Performance of LLMs on Symmetric Tasks [9.867695275243879]
大規模言語モデル(LLM)は、実用的で汎用的なツールとして急速に登場した。クエリが(順序のない)要素のバッグ上で要求される対称なタスクに対する LLM の適用について検討する。
論文参考訳（メタデータ） (2024-11-30T17:39:59Z)
AXCEL: Automated eXplainable Consistency Evaluation using LLMs [6.382787013075262]
大規模言語モデル(LLM)は、産業と学術の両方で様々なタスクに広く使われている。本研究は,LLM(AXCEL)を用いた自動eXplainable Consistency評価を導入する。 AXCELは、詳細な推論を提供することで、一貫性スコアの説明を提供するプロンプトベースの一貫性メトリクスである。
論文参考訳（メタデータ） (2024-09-25T14:45:52Z)
A Decoding Acceleration Framework for Industrial Deployable LLM-based Recommender Systems [49.588316022381385]
本稿では,LLMベースのレコメンデーション(DARE)のためのデコード高速化フレームワークを提案し,検索効率を向上させるためのカスタマイズされた検索プールと,ドラフトトークンの受け入れ率を高めるための緩和検証を提案する。 DAREは大規模な商用環境でのオンライン広告シナリオにデプロイされ、ダウンストリームのパフォーマンスを維持しながら3.45倍のスピードアップを実現している。
論文参考訳（メタデータ） (2024-08-11T02:31:13Z)
Automated Commit Message Generation with Large Language Models: An Empirical Study and Beyond [24.151927600694066]
コミットメッセージ生成(CMG)アプローチは、与えられたコード差分に基づいてコミットメッセージを自動的に生成することを目的としている。本稿では,Large Language Models (LLMs) を用いて高品質なコミットメッセージの生成にどの程度の期間を費やしてきたかを調べるための,最初の包括的な実験を行う。
論文参考訳（メタデータ） (2024-04-23T08:24:43Z)
SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。 SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
論文参考訳（メタデータ） (2024-04-17T01:15:54Z)
Optimizing LLM Queries in Relational Workloads [58.254894049950366]
本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
論文参考訳（メタデータ） (2024-03-09T07:01:44Z)
LLMs May Perform MCQA by Selecting the Least Incorrect Option [29.202758753639078]
大規模言語モデル(LLM)は、様々なタスクにわたるパフォーマンスを著しく向上させた。 LLMを評価するためのベンチマークとして、MCQA(Multiple Choice Question Answering)が採用され、大きな注目を集めている。しかし、この評価手法の堅牢性に関する懸念は続いている。
論文参考訳（メタデータ） (2024-02-02T12:07:00Z)
Hint-enhanced In-Context Learning wakes Large Language Models up for knowledge-intensive tasks [54.153914606302486]
大規模言語モデル(LLM)の規模拡大に伴い、インコンテキスト学習(ICL)能力が出現した。我々は、オープンドメイン質問応答におけるICLのパワーを探るため、Hint-enhanced In-Context Learning(HICL)と呼ばれる新しいパラダイムを提案する。
論文参考訳（メタデータ） (2023-11-03T14:39:20Z)
Self-prompted Chain-of-Thought on Large Language Models for Open-domain Multi-hop Reasoning [70.74928578278957]
オープンドメイン質問回答(ODQA)では、ほとんどの既存の質問はコモンセンスのシングルホップ推論を必要とする。大規模言語モデル(LLM)は、外部コーパスなしでODQAを促進するために重要な有用性を見出した。高品質なCoTを大量生産する自動化フレームワークSP-CoTを提案する。
論文参考訳（メタデータ） (2023-10-20T14:51:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。