論文の概要: ListK: Semantic ORDER BY and LIMIT K with Listwise Prompting
- arxiv url: http://arxiv.org/abs/2603.17223v1
- Date: Wed, 18 Mar 2026 00:08:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-19 18:32:57.450721
- Title: ListK: Semantic ORDER BY and LIMIT K with Listwise Prompting
- Title(参考訳): ListK: Semantic ORDER BY と LIMIT K with Listwise Prompting
- Authors: Jason Shin, Jiwon Chang, Fatemeh Nargesian,
- Abstract要約: ListKフレームワークは、セマンティックORDER BYの遅延を改善する。
部分的なリストのランク付けを最もよく組み合わせたソートアルゴリズムについて検討する。
- 参考スコア(独自算出の注目度): 4.112657653702231
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Semantic operators abstract large language model (LLM) calls in SQL clauses. It is gaining traction as an easy method to analyze semi-structured, unstructured, and multimodal datasets. While a plethora of recent works optimize various semantic operators, existing methods for semantic ORDER BY (full sort) and LIMIT K (top-K) remain lackluster. Our ListK framework improves the latency of semantic ORDER BY ... LIMIT K at no cost to accuracy. Motivated by the recent advance in fine-tuned listwise rankers, we study several sorting algorithms that best combine partial listwise rankings. These include: 1) deterministic listwise tournament (LTTopK), 2) Las Vegas and embarrassingly parallel listwise multi-pivot quickselect/sort (LMPQSelect, LMPQSort), and 3) a basic Monte Carlo listwise tournament filter (LTFilter). Of these, listwise multi-pivot quickselect/sort are studied here for the first time. The full framework provides a query optimizer for combining the above physical operators based on the target recall to minimize latency. We provide theoretical analysis to easily tune parameters and provide cost estimates for query optimizers. ListK empirically dominates the Pareto frontier, halving latency at virtually no cost to recall and NDCG compared to prior art.
- Abstract(参考訳): セマンティック演算子はSQL節でLLM(Big Language Model)を抽象化する。
半構造化、非構造化、マルチモーダルなデータセットを解析する簡単な方法として、注目を集めている。
最近の多くの研究が様々な意味演算を最適化しているが、ORDER BY (full sort) と LIMIT K (top-K) の既存のメソッドはいまだに欠落している。
ListKフレームワークは、セマンティックORDER BYのレイテンシを改善する。
LIMIT K の精度は高くない。
近年の微調整リストワイドランキングの進歩により、リストワイドランキングを最もよく組み合わせたソートアルゴリズムがいくつか研究されている。
以下を含む。
1)決定論的リストワイドトーナメント(LTTopK)
2)ラスベガスと、驚くほど並列なマルチピボットクイックセレクト/ソート(LMPQSelect,LMPQSort)と
3)基本的なモンテカルロリストワイドトーナメントフィルター(LTFilter)。
これらのうち、リストワイズ方式のクイックセレクト/ソートが初めてここで研究される。
完全なフレームワークは、上記の物理演算子を組み合わせるためのクエリオプティマイザを提供する。
パラメータの調整を容易にする理論解析と,クエリオプティマイザのコスト推定を行う。
ListKはParetoフロンティアを実証的に支配し、リコールのコストを実質的にゼロにし、従来の技術と比べてNDCGを半減させる。
関連論文リスト
- Filtered Approximate Nearest Neighbor Search in Vector Databases: System Design and Performance Analysis [0.5249805590164902]
Filtered Approximate Nearest Neighbor Search (FANNS) は、セマンティック検索とメタデータの制約を組み合わせるために用いられる。
本研究では,フィルタリング戦略の分類を体系化し,それらのベクトルへの統合性を評価する。
実験の結果,エンジン内のアルゴリズム適応がしばしば生のインデックス性能を上回ることがわかった。
論文 参考訳(メタデータ) (2026-02-11T23:40:26Z) - RLPO: Residual Listwise Preference Optimization for Long-Context Review Ranking [50.709454968853954]
ポイントワイドスコアは効率的だが、しばしばリストレベルの相互作用を考慮に入れない。
リストワイズアプローチはグローバルなコンテキストを活用することができるが、計算コストが高く、候補リストが大きくなるにつれて不安定になる。
本稿では,リストワイズ表現レベルの残差補正としてランク付けするResidual Listwise Preference Optimization (RLPO)を提案する。
論文 参考訳(メタデータ) (2026-01-12T11:45:19Z) - Exploring Multi-Table Retrieval Through Iterative Search [0.32665457005470494]
データレイクに対するオープンドメインの質問応答には、複数のテーブルから情報を検索して構成する必要がある。
MIP(Mixed-Integer Programming)のような厳密な最適化手法はコヒーレンスを保証する。
本稿では,マルチテーブル検索を反復探索プロセスとして捉え,拡張性,解釈可能性,柔軟性の面での利点を論じる。
論文 参考訳(メタデータ) (2025-11-17T14:31:33Z) - Route Experts by Sequence, not by Token [58.92918003265283]
Mixture-of-Experts (MoE)アーキテクチャは、トークンごとに専門家のサブセットだけを活性化することによって、大きな言語モデル(LLM)をスケールする。
標準的なTopKルーティングは、すべてのトークンに同じ固定数の専門家を割り当てる。
トークンレベルからシークエンスレベルにシフトする最小限の修正であるシークエンスレベルTopK(SeqTopK)を提案する。
論文 参考訳(メタデータ) (2025-11-09T18:36:07Z) - Implementing Semantic Join Operators Efficiently [28.123361615101444]
本稿では,意味結合を評価するための新しいアルゴリズムを提案する。
提案アルゴリズムは,各入力テーブルからの行のバッチを1つのプロンプトに統合する。
提案アルゴリズムの適応的変種は、出力の大きさを推定することが困難である場合を指す。
論文 参考訳(メタデータ) (2025-10-09T17:30:01Z) - Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。
この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。
そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
論文 参考訳(メタデータ) (2024-11-07T10:31:31Z) - The Unreasonable Effectiveness of LLMs for Query Optimization [4.50924404547119]
クエリテキストの埋め込みには,クエリ最適化に有用な意味情報が含まれていることを示す。
少数の組込みクエリベクタで訓練された代替クエリプラン間の単純なバイナリが既存のシステムより優れていることを示す。
論文 参考訳(メタデータ) (2024-11-05T07:10:00Z) - JoinGym: An Efficient Query Optimization Environment for Reinforcement
Learning [58.71541261221863]
結合順序選択(JOS)は、クエリの実行コストを最小化するために結合操作を順序付けする問題である。
木質強化学習(RL)のためのクエリ最適化環境JoinGymを提案する。
JoinGymは内部で、事前計算されたデータセットから中間結果の濃度を調べることで、クエリプランのコストをシミュレートする。
論文 参考訳(メタデータ) (2023-07-21T17:00:06Z) - Towards Practical Few-Shot Query Sets: Transductive Minimum Description
Length Inference [0.0]
そこで本研究では,PrimAl Dual Minimum Description LEngth (PADDLE) の定式化について述べる。
制約のあるMDLライクな目的は、いくつかのタスクのデータに適合する有効なクラスのみを保ちながら、起こりうる多数のクラス間の競争を促進する。
論文 参考訳(メタデータ) (2022-10-26T08:06:57Z) - Online Learning of Optimally Diverse Rankings [63.62764375279861]
ユーザのフィードバックのみに基づいて最適なリストを効率よく学習するアルゴリズムを提案する。
我々は、$T$クエリの後に、LDRの後悔は$O((N-L)log(T))$としてスケールする。
論文 参考訳(メタデータ) (2021-09-13T12:13:20Z) - IRLI: Iterative Re-partitioning for Learning to Index [104.72641345738425]
分散環境でのロードバランスとスケーラビリティを維持しながら、高い精度を得る方法とのトレードオフが必要だ。
クエリ項目関連データから直接バケットを学習することで、アイテムを反復的に分割するIRLIと呼ばれる新しいアプローチを提案する。
我々は,irliが極めて自然な仮定の下で高い確率で正しい項目を検索し,優れた負荷分散を実現することを数学的に示す。
論文 参考訳(メタデータ) (2021-03-17T23:13:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。