論文の概要: Beyond Linear LLM Invocation: An Efficient and Effective Semantic Filter Paradigm
- arxiv url: http://arxiv.org/abs/2603.04799v1
- Date: Thu, 05 Mar 2026 04:37:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-06 22:06:11.067997
- Title: Beyond Linear LLM Invocation: An Efficient and Effective Semantic Filter Paradigm
- Title(参考訳): 線形LLM呼び出しを超えて:効率的で効果的なセマンティックフィルタパラダイム
- Authors: Nan Hou, Kangfei Zhao, Jiadong Xie, Jeffrey Xu Yu,
- Abstract要約: Clustering-Sampling-Voting(CSV)は、エラー保証を提供しながら、呼び出しをサブ線形の複雑さに還元するフレームワークである。
CSVはセマンティッククラスタをセマンティッククラスタに組み込み、評価のために小さなサブセットをサンプリングし、2つの投票戦略を通じてクラスタレベルのラベルを推論する。
- 参考スコア(独自算出の注目度): 17.52767415071768
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are increasingly used for semantic query processing over large corpora. A set of semantic operators derived from relational algebra has been proposed to provide a unified interface for expressing such queries, among which the semantic filter operator serves as a cornerstone. Given a table T with a natural language predicate e, for each tuple in the relation, the execution of a semantic filter proceeds by constructing an input prompt that combines the predicate e with its content, querying the LLM, and obtaining the binary decision. However, this tuple-by-tuple evaluation necessitates a complete linear scan of the table, incurring prohibitive latency and token costs. Although recent work has attempted to optimize semantic filtering, it still does not break the linear LLM invocation barriers. To address this, we propose Clustering-Sampling-Voting (CSV), a new framework that reduces LLM invocations to sublinear complexity while providing error guarantees. CSV embeds tuples into semantic clusters, samples a small subset for LLM evaluation, and infers cluster-level labels via two proposed voting strategies: UniVote, which aggregates labels uniformly, and SimVote, which weights votes by semantic similarity. Moreover, CSV triggers re-clustering on ambiguous clusters to ensure robustness across diverse datasets. The results conducted on real-world datasets demonstrate that CSV reduces the number of LLM calls by 1.28-355x compared to the state-of-the-art approaches, while maintaining comparable effectiveness in terms of Accuracy and F1 score.
- Abstract(参考訳): 大規模言語モデル(LLM)は、大規模コーパス上のセマンティッククエリ処理にますます使われている。
リレーショナル代数から派生したセマンティック演算子の集合がそのようなクエリを表現する統一インターフェースを提供するために提案され、セマンティックフィルタ演算子が基礎となる。
関係における各タプルに対して、自然言語述語eのテーブルTが与えられた場合、セマンティックフィルタの実行は、述語eとその内容を組み合わせた入力プロンプトを構築し、LCMをクエリし、バイナリ決定を得る。
しかし、このタプル・バイ・タプル評価は、テーブルの完全な線形スキャンを必要とし、禁忌のレイテンシとトークンコストを発生させる。
最近の研究はセマンティックフィルタリングを最適化しようと試みているが、線形LLM呼び出し障壁を壊すことはない。
そこで本研究では,LCMの呼び出しをサブ線形の複雑性に低減し,エラー保証を提供する新しいフレームワークであるClustering-Sampling-Voting(CSV)を提案する。
CSVは、セマンティッククラスタにタプルを埋め込み、LLM評価のための小さなサブセットをサンプリングし、提案された2つの投票戦略を通じてクラスタレベルのラベルを推論する。
さらに、CSVは、さまざまなデータセット間で堅牢性を確保するために、あいまいなクラスタで再クラスタ化をトリガーする。
実世界のデータセットで行った結果、CSVは最先端のアプローチと比較してLCM呼び出し数を1.28-355倍削減し、精度とF1スコアの点で同等の有効性を維持した。
関連論文リスト
- CGPT: Cluster-Guided Partial Tables with LLM-Generated Supervision for Table Retrieval [1.483000637348699]
本稿では,LCM生成によるテーブル検索を支援するトレーニングフレームワークCGPTを紹介する。
CGPTは、QGpTを含む検索ベースラインを一貫して上回り、平均R@1の改善率は16.54パーセントである。
以上の結果から,LLM生成管理によるコントラストトレーニングと組み合わせた意味的ガイド付き部分テーブル構築が,大規模テーブル検索に有効かつスケーラブルなパラダイムを提供することが示された。
論文 参考訳(メタデータ) (2026-01-22T10:58:56Z) - LLM-MemCluster: Empowering Large Language Models with Dynamic Memory for Text Clustering [52.41664454251679]
大規模言語モデル(LLM)は、テキストクラスタリングを行う前例のない能力を提供することで、教師なしの学習を再構築している。
既存のメソッドは、しばしば外部モジュールを持つ複雑なパイプラインに依存し、真にエンドツーエンドのアプローチを犠牲にする。
LLM-MemClusterは,クラスタリングをLLMネイティブタスクとして再認識する新しいフレームワークである。
論文 参考訳(メタデータ) (2025-11-19T13:22:08Z) - Divide, Cache, Conquer: Dichotomic Prompting for Efficient Multi-Label LLM-Based Classification [0.2799896314754614]
大規模言語モデル(LLM)を用いた効率的な多言語テキスト分類手法を提案する。
単一の構造化された応答で全てのラベルを生成する代わりに、各ターゲット次元は独立してクエリされる。
この結果から,マルチラベル分類をダイコトミッククエリに分解することで,スケーラブルで効率的なフレームワークが提供されることが示唆された。
論文 参考訳(メタデータ) (2025-11-05T19:53:51Z) - LLM-guided Hierarchical Retrieval [54.73080745446999]
LATTICEは階層的な検索フレームワークであり、LLMは対数探索の複雑さで大きなコーパスを推論し、ナビゲートすることができる。
LLM誘導探索における中心的な課題は、モデルの関連性判断がノイズが多く、文脈に依存し、階層性に気付かないことである。
我々のフレームワークは、推論集約型BRIGHTベンチマークで最先端のゼロショット性能を実現する。
論文 参考訳(メタデータ) (2025-10-15T07:05:17Z) - Implementing Semantic Join Operators Efficiently [28.123361615101444]
本稿では,意味結合を評価するための新しいアルゴリズムを提案する。
提案アルゴリズムは,各入力テーブルからの行のバッチを1つのプロンプトに統合する。
提案アルゴリズムの適応的変種は、出力の大きさを推定することが困難である場合を指す。
論文 参考訳(メタデータ) (2025-10-09T17:30:01Z) - Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。
この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。
そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
論文 参考訳(メタデータ) (2024-11-07T10:31:31Z) - Evaluating Consistencies in LLM responses through a Semantic Clustering of Question Answering [1.9214041945441436]
本稿では,Large Language Model (LLM) のセマンティクスを評価するための新しいアプローチを提案する。
本稿では,LLM再応答が意味論的に一致しているかどうかを考察し,構文的に異なる文が同じ意味を持つ可能性があることを認識した。
TruthfulQAデータセットを用いてLLM応答を評価することにより、37のカテゴリにわたる意味的一貫性を測定するために、質問毎にNの応答を誘導し、意味的に等価な文をクラスタ化する。
論文 参考訳(メタデータ) (2024-10-20T16:21:25Z) - Text Clustering as Classification with LLMs [9.128151647718251]
本稿では,大規模言語モデルの文脈内学習機能を活用することで,テキストクラスタリングを分類タスクとして再編成するフレームワークを提案する。
LLMの高度な自然言語理解と一般化機能を活用することで,人間の介入を最小限に抑えた効果的なクラスタリングを実現する。
多様なデータセットに対する実験結果から,我々のフレームワークは,最先端の組込みクラスタリング技術に匹敵する,あるいは優れた性能を達成できることが示された。
論文 参考訳(メタデータ) (2024-09-30T16:57:34Z) - DynamicNER: A Dynamic, Multilingual, and Fine-Grained Dataset for LLM-based Named Entity Recognition [53.019885776033824]
動的分類を伴うLarge Language Models (LLM) ベースの手法のために設計された最初のNERデータセットであるDynamicNERを提案する。
データセットは多言語および多言語で、8言語と155のエンティティタイプをカバーし、コーパスはさまざまなドメインにまたがる。
実験によると、DynamicNERはLLMベースのNERメソッドの堅牢で効果的なベンチマークとして機能している。
論文 参考訳(メタデータ) (2024-09-17T09:32:12Z) - African or European Swallow? Benchmarking Large Vision-Language Models for Fine-Grained Object Classification [53.89380284760555]
textttFOCI (textbfFine-fine textbfObject textbfClasstextbfIfication) は、きめ細かいオブジェクト分類のための難しい多重選択ベンチマークである。
textttFOCIxspaceは、ImageNet-21kから4つのドメイン固有のサブセットで5つの一般的な分類データセットを補完する。
論文 参考訳(メタデータ) (2024-06-20T16:59:39Z) - Optimizing LLM Queries in Relational Data Analytics Workloads [50.95919232839785]
バッチデータ分析は、Large Language Models(LLMs)の急成長するアプリケーションである
LLMは、分類、エンティティ抽出、翻訳などの幅広い自然言語タスクを、大規模なデータセット上で実行可能にする。
本稿では,LLMコールによるリレーショナルデータ解析処理のコストを大幅に削減できる新しい手法を提案する。
論文 参考訳(メタデータ) (2024-03-09T07:01:44Z) - Contextual Biasing of Named-Entities with Large Language Models [12.396054621526643]
本稿では,Large Language Models (LLM) を用いた文脈バイアスについて検討する。
LLMに追加のコンテキスト情報を提供して、自動音声認識(ASR)性能を向上する。
本稿では, バイアスリストと少数ショット例を組み込んだ再描画時に, 微調整を行なわずに, LLMのプロンプトを活用することを提案する。
論文 参考訳(メタデータ) (2023-09-01T20:15:48Z) - Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。
我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
論文 参考訳(メタデータ) (2023-04-27T14:45:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。