論文の概要: SQLite is Enough. Lexical, Semantic, and Hybrid Search with scrydb
- arxiv url: http://arxiv.org/abs/2608.24060v1
- Date: Tue, 25 Aug 2026 04:42:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.812952
- Title: SQLite is Enough. Lexical, Semantic, and Hybrid Search with scrydb
- Title(参考訳): SQLiteは十分です。 scrydbによる語彙、セマンティック、ハイブリッド検索
- Abstract要約: scrydbはPythonライブラリで、語彙、セマンティック、ハイブリッド検索を可能にする。
Scrydbを使うと、ユーザは検索結果をリランクしてヒューズして、語彙と意味の両方のアプローチを組み合わせられる。
我々は、様々なIRベンチマークデータセット上でcrydbを評価し、キーワードマッチング、セマンティック類似性、ランク融合に基づくテキスト検索の有効性を実証した。
- 参考スコア(独自算出の注目度): 3.6936992047339694
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work introduces scrydb, a Python library that enables lexical, semantic, and hybrid search within SQLite. For lexical search, scrydb leverages SQLite's full-text search extension FTS5. Semantic search builds on sqlite-vec, a SQLite extension for vector search. Furthermore, the library allows users to rerank and fuse retrieval results to combine both lexical and semantic approaches, providing a lightweight solution for downstream tasks in information retrieval (IR) or agentic search. We evaluate scrydb on various IR benchmark datasets and demonstrate its effectiveness in text retrieval based on keyword matching, semantic similarity, and rank fusion. In addition, we provide insights into query latency and the trade-off between efficiency and effectiveness. scrydb is available under the MIT license.
- Abstract(参考訳): この作業では、SQLite内の語彙、セマンティック、ハイブリッド検索を可能にするPythonライブラリである scrydbを導入している。
語彙検索には、SQLiteのフルテキスト検索拡張であるFTS5を利用する。
Semantic Searchは、ベクトル検索用のSQLite拡張であるsqlite-vec上に構築されている。
さらに,情報検索(IR)やエージェント検索における下流タスクのための軽量なソリューションとして,語彙的アプローチと意味論的アプローチを組み合わせた検索結果の再帰とヒューズを可能にする。
我々は、様々なIRベンチマークデータセット上でcrydbを評価し、キーワードマッチング、セマンティック類似性、ランク融合に基づくテキスト検索の有効性を実証した。
さらに、クエリ待ち時間と効率性と効率性のトレードオフに関する洞察も提供します。
scrydbはMITライセンスで利用できる。
関連論文リスト
- Search, Inspect, Fetch: Exploiting Structure-Aware Boolean Retrieval for Deep-Research Agents [50.35041517085015]
既存のDeep-ResearchエージェントはSearch-Visitワークフローを使用して、タイトル、見出し、セクション、メタデータを通じて公開する構造を考慮せずに、Webページ全体を検索する。
Boolean Query Language (BQL) によって駆動される検索-インスペクション-フェッチ戦略である textscSieve を導入する。
ウェブページのフィールドを検索して候補をフィルタリングし、インターチェンジ可能なランク付け器を使ってそれらを注文し、構造に富んだ結果カードを検査し、選択したセクションのみを取得する。
論文 参考訳(メタデータ) (2026-08-03T18:01:05Z) - SimpleWikiSearch: A Clean Offline Wikipedia Environment for Agentic Search [2.1542644686007173]
コーパス構築,検索スタック,ツール契約,評価プロトコルが明確で実行可能であるSimpleWikiSearchを提案する。
環境は、完全なウィキペディアダンプから始まり、コーパスを掃除してチャンクし、キーワードと密度の高い検索インデックスを構築し、最小限のツールインターフェースを公開する。
オープンソースLCMを用いた6つのQAデータセットのベースライン結果と、クローズドソース商用モデルとの比較のためのランダム300サブセットについて報告する。
論文 参考訳(メタデータ) (2026-07-10T13:05:10Z) - Towards Retrieving Interaction Spaces for Agentic Search [62.666902610940525]
最近の直接コーパス(DCI)の研究は、エージェントが5.4のインタラクションやファイル読み取りといったシェルツールを通じて生コーパスと対話できることを示している。
エージェント検索における検索の役割は, LLMコンテキストウィンドウに適合する文書を選択することだけではなく, インタラクション空間を構築することにある。
論文 参考訳(メタデータ) (2026-06-05T03:47:40Z) - SAGE: Benchmarking and Improving Retrieval for Deep Research Agents [60.53966065867568]
SAGEは4つの科学領域にわたる1200のクエリからなる科学文献検索のためのベンチマークであり、20万の論文検索コーパスを備える。
6つのディープ・リサーチ・エージェントを評価し,全てのシステムが推論集約的な検索に苦しむことを発見した。
BM25は、既存のエージェントがキーワード指向のサブクエリを生成するため、LLMベースのレトリバーを約30%上回っている。
論文 参考訳(メタデータ) (2026-02-05T18:25:24Z) - PARROT: A Benchmark for Evaluating LLMs in Cross-System SQL Translation [21.0303026118673]
本稿では CrOss-System SQL Translation のための実践的で現実的なベンチマック PARROT を紹介する。
PARROTは38のオープンソースベンチマークと実世界のビジネスサービスから598の翻訳ペアで構成されている。
28,003 の PARROT-Diverse や 5,306 のサンプルを持つ PARROT-Simple など,複数のベンチマーク版も提供しています。
論文 参考訳(メタデータ) (2025-09-27T14:41:13Z) - Semantic Captioning: Benchmark Dataset and Graph-Aware Few-Shot In-Context Learning for SQL2Text [3.4688186440441893]
大規模言語モデル (LLM) は様々なNLPタスクにおいて顕著な性能を示した。
逆のプロセスは、コードを自然言語に翻訳し、セマンティックキャプションと呼ばれるが、あまり注目されていない。
本稿では,クエリの理解と説明に関する重要なニーズに対処するため,2Textのキャプションに着目した。
論文 参考訳(メタデータ) (2025-01-06T17:36:09Z) - RoundTable: Leveraging Dynamic Schema and Contextual Autocomplete for Enhanced Query Precision in Tabular Question Answering [11.214912072391108]
現実世界のデータセットは、大きな属性と複雑な値の配列を特徴とすることが多い。
従来の手法ではデータセットのサイズと複雑さをLarge Language Modelsに完全にリレーすることはできません。
入力テーブル上でFTS(Full-Text Search)を利用する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-08-22T13:13:06Z) - MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL [47.120862170230566]
最近のText-to-Yourselfメソッドは通常、"巨大な"データベース上での大幅なパフォーマンス劣化に悩まされる。
我々は,新しいテキスト・ツー・ユー・セルフ LLM ベースのマルチエージェント協調フレームワーク MAC を紹介する。
我々のフレームワークでは、GPT-4を全てのエージェントタスクの強力なバックボーンとして利用し、フレームワークの上限を決定する。
次に、Code 7Bを活用することで、オープンソースの命令フォローモデルであるsql-Llamaを微調整し、GPT-4のように全てのタスクを達成します。
論文 参考訳(メタデータ) (2023-12-18T14:40:20Z) - Benchmarking and Improving Text-to-SQL Generation under Ambiguity [25.283118418288293]
我々はAmbiQTと呼ばれる新しいベンチマークを開発し、各テキストは語彙的および/または構造的あいまいさのために2つのもっともらしいSQLとして解釈できる。
提案するLogicalBeamは,計画ベースのテンプレート生成と制約付きインフィルを併用して,sql論理空間をナビゲートする新しい復号アルゴリズムである。
論文 参考訳(メタデータ) (2023-10-20T17:00:53Z) - Search-Adaptor: Embedding Customization for Information Retrieval [32.778142226471516]
事前学習されたLarge Language Models (LLM) によって抽出された埋め込みは、情報検索と検索を改善する重要な可能性を持っている。
本稿では,情報検索のためのLLMを効率的かつロバストな方法でカスタマイズする新しい手法であるSearch-Adaptorを提案する。
論文 参考訳(メタデータ) (2023-10-12T22:30:15Z) - Description-Based Text Similarity [59.552704474862004]
我々は、その内容の抽象的な記述に基づいて、テキストを検索する必要性を特定する。
そこで本研究では,近隣の標準探索で使用する場合の精度を大幅に向上する代替モデルを提案する。
論文 参考訳(メタデータ) (2023-05-21T17:14:31Z) - Bridging Textual and Tabular Data for Cross-Domain Text-to-SQL Semantic
Parsing [110.97778888305506]
BRIDGEは、フィールドのサブセットが質問に言及されたセル値で拡張されるタグ付きシーケンスの質問とDBスキーマを表します。
BRIDGEは、人気のクロスDBテキスト-リレーショナルベンチマークで最先端のパフォーマンスを達成しました。
本分析は,BRIDGEが望まれる相互依存を効果的に捕捉し,さらにテキストDB関連タスクに一般化する可能性を示唆している。
論文 参考訳(メタデータ) (2020-12-23T12:33:52Z) - Structure-Grounded Pretraining for Text-to-SQL [75.19554243393814]
本稿では,テキストからLARGEへの構造化事前学習フレームワーク(G)について述べる。
カラムグラウンド、バリューグラウンド、カラム値マッピングといった新しい予測タスクのセットを特定し、それらをテキストテーブルエンコーダの事前訓練に活用する。
論文 参考訳(メタデータ) (2020-10-24T04:35:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。