論文の概要: Structure then Query: Enabling Precise Analytical Queries over Unstructured Documents
- arxiv url: http://arxiv.org/abs/2608.13384v1
- Date: Thu, 13 Aug 2026 15:46:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.580868
- Title: Structure then Query: Enabling Precise Analytical Queries over Unstructured Documents
- Title（参考訳）: Structure then Query: 構造化されていないドキュメントに正確な分析クエリを実装する
- Abstract要約: 構造化されていないドキュメントは、エンタープライズおよびWebデータの大部分を構成する。
主流検索法はベクトル類似性に基づくファジィマッチングに依存している。
AnnoIndexは、散在した構造化されていないテキストを、低コストなフィルタリングとクエリを可能にする、実体化された構造化されたインデックスに変換する。
- 参考スコア（独自算出の注目度）: 11.689256498133446
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unstructured documents constitute the majority of enterprise and web data. With the rapid development of large language models(LLMs), researchers have started to build data systems that analyze unstructured textual documents like operating on databases. However, because mainstream retrieval methods still relies on fuzzy matching based on vector similarity, accurately obtaining information and performing structured analysis and reasoning remains a major challenge. To address these limitations, AnnoIndex introduces two core fundamental components. The first is Annotation Index. The system uses a module called SchemaLoop to automatically create hierarchical annotation schemas from the raw corpus, and then uses lightweight language model to extract specific values. It turns scattered unstructured text into a materialized, structured index that enables low-cost filtering and querying. The annotation index avoids the black-box matching of vector similarity and amortizes attribute extraction costs from online queries to a one-time build. The second innovation is a Structured Query Engine. It compiles user questions into execution plans based on SQL extension. It first uses the Annotation Index for precise documents filtering, then gradually applies extraction operations in ascending order of cost, resorting to LLMs only for the remaining minimal fraction of the corpus that require deep semantic understanding. The extracted attributions are merged into the annotation index, reducing the cost of future queries. Experiments on three real-world datasets demonstrate that AnnoIndex consistently outperforms state-of-the-art baselines, achieving the highest average F1 score (0.87) while maintaining robust performance on complex multi-hop join and progressive reasoning queries.
- Abstract（参考訳）: 構造化されていないドキュメントは、エンタープライズおよびWebデータの大部分を構成する。
大規模言語モデル(LLM)の急速な開発により、研究者はデータベース操作のような構造化されていないテキスト文書を分析するデータシステムを構築し始めた。
しかし, ベクトル類似性に基づくファジィマッチングが主流であり, 正確な情報取得と構造化解析, 推論は依然として大きな課題である。
これらの制限に対処するため、AnnoIndexは2つの基本コンポーネントを導入した。
1つ目はアノテーションインデックスです。
システムはSchemaLoopと呼ばれるモジュールを使用して、生のコーパスから階層的なアノテーションスキーマを自動的に生成し、軽量な言語モデルを使用して特定の値を抽出する。
散在した非構造化テキストを、低コストなフィルタリングとクエリを可能にする、実体化された構造化されたインデックスに変換する。
アノテーションインデックスは、ベクトル類似性のブラックボックスマッチングを回避し、オンラインクエリから1回ビルドまでの属性抽出コストを償却する。
2つ目のイノベーションは構造化クエリエンジンです。
SQL拡張に基づいてユーザ質問を実行計画にコンパイルする。
まず、正確な文書フィルタリングにアノテーションインデックスを使用し、それから徐々にコストの上昇順に抽出操作を適用し、深いセマンティック理解を必要とするコーパスの残り最小限の部分にのみ LLM を利用する。
抽出された属性はアノテーションインデックスにマージされ、将来のクエリのコストが削減される。
3つの実世界のデータセットの実験により、AnnoIndexは最先端のベースラインを一貫して上回り、複雑なマルチホップ結合とプログレッシブ推論クエリの堅牢なパフォーマンスを維持しながら、F1スコア(0.87)を達成している。
関連論文リスト
- Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction [127.64173950476702]
エージェントが直接、汎用端末ツールを用いて、生コーパスを直接検索する直接コーパス間相互作用(DCI)について検討する。
このアプローチではオフラインインデックスを必要とせず、ローカルコーパスの進化に自然に適応する。
IRベンチマークとエンドツーエンドのエージェント検索タスク全体にわたって、この単純なセットアップは、強いスパース、密度、リランクベースラインよりも大幅に優れています。
論文 参考訳（メタデータ） (2026-05-03T19:13:11Z) - AnnoRetrieve: Efficient Structured Retrieval for Unstructured Document Analysis [11.689256498133446]
埋め込みから構造化アノテーションへ移行する新しい検索パラダイムであるAnnoRetrieveを提案する。
提案システムは,高コストなベクトル比較を,自動生成スキーマよりも軽量な構造化クエリに置き換える。
AnoRetrieveは、インテリジェントな構造化を通じて、コスト効率、正確、スケーラブルなドキュメント分析のための新しいパラダイムを確立している。
論文 参考訳（メタデータ） (2026-04-03T03:34:19Z) - MoDora: Tree-Based Semi-Structured Document Analysis System [62.01015188258797]
半構造化文書は、様々な不規則なレイアウトで配置された様々なインターリーブされたデータ要素を統合する。
MoDora は半構造化文書解析のための LLM を利用したシステムである。
実験では、MoDoraは5.97%-61.07%の精度でベースラインを上回っている。
論文 参考訳（メタデータ） (2026-02-26T14:48:49Z) - SPIRE: Structure-Preserving Interpretable Retrieval of Evidence [0.09558392439655013]
木構造ドキュメント上で動作する構造対応検索パイプラインを提案する。
私たちは、ドキュメントプリミティブの小さなセット、パスとパスセットを定義します。
グローバルな文脈化は、選択を理解不能にするために必要な非局所的な足場を追加する。
局所的な文脈化は、その構造領域内での種選択を拡張して、コンパクトで文脈に富んだビューを得る。
論文 参考訳（メタデータ） (2026-02-12T03:46:10Z) - BookRAG: A Hierarchical Structure-aware Index-based Approach for Retrieval-Augmented Generation on Complex Documents [11.158307125677375]
Retrieval-Augmented Generation (RAG)は、外部の複雑なドキュメントから非常に関連性の高い情報をクエリする。
本稿では,階層構造を持つ文書を対象とした新しいRAG手法であるBookRAGを紹介する。
BookRAGは最先端のパフォーマンスを実現し、検索リコールとQA精度の両方において、ベースラインを著しく上回っている。
論文 参考訳（メタデータ） (2025-12-03T03:40:49Z) - Reasoning-enhanced Query Understanding through Decomposition and Interpretation [87.56450566014625]
ReDIは、分解と解釈によるクエリ理解のための推論強化アプローチである。
我々は,大規模検索エンジンから実世界の複雑なクエリの大規模データセットをコンパイルした。
BRIGHT と BEIR の実験により、ReDI はスパースと密度の高い検索パラダイムの両方において、強いベースラインを一貫して超えることを示した。
論文 参考訳（メタデータ） (2025-09-08T10:58:42Z) - Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction [80.88654868264645]
Arranged and Organized extract Benchmarkは、断片化された文書を理解するための大規模言語モデルの能力を評価するために設計された。
AOEには3つの異なるドメインにまたがる11のタスクが含まれており、さまざまな入力クエリに適したコンテキスト固有のスキーマを生成するモデルが必要である。
結果は、最も先進的なモデルでさえ、かなり苦労したことを示している。
論文 参考訳（メタデータ） (2025-07-22T06:37:51Z) - Chain of Retrieval: Multi-Aspect Iterative Search Expansion and Post-Order Search Aggregation for Full Paper Retrieval [68.71038700559195]
The Chain of Retrieval (COR) is a novel repeaterative framework for full-paper search。
SCIBENCH(SCIBENCH)は、クエリと候補のための全論文の完全なコンテキストとセグメント化されたコンテキストを提供するベンチマークである。
論文 参考訳（メタデータ） (2025-07-14T08:41:53Z) - SlimRAG: Retrieval without Graphs via Entity-Aware Context Selection [38.200971604630524]
SlimRAGはグラフのない検索のための軽量フレームワークである。
構造が重いコンポーネントを、シンプルで効果的なエンティティ認識メカニズムで置き換える。
実験により、SlimRAGは強い平坦線とグラフベースのベースラインよりも精度が高いことが示された。
論文 参考訳（メタデータ） (2025-06-15T15:36:17Z) - WISK: A Workload-aware Learned Index for Spatial Keyword Queries [46.96314606580924]
本稿では,空間的キーワードクエリの学習指標であるWISKを提案する。
We show that WISK achieve up to 8x speedup in querying time with comparable storage overhead。
論文 参考訳（メタデータ） (2023-02-28T03:45:25Z) - Text Summarization with Latent Queries [60.468323530248945]
本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。
本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。
本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
論文 参考訳（メタデータ） (2021-05-31T21:14:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。