Fugu-MT 論文翻訳(概要): ScaleDoc: Scaling LLM-based Predicates over Large Document Collections

論文の概要: ScaleDoc: Scaling LLM-based Predicates over Large Document Collections

arxiv url: http://arxiv.org/abs/2509.12610v1
Date: Tue, 16 Sep 2025 03:18:06 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-17 17:50:52.854074
Title: ScaleDoc: Scaling LLM-based Predicates over Large Document Collections
Title（参考訳）: ScaleDoc: LLMベースの述語を大規模ドキュメントコレクションにスケールする
Authors: Hengrui Zhang, Yulong Hui, Yihao Liu, Huanchen Zhang,
Abstract要約: 現代のワークロードでは、意味的理解を必要とする非構造化ドキュメントがますます多く含まれている。 textscScaleDocは、述語実行をオフライン表現フェーズと最適化されたオンラインフィルタリングフェーズに分離することで、この問題に対処する新しいシステムである。 textscScaleDocは2$times$のエンドツーエンドのスピードアップを実現し、高価なLCM呼び出しを最大85%削減し、大規模なセマンティック分析を実用的かつ効率的にする。
参考スコア（独自算出の注目度）: 17.985997510845873
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Predicates are foundational components in data analysis systems. However, modern workloads increasingly involve unstructured documents, which demands semantic understanding, beyond traditional value-based predicates. Given enormous documents and ad-hoc queries, while Large Language Models (LLMs) demonstrate powerful zero-shot capabilities, their high inference cost leads to unacceptable overhead. Therefore, we introduce \textsc{ScaleDoc}, a novel system that addresses this by decoupling predicate execution into an offline representation phase and an optimized online filtering phase. In the offline phase, \textsc{ScaleDoc} leverages a LLM to generate semantic representations for each document. Online, for each query, it trains a lightweight proxy model on these representations to filter the majority of documents, forwarding only the ambiguous cases to the LLM for final decision. Furthermore, \textsc{ScaleDoc} proposes two core innovations to achieve significant efficiency: (1) a contrastive-learning-based framework that trains the proxy model to generate reliable predicating decision scores; (2) an adaptive cascade mechanism that determines the effective filtering policy while meeting specific accuracy targets. Our evaluations across three datasets demonstrate that \textsc{ScaleDoc} achieves over a 2$\times$ end-to-end speedup and reduces expensive LLM invocations by up to 85\%, making large-scale semantic analysis practical and efficient.
Abstract（参考訳）: 述語はデータ分析システムの基本コンポーネントである。しかし、現代のワークロードでは、従来のバリューベースの述語以上の意味的理解を必要とする非構造化ドキュメントがますます多く含まれている。膨大なドキュメントとアドホックなクエリが与えられ、Large Language Models (LLM) は強力なゼロショット機能を示しているが、高い推論コストは許容できないオーバーヘッドをもたらす。そこで本稿では,述語実行をオフライン表現フェーズと最適化オンラインフィルタリングフェーズに分離することで,この問題に対処する新しいシステムである「textsc{ScaleDoc}」を紹介する。オフラインフェーズでは、textsc{ScaleDoc} は LLM を利用して各ドキュメントのセマンティック表現を生成する。オンラインの各クエリに対して、これらの表現の軽量なプロキシモデルをトレーニングし、ほとんどのドキュメントをフィルタリングし、最終決定のためにLLMに不明瞭なケースだけを転送する。さらに、(1)プロキシモデルをトレーニングして信頼性の高い予測決定スコアを生成するコントラスト学習ベースのフレームワーク、(2)特定の精度目標を満たしながら効果的なフィルタリングポリシーを決定する適応カスケード機構の2つを提案する。 3つのデータセットで評価した結果, エンド・ツー・エンド・エンド・スピードアップを2$\times$で達成し, 高価なLCM呼び出しを最大85%削減し, 大規模セマンティック分析を実用的かつ効率的にすることがわかった。

関連論文リスト

Zero-Shot Document Understanding using Pseudo Table of Contents-Guided Retrieval-Augmented Generation [4.875345207589195]
DocsRayは、トレーニング不要の文書理解システムである。擬似コンテンツテーブル(TOC)生成と階層型検索拡張生成(RAG)を統合する
論文参考訳（メタデータ） (2025-07-31T03:14:45Z)
FuDoBa: Fusing Document and Knowledge Graph-based Representations with Bayesian Optimisation [43.56253799373878]
本稿では,LLMに基づく埋め込みとドメイン固有の構造化知識を統合したベイズ最適化に基づくFuDoBaを紹介する。この融合は、訓練の複雑さを減らし、解釈可能な早期融合重みを生み出すとともに、低次元のタスク関連表現を生成する。 2つの領域における6つのデータセットに対するアプローチの有効性を実証し、提案した表現学習アプローチが、プロプライエタリなLCMベースの埋め込みベースラインでのみ生成されるものと同程度に、あるいは超えていることを示す。
論文参考訳（メタデータ） (2025-07-09T07:49:55Z)
DocETL: Agentic Query Rewriting and Evaluation for Complex Document Processing [10.712756715779822]
大規模言語モデル(LLM)は、データ処理において有望であることを示している。これらのフレームワークは、ユーザが指定した操作を実行する際のコスト削減に重点を置いている。これは複雑なタスクやデータに問題があります。本稿では,複雑な文書処理パイプラインを最適化するDocETLを提案する。
論文参考訳（メタデータ） (2024-10-16T03:22:35Z)
LLM$\times$MapReduce: Simplified Long-Sequence Processing using Large Language Models [73.13933847198395]
本稿では,文書理解を包括的に行うための分割・対数戦略を利用して,長文処理のための学習自由フレームワークを提案する。提案された LLM$times$MapReduce フレームワークは、ドキュメント全体を LLM が読み取るためにいくつかのチャンクに分割し、中間回答を集約して最終的な出力を生成する。
論文参考訳（メタデータ） (2024-10-12T03:13:44Z)
PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval [76.50690734636477]
本稿では,PmptRepsを提案する。このPmptRepsは,トレーニングを必要とせず,コーパス全体から検索できる機能である。検索システムは、高密度テキスト埋め込みとスパースバッグ・オブ・ワード表現の両方を利用する。
論文参考訳（メタデータ） (2024-04-29T04:51:30Z)
REXEL: An End-to-end Model for Document-Level Relation Extraction and Entity Linking [11.374031643273941]
REXELは文書レベルcIE(DocIE)の共同作業のための高効率かつ高精度なモデルである同様の環境では、競合する既存のアプローチよりも平均11倍高速です。速度と精度の組み合わせにより、REXELはWebスケールで構造化された情報を抽出する正確なコスト効率のシステムとなる。
論文参考訳（メタデータ） (2024-04-19T11:04:27Z)
Query2doc: Query Expansion with Large Language Models [69.9707552694766]
提案手法はまず,大言語モデル (LLM) をプロンプトすることで擬似文書を生成する。 query2docは、アドホックIRデータセットでBM25のパフォーマンスを3%から15%向上させる。また,本手法は,ドメイン内およびドメイン外の両方において,最先端の高密度検索に有効である。
論文参考訳（メタデータ） (2023-03-14T07:27:30Z)
UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文参考訳（メタデータ） (2022-05-23T11:01:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。