論文の概要: SmartChunk Retrieval: Query-Aware Chunk Compression with Planning for Efficient Document RAG
- arxiv url: http://arxiv.org/abs/2602.22225v1
- Date: Wed, 17 Dec 2025 01:21:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-02 07:21:25.690444
- Title: SmartChunk Retrieval: Query-Aware Chunk Compression with Planning for Efficient Document RAG
- Title（参考訳）: SmartChunk Retrieval: 効率的なドキュメントRAG計画によるクエリ対応チャンク圧縮
- Authors: Xuechen Zhang, Koustava Goswami, Samet Oymak, Jiasi Chen, Nedim Lipka,
- Abstract要約: We present SmartChunk, a query-adaptive framework for efficient and robust long-document question answering (QA)。
SmartChunkでは、クエリ毎に最適なチャンク抽象化レベルを予測するプランナーと、要約を繰り返しない高レベルのチャンク埋め込みを生成する軽量圧縮モジュールを使用している。
ユーザがさまざまなドキュメントタイプやクエリスタイルに直面する現実世界のアプリケーションを反映するために、私たちは、SmartChunkを5つのQAベンチマークと1つのドメイン外のデータセットで評価しました。
- 参考スコア（独自算出の注目度）: 41.16937860730275
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Retrieval-augmented generation (RAG) has strong potential for producing accurate and factual outputs by combining language models (LMs) with evidence retrieved from large text corpora. However, current pipelines are limited by static chunking and flat retrieval: documents are split into short, predetermined, fixed-size chunks, embeddings are retrieved uniformly, and generation relies on whatever chunks are returned. This design brings challenges, as retrieval quality is highly sensitive to chunk size, often introduces noise from irrelevant or misleading chunks, and scales poorly to large corpora. We present SmartChunk retrieval, a query-adaptive framework for efficient and robust long-document question answering (QA). SmartChunk uses (i) a planner that predicts the optimal chunk abstraction level for each query, and (ii) a lightweight compression module that produces high-level chunk embeddings without repeated summarization. By adapting retrieval granularity on the fly, SmartChunk balances accuracy with efficiency and avoids the drawbacks of fixed strategies. Notably, our planner can reason about chunk abstractions through a novel reinforcement learning scheme, STITCH, which boosts accuracy and generalization. To reflect real-world applications, where users face diverse document types and query styles, we evaluate SmartChunk on five QA benchmarks plus one out-of-domain dataset. Across these evaluations, SmartChunk outperforms state-of-the-art RAG baselines, while reducing cost. Further analysis demonstrates strong scalability with larger corpora and consistent gains on out-of-domain datasets, highlighting its effectiveness as a general framework for adaptive retrieval.
- Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、言語モデル(LM)と大きなテキストコーパスから得られた証拠を組み合わせることによって、正確で事実的なアウトプットを生成する強力な可能性を持っている。
しかし、現在のパイプラインは静的なチャンキングとフラットな検索によって制限されており、文書は短く、所定の大きさのチャンクに分割され、埋め込みは均一に検索され、生成はどんなチャンクが返されるかに依存している。
この設計は、検索品質がチャンクサイズに非常に敏感であり、しばしば無関係または誤解を招くチャンクからのノイズを導入し、大きなコーパスに対して低スケールである。
本稿では,より効率的で堅牢な質問応答(QA)のための問合せ適応型フレームワークであるSmartChunk検索を提案する。
SmartChunk の使用
(i)クエリ毎に最適なチャンク抽象レベルを予測するプランナー、及び
(II) 要約を繰り返すことなくハイレベルなチャンク埋め込みを生成する軽量圧縮モジュール。
検索の粒度をオンザフライで調整することで、SmartChunkは精度と効率のバランスをとり、固定戦略の欠点を回避する。
特に,新しい強化学習スキームSTITCHを用いて,チャンクの抽象化を推論することで,精度の向上と一般化を実現している。
ユーザがさまざまなドキュメントタイプやクエリスタイルに直面する現実世界のアプリケーションを反映するために、私たちは、SmartChunkを5つのQAベンチマークと1つのドメイン外のデータセットで評価しました。
これらの評価全体で、SmartChunkは最先端のRAGベースラインを上回っ、コストを削減している。
さらなる分析は、より大きなコーパスとドメイン外のデータセットの一貫性のあるゲインを持つ強力なスケーラビリティを示し、適応検索の一般的なフレームワークとしての有効性を強調している。
関連論文リスト
- CorpusQA: A 10 Million Token Benchmark for Corpus-Level Analysis and Reasoning [48.56088080889236]
我々は、新しいデータ合成フレームワークによって生成された1000万のトークンをスケーリングする新しいベンチマークであるCorpusQAを紹介した。
合成データの微調整はLLMの一般的な長文推論能力を効果的に向上させることを示す。
メモリ拡張型エージェントアーキテクチャは,より堅牢な代替手段であることを示す。
論文 参考訳（メタデータ） (2026-01-21T12:52:30Z) - Reasoning-enhanced Query Understanding through Decomposition and Interpretation [87.56450566014625]
ReDIは、分解と解釈によるクエリ理解のための推論強化アプローチである。
我々は,大規模検索エンジンから実世界の複雑なクエリの大規模データセットをコンパイルした。
BRIGHT と BEIR の実験により、ReDI はスパースと密度の高い検索パラダイムの両方において、強いベースラインを一貫して超えることを示した。
論文 参考訳（メタデータ） (2025-09-08T10:58:42Z) - Tree-Based Text Retrieval via Hierarchical Clustering in RAGFrameworks: Application on Taiwanese Regulations [0.0]
階層的なクラスタリングに基づく検索手法を提案する。
本手法は,意味的関連コンテンツを適応的に選択しながら,システム応答の精度と関連性を維持する。
我々のフレームワークは実装が簡単で、既存のRAGパイプラインと簡単に統合できます。
論文 参考訳（メタデータ） (2025-06-16T15:34:29Z) - Divide by Question, Conquer by Agent: SPLIT-RAG with Question-Driven Graph Partitioning [62.640169289390535]
SPLIT-RAGは、質問駆動セマンティックグラフ分割と協調サブグラフ検索による制限に対処するマルチエージェントRAGフレームワークである。
革新的なフレームワークは、まずリンク情報のセマンティック分割を作成し、次にタイプ特化知識ベースを使用してマルチエージェントRAGを実現する。
属性対応グラフセグメンテーションは、知識グラフを意味的に一貫性のあるサブグラフに分割し、サブグラフが異なるクエリタイプと整合することを保証する。
階層的なマージモジュールは、論理的検証を通じて、部分グラフ由来の解答間の矛盾を解消する。
論文 参考訳（メタデータ） (2025-05-20T06:44:34Z) - Pseudo Relevance Feedback is Enough to Close the Gap Between Small and Large Dense Retrieval Models [29.934928091542375]
大規模言語モデル (LLM) のバックボーンに高密度レトリバーを拡張させることは, 検索効率を向上させる主要な戦略である。
本稿では,機能ベースの擬似関連フィードバック(PRF)フレームワークであるPromptPRFを紹介する。
論文 参考訳（メタデータ） (2025-03-19T04:30:20Z) - Fast or Better? Balancing Accuracy and Cost in Retrieval-Augmented Generation with Flexible User Control [52.405085773954596]
Retrieval-Augmented Generationは、大規模な言語モデル幻覚を緩和するための強力なアプローチとして登場した。
既存のRAGフレームワークは、しばしば無差別に検索を適用し、非効率な再検索につながる。
本稿では,精度・コストのトレードオフを動的に調整できる新しいユーザ制御可能なRAGフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-17T18:56:20Z) - Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks [11.053340674721005]
検索拡張世代(RAG)は,外部知識ソースを統合することで言語モデルを強化する強力なアプローチとして注目されている。
本稿では、リアルタイム検索をバイパスする代替パラダイムであるキャッシュ拡張生成(CAG)を提案する。
論文 参考訳（メタデータ） (2024-12-20T06:58:32Z) - Semantic Tokens in Retrieval Augmented Generation [0.0]
本稿では,確率的RAGシステムと決定論的に検証可能な応答のギャップを埋めるための評価モジュールを導入した新しい比較RAGシステムを提案する。
このフレームワークは、高い精度と検証可能性を必要とする領域において、より信頼性が高くスケーラブルな質問応答アプリケーションを実現する。
論文 参考訳（メタデータ） (2024-12-03T16:52:06Z) - BRIEF: Bridging Retrieval and Inference for Multi-hop Reasoning via Compression [91.23933111083389]
Retrieval-augmented Generation (RAG)は、外部知識を統合することで、大きな言語モデル(LLM)を補完することができる。
本稿では,クエリ対応マルチホップ推論を行う軽量なアプローチであるBRIEFを提案する。
オープンソースモデルで構築した合成データに基づいて,BRIEFはより簡潔な要約を生成する。
論文 参考訳（メタデータ） (2024-10-20T04:24:16Z) - Corrective Retrieval Augmented Generation [36.04062963574603]
Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。
生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。
CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
論文 参考訳（メタデータ） (2024-01-29T04:36:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。