論文の概要: SVD-RAG: Efficient Tree-Organized Retrieval-Augmented Generation via Singular Value Decomposition

• arxiv url: http://arxiv.org/abs/2607.10316v1
• Date: Sat, 11 Jul 2026 13:43:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.394593
• Title: SVD-RAG: Efficient Tree-Organized Retrieval-Augmented Generation via Singular Value Decomposition
• Title（参考訳）: SVD-RAG:特異値分解による効率的な木組織検索生成
• Abstract要約: Retrieval-Augmented Generation (RAG) システムは、外部知識ベースから関連文書を取得することにより、大規模言語モデルを強化する。 本稿では,階層的RAGにおける抽出的要約のための文埋め込み行列にSingular Value Decomposition (SVD)を適用する最初の方法であるSVD-RAGを提案する。
• 参考スコア（独自算出の注目度）: 1.827510863075184
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) systems enhance large language models by retrieving relevant documents from external knowledge bases. Recent work by Sarthi et al. (2024) introduced RAPTOR, which organizes documents into hierarchical tree structures for efficient retrieval, but requires expensive LLM-based abstractive summarization at each internal node -- making large-scale deployment prohibitively costly. We present SVD-RAG, the first method to apply Singular Value Decomposition (SVD) on dense sentence embedding matrices for extractive summarization in hierarchical RAG. Unlike classical LSA which operates on sparse TF-IDF matrices, SVD-RAG exploits the rich semantic representations of modern embedding models, identifying the most informative sentences through their energy contribution in the principal components. Our approach is (1) deterministic -- unlike LLM-based summarization, SVD produces identical results for the same input; (2) cost-efficient -- tree construction requires no additional API calls beyond the initial embedding, reducing token consumption by ~85%; and (3) content-adaptive -- the energy-ratio threshold tau automatically adjusts compression based on content complexity. In a controlled head-to-head comparison using identical corpora, clustering, and beam search, SVD-RAG achieves retrieval quality within 1-5% of RAPTOR with LLM summarization (MRR 0.867 vs. 0.875, Recall@1 0.483 vs. 0.458) while building the tree 317x faster (0.1s vs. 31.7s). On a scaled multi-topic benchmark with 205 chunks and 100 queries across 20 topic variations, SVD-RAG achieves a 4.2x improvement in Recall@1 and 3.1x improvement in MRR over flat embedding retrieval. We provide a detailed cost analysis and parameter sensitivity study. Our implementation is released as an open-source Python package.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) システムは、外部知識ベースから関連文書を取得することにより、大規模言語モデルを強化する。 Sarthi et al (2024) による最近の研究は、ドキュメントを効率的な検索のために階層的なツリー構造に整理する RAPTOR を導入している。 本稿では,階層的RAGにおける抽出的要約のための文埋め込み行列にSingular Value Decomposition (SVD)を適用する最初の方法であるSVD-RAGを提案する。 古典的な TF-IDF 行列で動作する LSA とは異なり、SVD-RAG は現代の埋め込みモデルのリッチな意味表現を利用して、主成分へのエネルギー的寄与を通じて最も情報性の高い文を識別する。 当社のアプローチは,(1)LCMに基づく要約とは異なり,SVDは同一の入力に対して同じ結果を生成する。(2)コスト効率-木構築では,初期埋め込み以上のAPI呼び出しは必要とせず,トークン消費量を約85%削減し,(3)コンテント適応-エネルギー比の閾値タウは,コンテンツ複雑性に基づいて自動的に圧縮を調整する。 SVD-RAGは、同一のコーパス、クラスタリング、ビームサーチを用いて、LLM要約(MRR 0.867 vs. 0.875, Recall@1 0.483 vs. 0.458)でRAPTORの1-5%以内の検索品質を達成し、ツリー317倍(0.1s vs. 31.7s)高速に構築する。 205チャンクと100のクエリが20のトピックにまたがったスケールされたマルチトピックベンチマークでは、SVD-RAGはフラットな埋め込み検索よりもRecall@1の4.2倍、MRRの3.1倍の改善を実現している。 我々は、詳細なコスト分析とパラメータ感度の研究を行う。 私たちの実装はオープンソースPythonパッケージとしてリリースされています。

関連論文リスト

• SproutRAG: Attention-Guided Tree Search with Progressive Embeddings for Long-Document RAG [23.48941508046885]
  本稿では,注意誘導型階層型RAGフレームワークであるSproutRAGを紹介する。 文レベルのチャンクを徐々に大きく、意味的に一貫性のある単位に整理する。 どのアテンションヘッドとレイヤがセマンティックドキュメント構造を最もよく捉えているかを学ぶ。
  論文  参考訳（メタデータ） (2026-06-16T18:28:00Z)
• No More K-means: Single-Stage Sparse Coding for Efficient Multi-Vector Retrieval [51.43543998583709]
  SSR(Single-stage Sparse Retrieval)は、高価なクラスタリングを効率的なスパースコーディングに置き換えるパラダイムシフトである。 ColBERTv2と比較してインデックス処理時間を15倍短縮し、検索レイテンシを半減させ、同時に検索性能を向上させる。
  論文  参考訳（メタデータ） (2026-05-28T15:53:34Z)
• EmbGen: Teaching with Reassembled Corpora [0.300988853836121]
  コーパスをエンティティ記述ペアに分解する合成データ生成パイプラインであるEmbGenを紹介する。 EmbGen を EntiGraph,InstructLab,Knowledge-Instruct に対して,多種多様な意味的不均一性のデータセット上で評価する。
  論文  参考訳（メタデータ） (2026-05-19T05:40:12Z)
• Transforming External Knowledge into Triplets for Enhanced Retrieval in RAG of LLMs [55.78708003681562]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)における幻覚を、生成時に外部知識を取り入れることで緩和する。 既存のRAGアプローチは通常、コンテキストとしてテキストフラグメントを検索し、非構造化する。 本稿では,三重項に基づく検索フレームワークTri-RAGを提案する。
  論文  参考訳（メタデータ） (2026-04-14T11:36:29Z)
• Resource-Efficient Iterative LLM-Based NAS with Feedback Memory [49.44875022114861]
  ニューラルアーキテクチャサーチ(NAS)はネットワーク設計を自動化するが、従来の手法ではかなりの計算資源を必要とする。 本稿では,大規模言語モデル(LLM)を活用して,畳み込みニューラルネットワークアーキテクチャを反復的に生成し,評価し,洗練するクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-03-12T16:00:22Z)
• LLM-guided Hierarchical Retrieval [54.73080745446999]
  LATTICEは階層的な検索フレームワークであり、LLMは対数探索の複雑さで大きなコーパスを推論し、ナビゲートすることができる。 LLM誘導探索における中心的な課題は、モデルの関連性判断がノイズが多く、文脈に依存し、階層性に気付かないことである。 我々のフレームワークは、推論集約型BRIGHTベンチマークで最先端のゼロショット性能を実現する。
  論文  参考訳（メタデータ） (2025-10-15T07:05:17Z)
• ZeroGR: A Generalizable and Scalable Framework for Zero-Shot Generative Retrieval [125.19156877994612]
  生成検索(GR)は、情報検索(IR)を文書識別子(ドシデント)の生成としてフレーミングすることによって再構成する 我々は、自然言語命令を利用して幅広いIRタスクにわたってGRを拡張するゼロショット生成検索フレームワークであるtextscZeroGRを提案する。 具体的には、textscZeroGRは、3つのキーコンポーネントで構成されている: (i)不均一な文書を意味的に意味のあるドシデントに統一するLMベースのドシデントジェネレータ; (ii)自然言語タスク記述から様々なタイプのクエリを生成し、拡張する命令チューニングクエリジェネレータ。
  論文  参考訳（メタデータ） (2025-10-12T03:04:24Z)
• Open-Source Agentic Hybrid RAG Framework for Scientific Literature Review [2.092154729589438]
  本稿では,ハイブリッドRAGパイプラインを自律エージェント内にカプセル化するエージェントアプローチを提案する。 当社のパイプラインでは,PubMedやarXiv,Google Scholar APIから,バイオロジカルなオープンアクセスデータを収集しています。 Llama-3.3-70B エージェントが GraphRAG (クエリを Cypher for KG に変換する) または VectorRAG (スパースと高密度検索を組み合わせて再ランク付けする) を選択する
  論文  参考訳（メタデータ） (2025-07-30T18:54:15Z)
• KeyKnowledgeRAG (K^2RAG): An Enhanced RAG method for improved LLM question-answering capabilities [2.4874078867686085]
  KeyKnowledgeRAG (K2RAG)は、RAG実装の制限を克服するために設計された新しいフレームワークである。 厳密でスパースなベクトル探索、知識グラフ、テキスト要約を統合して、検索品質とシステム効率を向上させる。 K2RAGは平均回答類似度スコア0.57を達成し、第3位Q3類似度0.82を達成した。
  論文  参考訳（メタデータ） (2025-07-10T12:19:03Z)
• Unsupervised Text Representation Learning via Instruction-Tuning for Zero-Shot Dense Retrieval [19.422003299376]
  命令チューニングによる教師なしテキスト表現学習手法を提案する。 関連する合成クエリの表現によってコーパス表現を拡張できることを実証する。 我々は,全指標の平均ゼロショット検索性能を著しく改善した。
  論文  参考訳（メタデータ） (2024-09-24T23:03:13Z)
• Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting [68.90949377014742]
  Speculative RAG(投機的RAG)は、より大規模なジェネラリストLMを利用して、より小さな蒸留専門のLMによって並列に生成された複数のRAGドラフトを効率よく検証するフレームワークである。 提案手法は,より小さな専門家のLMにドラフト作成を委譲することでRAGを加速し,より大きなジェネラリストのLMがドラフトに1回の検証パスを実行する。 PubHealthの従来のRAGシステムと比較して、レイテンシを50.83%削減しながら、最大12.97%の精度向上を実現している。
  論文  参考訳（メタデータ） (2024-07-11T06:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。