論文の概要: HiChunk: Evaluating and Enhancing Retrieval-Augmented Generation with Hierarchical Chunking

• arxiv url: http://arxiv.org/abs/2509.11552v2
• Date: Tue, 16 Sep 2025 12:36:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 13:40:22.874825
• Title: HiChunk: Evaluating and Enhancing Retrieval-Augmented Generation with Hierarchical Chunking
• Title（参考訳）: HiChunk: 階層的チャンキングによる検索強化世代の評価と改善
• Authors: Wensheng Lu, Keyu Chen, Ruizhi Qiao, Xing Sun,
• Abstract要約: HiChunkは、微調整 LLM と Auto-Merge 検索アルゴリズムに基づくマルチレベル文書構造化フレームワークである。 HiChunkは適切な時間消費でより優れたチャンキング品質を実現し、RAGシステム全体の性能を向上させる。
• 参考スコア（独自算出の注目度）: 23.982187522815536
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-Augmented Generation (RAG) enhances the response capabilities of language models by integrating external knowledge sources. However, document chunking as an important part of RAG system often lacks effective evaluation tools. This paper first analyzes why existing RAG evaluation benchmarks are inadequate for assessing document chunking quality, specifically due to evidence sparsity. Based on this conclusion, we propose HiCBench, which includes manually annotated multi-level document chunking points, synthesized evidence-dense quetion answer(QA) pairs, and their corresponding evidence sources. Additionally, we introduce the HiChunk framework, a multi-level document structuring framework based on fine-tuned LLMs, combined with the Auto-Merge retrieval algorithm to improve retrieval quality. Experiments demonstrate that HiCBench effectively evaluates the impact of different chunking methods across the entire RAG pipeline. Moreover, HiChunk achieves better chunking quality within reasonable time consumption, thereby enhancing the overall performance of RAG systems.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、外部知識ソースを統合することで、言語モデルの応答能力を向上する。 しかしながら、RAGシステムの重要な部分である文書チャンキングには、効果的な評価ツールが欠けていることが多い。 本稿では,既存のRAG評価ベンチマークが文書チャンキングの品質評価に不適切である理由を,特に証拠のばらつきから分析する。 この結論に基づき、手動でアノテートされたマルチレベル文書チャンキングポイント、合成されたエビデンス・ディエンス・クエリー応答(QA)ペア、およびそれに対応するエビデンスソースを含むHiCBenchを提案する。 さらに,微調整LDMに基づくマルチレベル文書構造化フレームワークであるHiChunkフレームワークと,自動マージ検索アルゴリズムを組み合わせることで,検索品質の向上を図る。 実験によると、HiCBenchはRAGパイプライン全体にわたる異なるチャンキングメソッドの影響を効果的に評価する。 さらに、HiChunkは適切な時間消費でより優れたチャンキング品質を実現し、RAGシステム全体の性能を向上させる。

関連論文リスト

• mmRAG: A Modular Benchmark for Retrieval-Augmented Generation over Text, Tables, and Knowledge Graphs [11.861763118322136]
  マルチモーダルRAGシステムを評価するためのモジュール型ベンチマークであるmmRAGを紹介する。 我々のベンチマークでは、テキスト、テーブル、知識グラフにまたがる6つの多様な問合せデータセットからのクエリを統合する。 文書関連性を注釈化し、データセット関連性を導出するための標準情報検索手順に従う。
  論文  参考訳（メタデータ） (2025-05-16T12:31:29Z)
• Retrieval Augmented Generation Evaluation in the Era of Large Language Models: A Comprehensive Survey [29.186229489968564]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) と外部情報検索を統合し、自然言語処理に革命をもたらした。 RAGシステムの評価は、検索と生成コンポーネントを組み合わせたハイブリッドアーキテクチャのため、ユニークな課題を示す。
  論文  参考訳（メタデータ） (2025-04-21T06:39:47Z)
• Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
  UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。 我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
  論文  参考訳（メタデータ） (2024-12-16T19:11:55Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Evaluating Retrieval Quality in Retrieval-Augmented Generation [21.115495457454365]
  従来のエンドツーエンド評価手法は計算コストが高い。 本稿では,検索リストの各文書をRAGシステム内の大規模言語モデルで個別に利用するeRAGを提案する。 eRAGは、ランタイムを改善し、エンドツーエンド評価の最大50倍のGPUメモリを消費する、大きな計算上のアドバンテージを提供する。
  論文  参考訳（メタデータ） (2024-04-21T21:22:28Z)
• CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。 本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
  論文  参考訳（メタデータ） (2024-01-30T14:25:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。