論文の概要: Hierarchical Document Refinement for Long-context Retrieval-augmented Generation

• arxiv url: http://arxiv.org/abs/2505.10413v1
• Date: Thu, 15 May 2025 15:34:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.387993
• Title: Hierarchical Document Refinement for Long-context Retrieval-augmented Generation
• Title（参考訳）: 長文検索拡張生成のための階層的文書化
• Authors: Jiajie Jin, Xiaoxi Li, Guanting Dong, Yuyao Zhang, Yutao Zhu, Yongkang Wu, Zhonghua Li, Qi Ye, Zhicheng Dou,
• Abstract要約: LongRefinerは、長いドキュメントの固有の構造特性を利用する効率的なプラグアンドプレイ精製機である。 LongRefinerは、最高のベースラインに比べて計算コストとレイテンシを10倍少なくしながら、さまざまなシナリオで競合的なパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 28.421675216147374
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Real-world RAG applications often encounter long-context input scenarios, where redundant information and noise results in higher inference costs and reduced performance. To address these challenges, we propose LongRefiner, an efficient plug-and-play refiner that leverages the inherent structural characteristics of long documents. LongRefiner employs dual-level query analysis, hierarchical document structuring, and adaptive refinement through multi-task learning on a single foundation model. Experiments on seven QA datasets demonstrate that LongRefiner achieves competitive performance in various scenarios while using 10x fewer computational costs and latency compared to the best baseline. Further analysis validates that LongRefiner is scalable, efficient, and effective, providing practical insights for real-world long-text RAG applications. Our code is available at https://github.com/ignorejjj/LongRefiner.
• Abstract（参考訳）: 現実のRAGアプリケーションは、冗長な情報やノイズがより高い推論コストと性能の低下をもたらす、長いコンテキストの入力シナリオに遭遇することが多い。 これらの課題に対処するために,長い文書の構造的特性を活用する効率的なプラグアンドプレイ精錬器であるLongRefinerを提案する。 LongRefinerは、二重レベルのクエリ分析、階層的なドキュメント構造化、および単一の基盤モデル上でのマルチタスク学習による適応的な改善を採用している。 7つのQAデータセットの実験では、LongRefinerは最高のベースラインに比べて計算コストとレイテンシを10倍少なくしながら、さまざまなシナリオで競合的なパフォーマンスを実現している。 さらなる分析により、LongRefinerはスケーラブルで効率的で効果的であり、現実世界の長文RAGアプリケーションに実用的な洞察を提供する。 私たちのコードはhttps://github.com/ignorejjj/LongRefiner.comから入手可能です。

関連論文リスト

• OkraLong: A Flexible Retrieval-Augmented Framework for Long-Text Query Processing [9.606858192855753]
  LLM(Large Language Models)は、長文クエリを効率的に処理する際の課題である。 我々は,処理ワークフロー全体を柔軟に最適化する新しいフレームワークであるOkraLongを提案する。 OkraLongは回答の正確性を高めるだけでなく、さまざまなデータセットで費用対効果を達成する。
  論文  参考訳（メタデータ） (2025-03-04T13:21:47Z)
• WildLong: Synthesizing Realistic Long-Context Instruction Data at Scale [86.25450054683172]
  WildLongは、実際のユーザクエリからメタ情報を取り出して、スケーラブルなデータを生成する。 クロスドキュメント比較やアグリゲーションといったマルチドキュメント推論をサポートする。 ベンチマーク全体で、既存のオープンソースの長期コンテキスト最適化モデルを上回っている。
  論文  参考訳（メタデータ） (2025-02-23T18:59:09Z)
• Does RAG Really Perform Bad For Long-Context Processing? [15.889864680212147]
  RetroLMは長文処理のための新しいフレームワークである。 従来の方法とは異なり、RetroLMはKVレベルの検索拡張を採用している。 この枠組みに基づいて,臨界ページの正確な検索を行うための特殊検索器を開発した。
  論文  参考訳（メタデータ） (2025-02-17T05:02:25Z)
• Leave No Document Behind: Benchmarking Long-Context LLMs with Extended Multi-Doc QA [71.04146366608904]
  長いコンテキストモデリング能力は広く注目を集めており、超コンテキストウィンドウを持つLarge Language Models (LLMs) の出現につながっている。 拡張多文書質問応答(QA)によって現実的なシナリオに整合する新しい長文ベンチマークであるLoongを提案する。 Loong氏は、Spotlight Locating, Comparison, Clustering, Chain of Reasoningという、コンテキスト長の4つのタスクを紹介している。
  論文  参考訳（メタデータ） (2024-06-25T09:42:56Z)
• Effective Long-Context Scaling of Foundation Models [90.57254298730923]
  最大32,768個のトークンの効率的なコンテキストウィンドウをサポートする長文LLMを提示する。 我々のモデルは、ほとんどの通常のタスクにおいて一貫した改善を達成し、Llama 2よりも長いコンテキストタスクを大幅に改善します。
  論文  参考訳（メタデータ） (2023-09-27T21:41:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。