Fugu-MT 論文翻訳(概要): Reconstructing Context: Evaluating Advanced Chunking Strategies for Retrieval-Augmented Generation

論文の概要: Reconstructing Context: Evaluating Advanced Chunking Strategies for Retrieval-Augmented Generation

arxiv url: http://arxiv.org/abs/2504.19754v1
Date: Mon, 28 Apr 2025 12:52:05 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-02 19:15:54.440256
Title: Reconstructing Context: Evaluating Advanced Chunking Strategies for Retrieval-Augmented Generation
Title（参考訳）: コンテキストの再構築:検索・拡張生成のための高度なチャンキング戦略の評価
Authors: Carlo Merola, Jaspinder Singh,
Abstract要約: Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)の拡張のための変換アプローチとなっている。本研究では,RAGシステムの最適化における有効性と効率性を評価するため,遅延チャンキングと文脈検索の厳密な分析を行った。この結果から,文脈検索は意味的コヒーレンスをより効果的に保存するが,計算資源が大きいことが示唆された。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Retrieval-augmented generation (RAG) has become a transformative approach for enhancing large language models (LLMs) by grounding their outputs in external knowledge sources. Yet, a critical question persists: how can vast volumes of external knowledge be managed effectively within the input constraints of LLMs? Traditional methods address this by chunking external documents into smaller, fixed-size segments. While this approach alleviates input limitations, it often fragments context, resulting in incomplete retrieval and diminished coherence in generation. To overcome these shortcomings, two advanced techniques, late chunking and contextual retrieval, have been introduced, both aiming to preserve global context. Despite their potential, their comparative strengths and limitations remain unclear. This study presents a rigorous analysis of late chunking and contextual retrieval, evaluating their effectiveness and efficiency in optimizing RAG systems. Our results indicate that contextual retrieval preserves semantic coherence more effectively but requires greater computational resources. In contrast, late chunking offers higher efficiency but tends to sacrifice relevance and completeness.
Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、大規模言語モデル(LLM)を外部知識ソースに基盤として拡張するための転換的アプローチとなっている。しかし、批判的な疑問が残る: LLMの入力制約の中で、巨大な外部知識をどのように効果的に管理できるのか? 従来の手法では、外部文書を小さな固定サイズのセグメントにチャンクすることでこの問題に対処する。このアプローチは入力制限を緩和するが、しばしばコンテキストを断片化し、不完全な検索と生成時のコヒーレンスを低下させる。これらの欠点を克服するために,グローバルなコンテキストを維持することを目的として,遅延チャンクと文脈検索という2つの高度な技術が導入された。その可能性にもかかわらず、それらの比較の強さと限界はいまだに不明である。本研究では,RAGシステムの最適化における有効性と効率性を評価するため,遅延チャンキングと文脈検索の厳密な分析を行った。この結果から,文脈検索は意味的コヒーレンスをより効果的に保存するが,計算資源が大きいことが示唆された。対照的に、遅いチャンキングは高い効率を提供するが、妥当性と完全性を犠牲にする傾向がある。

関連論文リスト

InfiniteICL: Breaking the Limit of Context Window Size via Long Short-term Memory Transformation [57.310236384112834]
In-context Learning (ICL) は、大規模言語モデル(LLM)において重要であるが、その有効性は有限コンテキストウィンドウによって制約される。本稿では,LLMにおけるコンテキストとパラメータを,短期記憶と長期記憶に並列化するフレームワークであるInfiniteICLを紹介する。提案手法は,コンテキスト長を90%削減し,フルコンテキストプロンプトの平均性能を103%向上することを示した。
論文参考訳（メタデータ） (2025-04-02T13:15:44Z)
Self-Routing RAG: Binding Selective Retrieval with Knowledge Verbalization [97.72503890388866]
本稿では,選択的検索と知識の言語化を結合する新しいフレームワークであるSelf-Routing RAG(SR-RAG)を提案する。 SR-RAGは、LLMが外部検索と独自のパラメトリック知識の言語化を動的に決定できるようにする。近接探索による動的知識源推定を導入し,知識源決定の精度を向上させる。
論文参考訳（メタデータ） (2025-04-01T17:59:30Z)
ReLearn: Unlearning via Learning for Large Language Models [64.2802606302194]
本研究では、効果的なアンラーニングのためのデータ拡張および微調整パイプラインであるReLearnを提案する。このフレームワークでは、知識レベルの保存を測定するために、知識獲得率(KFR)と知識保持率(KRR)を導入している。実験の結果,ReLearnは高品質な出力を保ちながら,目標とするリセットを実現することができた。
論文参考訳（メタデータ） (2025-02-16T16:31:00Z)
ParetoRAG: Leveraging Sentence-Context Attention for Robust and Efficient Retrieval-Augmented Generation [8.223134723149753]
本稿では、RAG(Retrieval-Augmented Generation)システムを最適化する教師なしフレームワークを提案する。段落を文に分解することにより,文脈コヒーレンスを保ちながら,コアコンテンツを動的に再重み付けする。このフレームワークは、さまざまなデータセット、LLM(Large Language Models)、レトリバーで検証されている。
論文参考訳（メタデータ） (2025-02-12T07:32:48Z)
Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。提案手法は2つの共通データセットに対して最先端の性能を達成した。
論文参考訳（メタデータ） (2024-12-24T16:38:04Z)
Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks [11.053340674721005]
検索拡張世代(RAG)は,外部知識ソースを統合することで言語モデルを強化する強力なアプローチとして注目されている。本稿では、リアルタイム検索をバイパスする代替パラダイムであるキャッシュ拡張生成(CAG)を提案する。
論文参考訳（メタデータ） (2024-12-20T06:58:32Z)
Context Awareness Gate For Retrieval Augmented Generation [2.749898166276854]
Retrieval Augmented Generation (RAG) は、大規模言語モデル(LLM)の限界を軽減し、ドメイン固有の質問に答える手段として広く採用されている。これまでの研究は主に、取得したデータチャンクの精度と品質を改善し、生成パイプライン全体のパフォーマンスを向上させることに重点を置いてきた。オープンドメイン質問応答における無関係情報検索の効果について検討し,LLM出力の品質に対する顕著な有害な影響を明らかにする。
論文参考訳（メタデータ） (2024-11-25T06:48:38Z)
Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs in RAG [36.754491649652664]
Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)に外部の知識ソースを利用する権限を与える。本稿では, 回収した「ハードネガティブ」の有害な影響について考察する。これを緩和し、長文LLMベースのRAGの堅牢性を高めるために、トレーニングフリーとトレーニングベースの両方のアプローチを提案する。
論文参考訳（メタデータ） (2024-10-08T12:30:07Z)
Retrieval Meets Reasoning: Dynamic In-Context Editing for Long-Text Understanding [11.5386284281652]
動的インテキスト編集による情報検索を再現する新しい手法を提案する。長大な文脈を拡張可能な外部知識として扱うことにより,本手法は対話的に関連情報を収集・統合する。実験結果から,提案手法はコンテキスト限定LLMを効果的に活用し,マルチホップ推論に有効であることを示す。
論文参考訳（メタデータ） (2024-06-18T06:54:28Z)
Modeling Uncertainty and Using Post-fusion as Fallback Improves Retrieval Augmented Generation with LLMs [80.74263278847063]
検索されたパスと大きな言語モデル(LLM)の統合は、オープンドメインの質問応答の改善に大きく貢献している。本稿では,検索したパスをLLMと組み合わせて回答生成を向上させる方法について検討する。
論文参考訳（メタデータ） (2023-08-24T05:26:54Z)
Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy [164.83371924650294]
検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。 Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
論文参考訳（メタデータ） (2023-05-24T16:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。