論文の概要: Chunk Recomputation under Real Document Revisions: Measuring Update Cost and Retrieval Quality of Fixed, Recursive, and Content-Defined Chunking
- arxiv url: http://arxiv.org/abs/2610.31019v1
- Date: Thu, 22 Oct 2026 09:54:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.312988
- Title: Chunk Recomputation under Real Document Revisions: Measuring Update Cost and Retrieval Quality of Fixed, Recursive, and Content-Defined Chunking
- Title（参考訳）: 実文書改訂によるチャンク再計算:修正・再帰・内容決定チャンクの更新コストと検索品質の測定
- Abstract要約: 検索強化生成のためのチャンキング戦略は、ほぼ常に静的スナップショットで評価される。
このアップデートの費用は、中国語と英語のウィキペディアの120対で測る。
- 参考スコア（独自算出の注目度）: 4.087496677340278
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Chunking strategies for retrieval-augmented generation are almost always evaluated on a static snapshot, yet the documents underlying a knowledge base continue to change. Because chunks are embedded independently, a boundary that moves after an edit forces unchanged text to be re-embedded. We measure this update cost on 120 pairs of adjacent Chinese and English Wikipedia revisions for three stateless chunkers (non-overlapping fixed-size, recursive paragraph-first, and content-defined chunking) under a strict byte-identical reuse rule and a frozen dense encoder. On the 116-article common-success pool, with frozen, length-calibrated parameters, fixed-size chunking recomputes 57-68% of its full new-version embedding-input workload, recursive chunking 38-56%, and content-defined chunking 43-54% (it failed on 4 of 62 Chinese articles), while at these parameters mean evidence recall under a fixed 2048-token retrieval budget differs by less than two percentage points within either language. A cost-only parameter grid shows that the ranking of the two content-aware chunkers changes with chunk-length settings, whereas non-overlapping fixed-size chunking has the highest recomputation cost in every length-matched condition. Controlled edits and a verbatim-presence diagnostic support boundary drift as one contributor to recomputation of text already present in the previous version. Update cost is therefore a substantial, parameter-sensitive dimension that static retrieval evaluations do not expose and that should be reported alongside retrieval quality.
- Abstract（参考訳）: 検索強化生成のためのチャンキング戦略は、ほとんど常に静的スナップショットで評価されるが、知識ベースの基礎となるドキュメントは変更され続けている。
チャンクは独立して埋め込まれているため、編集後に動く境界は、変更したテキストを再埋め込みするように強制する。
この更新コストは、厳密なバイト単位の再利用ルールと凍結された高密度エンコーダの下で、3つのステートレスチャンカー(重複しない固定サイズ、再帰的な段落、コンテンツ定義チャンカー)に対して、隣接する中国語と英語のウィキペディアの120対について測定する。
116-Article Common-Success poolでは、凍結、長さ校正パラメータ、固定サイズチャンク再計算(57-68%)、完全新バージョン埋め込みインプットワークロード、再帰チャンク38-56%、コンテンツ定義チャンク43-54%(62の論文の4つで失敗した)、そしてこれらのパラメータでは、固定された2048-tokenの回収予算の下でリコールされた証拠は、どちらの言語でも2ポイント未満の差がある。
コストのみのパラメータグリッドは、2つのコンテンツ認識チャンカーのランキングがチャンク長設定で変化するのに対して、重複しない固定サイズのチャンクは長さ整合条件ごとに最も高い再計算コストを有することを示す。
制御された編集と冗長存在診断支援境界ドリフトは、以前のバージョンにすでに存在するテキストの再計算に寄与する1つの要因である。
したがって、更新コストは、静的検索評価が公開せず、検索品質と並行して報告すべき、かなりのパラメータ依存の次元である。
関連論文リスト
- REIGN: Refurbished Embeddings with Integrated Guidance Networks for Efficient Context-Length Scaling [0.0]
REIGNは、生のトークンではなく、凍結したガイダンスネットワーク(GN)からのコンテキスト化されたチャンク埋め込みのシーケンスで動作するバイエンコーダである。
コントラストトレーニングと長期文脈における評価のための,合成長文書検索ベンチマークをリリースする。
2組の重要度試験は、特許上の1.6-4.3倍の大きさのモデルと同等であり、LoCo上の20倍大モデルの0.65 nDCG@10の範囲内に留まる。
論文 参考訳（メタデータ） (2026-08-30T16:50:38Z) - RAG Deserves an Index: Why Ingest-Time Compilation Beats Query-Time Interpretation [0.3887079592126372]
私たちはこのパラダイムをISC(Ingest-time semantic compilation)と呼んでいる。
独自のDDL、メンテナンス契約、移行契約、コストモデルを備えたファーストクラスのデータベースオブジェクトを構築します。
収集ペイロードが32の予算単位のセルすべてに勝つと、500の放送閲覧書き起こしの保持されたサンプルで、クレームがコンパイルされた。
論文 参考訳（メタデータ） (2026-08-21T08:08:48Z) - PatchKV: Efficient KV Cache Recovery for Dynamically Edited LLM Contexts [24.13656412709201]
PatchKVは、サフィックス保存リビジョンのためのプロファイル誘導リカバリシステムである。
オフライン長条件ドリフトモデルを用いて、編集ローカルな汚れ領域を予測する。
保存された注意から選択された緩やかな非局所ブロックでこの領域を拡大し、それらのユニオンを固定された修復セットにブロックする。
論文 参考訳（メタデータ） (2026-08-18T11:17:02Z) - Cost Scales with Change, Not Corpus Size: Incrementally Maintaining an Evolving Semantic Substrate [0.3887079592126372]
コーパスがあらゆる質問に何を意味するかを再定義する代わりに、文書が到着すると一度だけ作業が行われ、その後単に相談される。
もう一つの方法は、一度その意味を取り込みながら、コンパクトでクエリ可能なセマンティック基質にコンパイルし、コーパスが進化するにつれてそれを維持することである。
私たちは、メンテナンスコストはコーパスサイズではなく、変化の量とともにスケールする、と実証的に主張し、示す。
論文 参考訳（メタデータ） (2026-08-17T14:21:15Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳（メタデータ） (2026-06-02T07:01:33Z) - Query-Adaptive Semantic Chunking for Retrieval-Augmented Generation: A Dynamic Strategy with Contextual Window Expansion [0.0]
本稿では,クエリを3つのメカニズムを通じてセグメンテーションに統合することにより,チャンクを動的に構築するクエリ適応セマンティックチャンキング(QASC)を提案する。
QASCのF1スコアは0.85で、固定チャンクよりも18-27%、意味論的およびエージェント的代替よりも8-12%向上している。
論文 参考訳（メタデータ） (2026-04-29T06:40:53Z) - A Parametric Memory Head for Continual Generative Retrieval [52.66674234249913]
生成情報検索(GenIR)は、検索を単一のニューラルモデルに統合し、クエリから直接ドキュメント識別子(ドシデント)をデコードする。
逐次適応は、新たに追加された文書の検索を改善するが、以前のスライスの性能は著しく低下することを示す。
本稿では,モジュール型パラメトリックメモリヘッドで適応モデルを拡張するメモリのみの安定化ステージである,後適応メモリチューニング(PAMT)を提案する。
論文 参考訳（メタデータ） (2026-04-25T17:38:51Z) - $G^2$-Reader: Dual Evolving Graphs for Multimodal Document QA [53.491241153213565]
G2$-Readerはマルチモーダルな質問応答のためのデュアルグラフシステムである。
Qwen3-VL-32B-Instructによる$G2$-Readerの平均精度は66.21%に達し、強力なベースラインとスタンドアローンのGPT-5(53.08%)を上回った。
5つのマルチモーダルドメインにわたるVisDoMBenchでは、Qwen3-VL-32B-Instructを使った$G2$-Readerが平均精度66.21%に達し、強力なベースラインとスタンドアロンのGPT-5(53.08%)を上回っている。
論文 参考訳（メタデータ） (2026-01-29T17:52:54Z) - Rebalancing Contrastive Alignment with Bottlenecked Semantic Increments in Text-Video Retrieval [48.85977777168096]
Gap-Aware Retrievalフレームワークは、テキスト$t_i$とビデオ$v_j$の間で、学習可能なペア固有のインクリメント$Delta_ij$を導入している。
セマンティックギャップに条件付けされた軽量なニューラルモジュールは、構造認識の修正のためにバッチ間で増分する。
4つのベンチマークの実験は、GAREが一貫してアライメント精度とロバスト性を改善することを示した。
論文 参考訳（メタデータ） (2025-05-18T17:18:06Z) - vCache: Verified Semantic Prompt Caching [95.16654660556975]
本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。
オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。
我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
論文 参考訳（メタデータ） (2025-02-06T04:16:20Z) - How Does Generative Retrieval Scale to Millions of Passages? [68.98628807288972]
各種コーパス尺度における生成的検索手法の実証的研究を行った。
我々は8.8Mパスのコーパスで数百万のパスに生成検索をスケールし、モデルサイズを最大11Bパラメータまで評価する。
生成的検索は、小さなコーパス上の最先端のデュアルエンコーダと競合するが、数百万のパスへのスケーリングは依然として重要で未解決の課題である。
論文 参考訳（メタデータ） (2023-05-19T17:33:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。