論文の概要: Self-Conditioned Positional HNSW for Overlap-Aware Retrieval in Chunked-Document RAG Systems: Method and Industrial Evidence-Quality Audit
- arxiv url: http://arxiv.org/abs/2606.01542v1
- Date: Mon, 01 Jun 2026 01:42:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:29.854643
- Title: Self-Conditioned Positional HNSW for Overlap-Aware Retrieval in Chunked-Document RAG Systems: Method and Industrial Evidence-Quality Audit
- Title（参考訳）: チャンクドキュメンテーションRAGシステムにおけるオーバーラップ認識検索のための自己定義型位置対応HNSW:方法と産業的エビデンス・品質監査
- Abstract要約: チャンク文書検索は、検索拡張生成システム(RAG)の一般的なコンポーネントである。
本稿では,低次元の位置符号をチャンク埋め込みに付加する軽量な修正法であるSelf-Conditioned Positional HNSWを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Chunked-document retrieval is a common component of retrieval-augmented generation (RAG) systems. Documents are split into overlapping chunks, embedded, and indexed with approximate nearest-neighbor search such as hierarchical navigable small world graphs (HNSW). Overlap improves boundary coverage but induces a practical failure mode: top-k retrieval often returns near-adjacent chunks that repeat evidence and waste prompt budget. We propose Self-Conditioned Positional HNSW (SCP-HNSW), a lightweight modification that appends a low-dimensional positional code to chunk embeddings and uses a two-pass query procedure to estimate and apply a query-specific document-position prior. SCP-HNSW leaves HNSW graph construction and traversal unchanged while adding an auditable minimum-index-gap selector for final context construction. We also integrate industrial review artifacts for generated evidence quality: a 770-review text-evidence audit with 318 fully labeled reviews and a 70-case OCR audit with 350 ratings. The text audit shows that 574 of 770 projected reviews are rated 3/5, only 39 fall in the 1-2 range, and narrative reviewer detail appears much more often than structured issue flags. The OCR audit shows slice-level pass rates from 95% for clean chat screenshots to 45% for handwritten/blurry captures, with moderate to strong agreement. These results motivate overlap-aware, audit-friendly RAG retrieval and identify the remaining controlled retrieval ablations needed for causal performance claims.
- Abstract（参考訳）: チャンク文書検索は、検索拡張生成システム(RAG)の一般的なコンポーネントである。
文書は重なり合うチャンクに分割され、埋め込みされ、階層的ナビゲート可能な小世界グラフ(HNSW)のようなほぼ隣り合う探索でインデックス付けされる。
Overlapはバウンダリカバレッジを改善するが、実用的な障害モードを誘導する。トップk検索は、エビデンスとムダのプロンプト予算を繰り返す、ほぼ隣接したチャンクを返すことが多い。
SCP-HNSW(Self-Conditioned Positional HNSW)は、低次元の位置コードを付加して埋め込みをチャンクする軽量な修正であり、クエリ固有の文書配置を事前に推定および適用するために2パスのクエリ手順を用いる。
SCP-HNSWはHNSWグラフの構成とトラバーサルをそのまま残し、最終的なコンテキスト構築のための監査可能な最小インデックスギャップセレクタを追加する。
318の完全ラベル付きテキストエビデンス監査と350のレーティングを備えた70ケースのOCR監査です。
テキスト監査では、770件のレビューのうち574件が3/5と評価されており、1-2の範囲に39件しか落ちていない。
OCR監査では、クリーンなチャットスクリーンショットの95%から、手書き/ブルーのキャプチャの45%までのスライスレベルのパスレートが、中程度から強い合意で示されている。
これらの結果は、重複認識、監査フレンドリーなRAG検索を動機付け、因果的パフォーマンスクレームに必要な残りの制御された検索方法を特定する。
関連論文リスト
- VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。
100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。
強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
論文 参考訳（メタデータ） (2026-08-18T15:23:06Z) - AGORA: An Archive-Grounded Benchmark for Agentic Workplace Document Reasoning [52.23991730630292]
大規模言語モデルは、パラメトリックな知識から答えるのではなく、文書を推論するエージェントとして、ますます多くデプロイされている。
大規模な、散らかった職場ファイルの集合にスパース証拠を配置し、一貫性のない用語、単位、時間規則を調整し、答えを計算する。
私たちは、362の質問と9,664の認証ドキュメントと372Mのトークンの8つのドメインコレクションをペアリングするベンチマークであるAgoraを紹介します。
論文 参考訳（メタデータ） (2026-06-23T12:57:18Z) - Novelty-Aware Agentic Retrieval: Comparing Research Contributions Through Structured Multi-Step Reasoning [0.0]
ノベルティ・アウェア・リサーチ・エージェント(英: Novelty-Aware Research Agent)は、エージェント検索システムのプロトタイプである。
RAGパイプライン上の多段階推論を6つのタイプドコントラクトコンポーネントを通じて階層化する。
論文毎のコントリビューション記録、紙レベルのオーバーラップ、問題xメソッドギャップマトリックスなど、構造化された比較アーティファクトを生成する。
論文 参考訳（メタデータ） (2026-06-20T17:04:02Z) - Lost in a Single Vector: Improving Long-Document Retrieval with Chunk Evidence Aggregation [59.438696079345426]
DICEは、ドキュメントをチャンクに分割し、凍結したモデルで独立してエンコードし、それらを単一のベクタに集約する、トレーニング不要のドキュメントサイド戦略である。
LongEmbedでは、DICEは4つのバックボーン間の検索を改善し、4kトークンを超えるスライスで最大の利益を上げている。
12,779個のフィルターサンプルのうち、DICEは92.8%のケースで単一ベクトルベースラインよりも低いEDIが得られる。
論文 参考訳（メタデータ） (2026-06-17T07:44:04Z) - RealDocBench: A Benchmark for Field-Level QA and Layout Understanding on Real-World Regulated Documents [0.9003228139607131]
文書解析システムは、住宅ローンの引受、財務報告、サプライチェーンのロジスティクス、臨床記録などの規制された領域にますます多く展開されている。
ほとんどの公開ベンチマークは、学術的なレイアウトや合成散文のアダプタを評価し、単一のOCRまたはマークダウンレベルの類似度スコアを報告している。
実際に規制された文書から構築された2トラックのベンチマークであるRealDocBenchを紹介する。
論文 参考訳（メタデータ） (2026-06-05T15:41:34Z) - Compliance-Scored Best-of-N Guardrail Orchestration for Multimodal Document Generation in Payments Dispute Defense [0.0]
企業文書の大量生成には、財務紛争の物語、コンプライアンス通知、監査要約が含まれる。
統一されたガードレール層の前に、プロダクションシステムはしばしば別々のPIIリアクション、コンテンツモデレーション、フォーマット検証ステップを縫い合わせていた。
本稿では,テキストと画像入力のためのガードレールオーケストレーションレイヤを提案する。
論文 参考訳（メタデータ） (2026-06-01T00:24:30Z) - Iterative Audit Convergence in LLM-Managed Multi-Agent Systems: A Case Study in Prompt Engineering Quality Assurance [0.0]
AEGISに適用されたエージェント駆動型監査の単一システム事例研究を報告する。
本報告では, 明示的な符号規則, 非単調な収束, 監査スコープの拡がりを含む7カテゴリーの欠陥分類を報告する。
論文 参考訳（メタデータ） (2026-05-12T15:39:04Z) - Query Decomposition for RAG: Balancing Exploration-Exploitation [83.79639293409802]
RAGシステムは複雑なユーザ要求に対処し、それらをサブクエリに分解し、それぞれに関連する可能性のあるドキュメントを取得し、それを集約して回答を生成する。
クエリの分解とドキュメントの検索をエクスプロレーション探索設定で定式化し、一度に1つのドキュメントを検索すると、与えられたサブクエリの有用性についての信念が構築される。
我々の主な発見は、ランク情報と人的判断を用いた文書関連性の推定により、文書レベルの精度が35%向上し、α-nDCGが15%向上し、長文生成の下流タスクの性能が向上するということである。
論文 参考訳（メタデータ） (2025-10-21T13:37:11Z) - Hierarchical Retrieval: The Geometry and a Pretrain-Finetune Recipe [42.35197658021889]
一致するクエリとドキュメントのペアを類似したベクトル表現に埋め込んだデュアルエンコーダ(DE)モデルは、情報検索に広く利用されている。
本稿では,階層的検索(HR)の文脈において,文書集合が階層構造を持ち,クエリに適合する文書がすべてその祖先であるような制約について検討する。
近い文書の性能を犠牲にすることなく、長距離検索を大幅に改善するプレトレインファインチューンレシピを提案する。
論文 参考訳（メタデータ） (2025-09-19T20:35:58Z) - ImpliRet: Benchmarking the Implicit Fact Retrieval Challenge [50.93758649363798]
Impliretは、推論の課題をドキュメント側処理にシフトするベンチマークである。
我々は,この環境下で苦戦している,疎水・密集したレトリバーの幅を評価した。
論文 参考訳（メタデータ） (2025-06-17T11:08:29Z) - Hierarchical Retrieval with Evidence Curation for Open-Domain Financial Question Answering on Standardized Documents [9.173952465423966]
標準化されたドキュメントは、反復的なボイラープレートテキストや同様のテーブル構造など、同様のフォーマットを共有している。
この類似性により、従来のRAGメソッドは、ほぼ重複したテキストを誤識別し、精度と完全性を損なう重複検索につながる。
本稿では,これらの問題に対処するためのEvidence Curationフレームワークを用いた階層検索手法を提案する。
論文 参考訳（メタデータ） (2025-05-26T11:08:23Z) - DAPR: A Benchmark on Document-Aware Passage Retrieval [57.45793782107218]
我々は,このタスクemphDocument-Aware Passage Retrieval (DAPR)を提案する。
State-of-The-Art(SoTA)パスレトリバーのエラーを分析しながら、大きなエラー(53.5%)は文書コンテキストの欠如に起因する。
提案するベンチマークにより,検索システムの開発・比較を今後行うことができる。
論文 参考訳（メタデータ） (2023-05-23T10:39:57Z) - GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。
FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
論文 参考訳（メタデータ） (2022-04-12T03:49:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。