論文の概要: Contextual Embeddings Beyond the Gold Chunk

• arxiv url: http://arxiv.org/abs/2610.38854v1
• Date: Wed, 28 Oct 2026 20:34:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.416622
• Title: Contextual Embeddings Beyond the Gold Chunk
• Title（参考訳）: ゴールドチョークを超えたコンテキスト埋め込み
• Abstract要約: 現実世界のユースケースでは、レトリバーは複数のチャンクにまたがる回答を見つけるだけでなく、それらを検証するのに必要な証拠を明らかにする必要がある。 plx-embed-v2-contextは、問合せ対応のコンテキスト圧縮モデルから、グレードされたチャンクレベルの関連性を抽出して訓練されたコンテキスト埋め込みモデルのファミリーである。 plx-embed-v2-context in 9B and 0.6B sizes with compatible embedded space。
• 参考スコア（独自算出の注目度）: 5.27482185841751
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Contextual embeddings represent chunks of a document with respect to the document's global context. These models are typically trained and evaluated under the assumption that a relevant document contains only a single relevant chunk. In this work, we argue that in real-world use cases a retriever should not only find answers spread over several chunks but also surface the evidence needed to verify them. To address this, we introduce pplx-embed-v2-context, a family of contextual embedding models trained by distilling graded chunk-level relevance from a query-aware context compression model. This removes the need for gold-chunk labels and makes the training targets independent of the chunking. We utilize a vision-language backbone for training and release pplx-embed-v2-context in 9B and 0.6B sizes with compatible embedding spaces. On the evaluation side, we introduce two benchmarks that label both the chunks that answer a query and the evidence needed to verify the answer. Context-bench is a controlled diagnostic, and Q2D-Chunk is built from real-world search queries. To encourage further research, we also publish Q2D-Chunk as a public leaderboard. Our 9B model sets a new state of the art on both benchmarks and ConTEB. We find that the visual retrieval capabilities of our 9B model transfer from its vision-language base model and propose to extend chunking to image inputs. We demonstrate that our models achieve state-of-the-art performance among dense retrievers on visual ViDoRe-V3 and that performance improves with granular image chunking.
• Abstract（参考訳）: コンテキスト埋め込みは、文書のグローバルコンテキストに関する文書のチャンクを表す。 これらのモデルは通常、関連するドキュメントが1つの関連するチャンクだけを含むという前提の下で訓練され、評価される。 この研究では、現実世界のユースケースでは、レトリバーは複数のチャンクにまたがる回答を見つけるだけでなく、それらを検証するのに必要な証拠を明らかにするべきだと論じる。 plx-embed-v2-contextは、問合せ対応のコンテキスト圧縮モデルから、グレードされたチャンクレベルの関連性を蒸留することによって訓練されたコンテキスト埋め込みモデルのファミリーである。 これにより、ゴールドチョークラベルの必要性を排除し、トレーニングターゲットをチャンキングから独立させる。 plx-embed-v2-context in 9B and 0.6B sizes with compatible embedded space。 評価面では、問合せに回答するチャンクと、その答を検証するために必要な証拠の両方をラベル付けする2つのベンチマークを導入する。 Context-benchはコントロールされた診断であり、Q2D-Chunkは現実世界の検索クエリから構築されている。 さらなる研究を促進するため、Q2D-Chunkを公開リーダボードとして公開しています。 当社の9Bモデルは、ベンチマークとConTEBの両方で新しい最先端のモデルを設定しています。 視覚言語ベースモデルから9Bモデルの視覚的検索能力を抽出し,チャンキングを画像入力に拡張することを提案する。 視覚的ViDoRe-V3における高密度検索器の最先端性能を実証し,粒状画像のチャンキングにより性能が向上することを示した。

関連論文リスト

• pplx-embed-v2-late Technical Report [5.12236413440826]
  plx-embed-v2-late, a pair of 0.6B and 9B multilingual and multimodal late-interaction model。 どちらのモデルも、テキスト、画像、およびビジュアル文書検索ベンチマークによって、各サイズのクラスで最先端の結果を得る。
  論文  参考訳（メタデータ） (2026-10-21T10:10:26Z)
• Chain of Evidence: Pixel-Level Visual Attribution for Iterative Retrieval-Augmented Generation [19.889854990300595]
  反復検索拡張生成(iRAG)は、複雑なマルチホップ問題に答える強力なパラダイムとして登場した。 Evidence (CoE) の textbfChain について述べる。
  論文  参考訳（メタデータ） (2026-05-02T06:40:42Z)
• Multimodal OCR: Parse Anything from Documents [72.69545534962234]
  dots.mocrは、チャート、ダイアグラム、テーブル、アイコンなどのビジュアル要素を第一級解析ターゲットとして扱う。 テキストとグラフィックの両方を構造化出力として再構築し、より忠実なドキュメント再構築を可能にする。 不均一なドキュメント要素に対するエンドツーエンドのトレーニングをサポートする。
  論文  参考訳（メタデータ） (2026-03-13T14:42:21Z)
• SitEmb-v1.5: Improved Context-Aware Dense Retrieval for Semantic Association and Long Story Comprehension [77.93156509994994]
  本研究では,検索性能を向上させるために,より広いコンテキストウインドウに条件付きで短いチャンクを表現する方法を示す。 既存の埋め込みモデルは、そのような場所のコンテキストを効果的にエンコードするのに十分な装備がない。 我々の手法は、最先端の埋め込みモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2025-08-03T23:59:31Z)
• Context is Gold to find the Gold Passage: Evaluating and Training Contextual Document Embeddings [25.966475857117175]
  本研究では,文書ワイドコンテキストを利用した検索モデルの評価を行うためのベンチマークであるConTEBを紹介する。 以上の結果から,最先端の埋め込みモデルは,コンテキストが必要な検索シナリオで苦労していることがわかった。 InSeNTは、遅延チャンキングプーリングと組み合わせることで文脈表現学習が促進される、新しい対照的なポストトレーニング手法である。
  論文  参考訳（メタデータ） (2025-05-30T16:43:28Z)
• Advancing Visual Grounding with Scene Knowledge: Benchmark and Method [74.72663425217522]
  ビジュアルグラウンドディング(VG)は、視覚と言語の間にきめ細かいアライメントを確立することを目的としている。 既存のVGデータセットの多くは、単純な記述テキストを使って構築されている。 我々は、アンダーラインScene underline-guided underlineVisual underlineGroundingの新たなベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-07-21T13:06:02Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。