論文の概要: Improving Long-Context Retrieval with Multi-Prefix Embedding

• arxiv url: http://arxiv.org/abs/2606.23642v1
• Date: Mon, 22 Jun 2026 17:31:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 17:29:54.231094
• Title: Improving Long-Context Retrieval with Multi-Prefix Embedding
• Title（参考訳）: 複数プレフィックス埋め込みによる長期検索の改善
• Authors: Zhenglin Yu, Xueguang Ma, Shengyao Zhuang, Zhichao Xu, Luyu Gao, Crystina Zhang, Jimmy Lin,
• Abstract要約: Multi-Prefix Embeddingは、ドキュメントをEOSトークンで区切られたチャンクに分割し、完全なシーケンスを単一の因果フォワードパスにエンコードし、各プレフィックス境界に1つの埋め込みを抽出する。 MPEはクロスチャンクコンテキストを保持し、チャンクレベルのMaxSimマッチングを可能にし、ドキュメントレベルの関連ラベルのみをトレーニングする。
• 参考スコア（独自算出の注目度）: 64.08968715893504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-context retrieval exposes a tension: single-vector embeddings lose fine-grained detail, while token-level multi-vector methods incur prohibitive storage. We propose Multi-Prefix Embedding (MPE), which partitions a document into chunks separated by EOS tokens, encodes the full sequence in a single causal forward pass, and extracts one embedding at each prefix boundary. MPE retains cross-chunk context, enables chunk-level MaxSim matching, and trains with only document-level relevance labels. Experiments on MLDR-en, BrowseComp-Plus, and LongEmbed show that MPE is competitive with or outperforms single-vector, independent-chunk, and multi-vector baselines, while providing a natural source attribution mechanism for locating evidence chunks.
• Abstract（参考訳）: シングルベクター埋め込みはきめ細かな詳細をなくし、トークンレベルのマルチベクターメソッドは禁止ストレージを発生させる。 本稿では,文書をEOSトークンで区切られたチャンクに分割し,全シーケンスを単一因果フォワードパスにエンコードし,各接頭辞境界に1つの埋め込みを抽出するMPE(Multi-Prefix Embedding)を提案する。 MPEはクロスチャンクコンテキストを保持し、チャンクレベルのMaxSimマッチングを可能にし、ドキュメントレベルの関連ラベルのみをトレーニングする。 MLDR-en、BrowseComp-Plus、LongEmbedの実験では、MPEは単一ベクトル、独立チャンク、および複数ベクトルのベースラインよりも優れており、エビデンスチャンクを見つけるための天然の帰属機構を提供している。

関連論文リスト

• Rethinking RAG in Long Videos: What to Retrieve and How to Use It? [56.38819694781005]
  V-RAGBenchは$langle$query, evidence chunk, answer$rangle$三重項のベンチマークで、検索と生成を忠実に分離した評価を可能にする。 また、CARVEは、コンフィグレーションにまたがって並列レトリバーを動作させ、チャンク毎に入賞構成を識別するためにチャンク適応リランクを用いる手法である。
  論文  参考訳（メタデータ） (2026-06-11T10:05:49Z)
• M3DocDep: Multi-modal, Multi-page, Multi-document Dependency Chunking with Large Vision-Language Models [20.44093242908907]
  LVLMベースのパイプラインであるM3DocDepを提案する。 共有ブロック評価プロトコルの下で、M3DocDepはDHPベンチマークでSTEDSを+28.5から+39.6%改善し、nDCGを+1.1から+15.3%、QA ANLSを+4.5から+15.3%改善した。
  論文  参考訳（メタデータ） (2026-04-17T05:33:45Z)
• Multi-Vector Index Compression in Any Modality [73.7330345057813]
  後期の相互作用は、テキスト、画像、ビジュアルドキュメント、ビデオにおける情報検索の主要なパラダイムとして現れてきた。 インデックス圧縮には,シーケンスリサイズ,メモリトークン,階層プール,新しいアテンション誘導クラスタリング(AGC)の4つのアプローチを導入する。 AGCは、ドキュメントの最もセマンティックな領域をクラスタセントロイドとして識別し、トークンの集合を重み付けするために注意誘導機構を使用する。
  論文  参考訳（メタデータ） (2026-02-24T18:57:33Z)
• Beyond RAG for Agent Memory: Retrieval by Decoupling and Aggregation [22.803751188961865]
  検索は類似性マッチングを超えて移動し、代わりに潜在コンポーネントを操作するべきだと我々は主張する。 我々は、無傷ユニットの階層を構築し、検索可能な高レベルノード組織を維持するxMemoryを提案する。
  論文  参考訳（メタデータ） (2026-02-02T12:04:58Z)
• Read As Human: Compressing Context via Parallelizable Close Reading and Skimming [34.83776292069694]
  RAM (Read As HuMan) は、適応型ハイブリッド読み込み戦略を採用するコンテキスト圧縮フレームワークである。 人間の読書行動にインスパイアされたRAMは、コンテキストをセグメントに分割し、入力クエリを並列にエンコードする。 実験によると、RAMは複数の質問応答と要約ベンチマークで既存のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-02-02T09:10:56Z)
• Hierarchical Token Prepending: Enhancing Information Flow in Decoder-based LLM Embeddings [52.49524240846879]
  本稿では,注目レベルの圧縮と読み出しレベルのオーバーシャッシングを緩和する階層型トークンプレッペンディングを提案する。 HTPは、入力をブロックに分割し、ブロックレベルの要約トークンをその後のブロックにプリペンドし、後方情報フローの経路を作成する。 シンプルなアーキテクチャに依存しない方法として、HTPはゼロショットモデルと微調整モデルの両方を強化し、優れた長期文書埋め込みへのスケーラブルなルートを提供する。
  論文  参考訳（メタデータ） (2025-11-18T19:37:40Z)
• Zero-shot Multimodal Document Retrieval via Cross-modal Question Generation [47.714317480436215]
  PreMIRはMLLMの幅広い知識を活用して、検索前にクロスモーダルな事前質問(preQ)を生成するシンプルなフレームワークである。 実験により、PreMIRは、クローズドドメインやマルチリンガル設定など、分散ベンチマークから得られるアートパフォーマンスの状態を達成している。
  論文  参考訳（メタデータ） (2025-08-23T16:14:41Z)
• FragRel: Exploiting Fragment-level Relations in the External Memory of Large Language Models [54.13671100638092]
  断片接続型階層型メモリベース大規模言語モデル(LLM)を提案する。 外部メモリにおけるフラグメントレベルの関係を定式化し、異なるテキストタイプに対していくつかのインスタンスを提示する。 長いストーリー理解、リポジトリレベルのコード生成、長期チャットにこれらの関係を組み込むことの利点を検証する。
  論文  参考訳（メタデータ） (2024-06-05T09:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。