論文の概要: REIGN: Refurbished Embeddings with Integrated Guidance Networks for Efficient Context-Length Scaling

• arxiv url: http://arxiv.org/abs/2608.29899v2
• Date: Tue, 01 Sep 2026 07:07:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 14:14:25.986496
• Title: REIGN: Refurbished Embeddings with Integrated Guidance Networks for Efficient Context-Length Scaling
• Title（参考訳）: REIGN: 効率的なコンテキスト長スケーリングのための統合ガイダンスネットワークによる改良型埋め込み
• Authors: Devrim Çavuşoğlu, Emre Akbaş,
• Abstract要約: REIGNは、生のトークンではなく、凍結したガイダンスネットワーク(GN)からのコンテキスト化されたチャンク埋め込みのシーケンスで動作するバイエンコーダである。 コントラストトレーニングと長期文脈における評価のための,合成長文書検索ベンチマークをリリースする。 2組の重要度試験は、特許上の1.6-4.3倍の大きさのモデルと同等であり、LoCo上の20倍大モデルの0.65 nDCG@10の範囲内に留まる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Dense retrieval over long documents is expensive. Token-level encoders scale quadratically in sequence length, and most long-context embedding models reach 32K tokens only through architectural workarounds or by stretching billion-parameter LLMs. We propose REIGN (Refurbished Embeddings with Integrated Guidance Networks), a contrastively trained bi-encoder that operates on sequences of contextualised chunk embeddings from a frozen Guidance Network (GN) rather than on raw tokens. REIGN targets multi-chunk inputs, primarily for document-to-document retrieval; single-chunk inputs stay with the GN. Decoupling token-level processing from document-level reasoning, and caching the GN embeddings to disk, cuts per-document training cost by roughly four orders of magnitude relative to chunked Transformer fine-tuning. We also release a synthetic long-document retrieval benchmark for contrastive training and evaluation at long context lengths. Across an in-distribution Wikipedia benchmark, the LoCo out-of-distribution suite, and a real-world patent retrieval case study, REIGN matches dense long-context retrievers at smaller parameter budgets in each regime. A paired significance test puts it on par with models 1.6-4.3x larger on the patent task, and it stays within 0.65 nDCG@10 of a 20x-larger model on LoCo.
• Abstract（参考訳）: 長いドキュメントのDense検索は高価です。 トークンレベルのエンコーダはシーケンス長を2次に拡張し、ほとんどの長文埋め込みモデルはアーキテクチャ上の回避や10億パラメートルのLLMの拡張によって32Kトークンに到達する。 ReIGN (Refurbished Embeddings with Integrated Guidance Networks) は、生トークンではなく、凍結誘導ネットワーク (GN) からのコンテキスト化されたチャンク埋め込みのシーケンスで動作する、対照的に訓練されたバイエンコーダである。 REIGNは、主に文書から文書への検索のためのマルチチャンク入力をターゲットにしており、シングルチャンク入力はGNに留まっている。 トークンレベルの処理をドキュメントレベルの推論から切り離し、GN埋め込みをディスクにキャッシュすることで、チャンクされたTransformerの微調整と比較して、ドキュメントごとのトレーニングコストを約4桁削減する。 また、コントラストトレーニングと長期文脈における評価のための合成長文書検索ベンチマークもリリースした。 ディストリビューションのベンチマーク、LoCoのアウト・オブ・ディストリビューション・スイート、および現実世界の特許検索ケーススタディにおいて、REIGNは、各レジーム内のより小さなパラメータ予算で、密集した長いコンテキストレトリバーにマッチする。 2組の重要度試験は、特許上の1.6-4.3倍の大きさのモデルと同等であり、LoCo上の20倍大モデルの0.65 nDCG@10の範囲内に留まる。

関連論文リスト

• TongGuOCR: A Layout-Aware and Token-Augmented OCR MLLM for Chinese Historical Documents [50.64307290680222]
  TongGuOCRは、中国古文書のOCRのためのレイアウト対応およびトークン拡張型マルチモーダル言語モデル(MLLM)である。 TongGuOCRは93.76 ARを達成し、NEDを10.43から6.15に、RO-EDを7.53から3.49に下げる。
  論文  参考訳（メタデータ） (2026-08-08T04:50:00Z)
• Training-Free Acceleration for Document Parsing Vision-Language Model with Hierarchical Speculative Decoding [102.88996030431662]
  本稿では,文書解析タスクの学習自由かつ高効率な高速化手法を提案する。 投機的復号化にインスパイアされた私たちは、将来のトークンのバッチを予測するために、ドラフトモデルとして軽量な文書解析パイプラインを使用します。 汎用OmniDocBenchに対するアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2026-02-13T14:22:10Z)
• Hierarchical Embedding Fusion for Retrieval-Augmented Code Generation [6.4453302264198165]
  コード補完のためのリポジトリ表現のための2段階のアプローチである階層埋め込み融合(HEF)を提案する。 HEFはスニペットベースの検索ベースラインに匹敵する正確なマッチング精度を達成する。 グラフベースおよび反復検索システムと比較して、HEFは中央値のエンドツーエンドのレイテンシを13倍から26倍に削減する。
  論文  参考訳（メタデータ） (2026-02-04T14:56:11Z)
• CorpusQA: A 10 Million Token Benchmark for Corpus-Level Analysis and Reasoning [48.56088080889236]
  我々は、新しいデータ合成フレームワークによって生成された1000万のトークンをスケーリングする新しいベンチマークであるCorpusQAを紹介した。 合成データの微調整はLLMの一般的な長文推論能力を効果的に向上させることを示す。 メモリ拡張型エージェントアーキテクチャは,より堅牢な代替手段であることを示す。
  論文  参考訳（メタデータ） (2026-01-21T12:52:30Z)
• SitEmb-v1.5: Improved Context-Aware Dense Retrieval for Semantic Association and Long Story Comprehension [77.93156509994994]
  本研究では,検索性能を向上させるために,より広いコンテキストウインドウに条件付きで短いチャンクを表現する方法を示す。 既存の埋め込みモデルは、そのような場所のコンテキストを効果的にエンコードするのに十分な装備がない。 我々の手法は、最先端の埋め込みモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2025-08-03T23:59:31Z)
• Infinity Parser: Layout Aware Reinforcement Learning for Scanned Document Parsing [46.14775667559124]
  layoutRLは、レイアウトを明示的に認識するようにモデルをトレーニングするエンドツーエンドの強化学習フレームワークである。 堅牢なドキュメント理解の進歩を加速するために、コードとデータセットを公開します。
  論文  参考訳（メタデータ） (2025-06-01T15:19:52Z)
• Efficient Document Ranking with Learnable Late Interactions [73.41976017860006]
  クロスエンコーダ(CE)とデュアルエンコーダ(DE)モデルは,情報検索におけるクエリドキュメント関連性の2つの基本的なアプローチである。 関連性を予測するため、CEモデルは共同クエリドキュメントの埋め込みを使用し、DEモデルは分解クエリとドキュメントの埋め込みを維持している。 近年、DEM構造と軽量スコアラを用いて、より好ましいレイテンシ品質のトレードオフを実現するために、遅延相互作用モデルが提案されている。
  論文  参考訳（メタデータ） (2024-06-25T22:50:48Z)
• Benchmarking and Building Long-Context Retrieval Models with LoCo and M2-BERT [48.35407228760352]
  検索パイプラインは、文書が長い(例えば10Kトークン以上)ドメインや、関連する文書を識別する場合は、テキスト全体にわたって情報を合成する必要がある。 これらのドメインに適した長文検索エンコーダを開発する。 LoCoV1は,チャンキングが不可能か有効でない場合の長文検索のための新しい12タスクベンチマークである。 次に、M2-BERT検索エンコーダについて述べる。M2-BERT検索エンコーダは、Monarch Mixerアーキテクチャから構築された80Mパラメータの状態空間エンコーダモデルであり、最大32Kトークンまで拡張可能である。
  論文  参考訳（メタデータ） (2024-02-12T06:43:52Z)
• Binary Embedding-based Retrieval at Tencent [30.44247353560061]
  大規模埋め込み型検索 (EBR) は, 検索関連産業アプリケーションの基礎となっている。 本稿では,2進二進化アルゴリズムを組み込んだ2進埋め込み型検索エンジンを提案する。 私たちは、導入したBEBRをSogou、Tencent Video、QQ Worldなど、Tencent製品にうまく採用しました。
  論文  参考訳（メタデータ） (2023-02-17T06:10:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。