論文の概要: A Simple and Effective Framework for Symmetric Consistent Indexing in Large-Scale Dense Retrieval

• arxiv url: http://arxiv.org/abs/2512.13074v1
• Date: Mon, 15 Dec 2025 08:11:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.580004
• Title: A Simple and Effective Framework for Symmetric Consistent Indexing in Large-Scale Dense Retrieval
• Title（参考訳）: 大規模Dense RetrievalにおけるSymmetric Consistent Indexingのための簡易かつ効果的なフレームワーク
• Authors: Huimu Wang, Yiming Qiu, Xingzhi Yao, Zhiguo Chen, Guoyu Tang, Songlin Wang, Sulong Xu, Mingming Li,
• Abstract要約: 大規模情報検索システムでは,高効率・競争精度のため,高密度検索が業界標準となっている。 広く採用されているデュアルトウワー符号化アーキテクチャは、主に表現空間のミスアライメントと検索インデックスの不整合という、固有の課題を導入している。 本稿では2つの相乗的モジュールからなるシンプルで効果的なSCIフレームワークを提案する。 提案手法の有効性は,公開データセットと実世界のeコマースデータセットにまたがる結果によって検証され,理論的に保証される。
• 参考スコア（独自算出の注目度）: 11.72564658353791
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dense retrieval has become the industry standard in large-scale information retrieval systems due to its high efficiency and competitive accuracy. Its core relies on a coarse-to-fine hierarchical architecture that enables rapid candidate selection and precise semantic matching, achieving millisecond-level response over billion-scale corpora. This capability makes it essential not only in traditional search and recommendation scenarios but also in the emerging paradigm of generative recommendation driven by large language models, where semantic IDs-themselves a form of coarse-to-fine representation-play a foundational role. However, the widely adopted dual-tower encoding architecture introduces inherent challenges, primarily representational space misalignment and retrieval index inconsistency, which degrade matching accuracy, retrieval stability, and performance on long-tail queries. These issues are further magnified in semantic ID generation, ultimately limiting the performance ceiling of downstream generative models. To address these challenges, this paper proposes a simple and effective framework named SCI comprising two synergistic modules: a symmetric representation alignment module that employs an innovative input-swapping mechanism to unify the dual-tower representation space without adding parameters, and an consistent indexing with dual-tower synergy module that redesigns retrieval paths using a dual-view indexing strategy to maintain consistency from training to inference. The framework is systematic, lightweight, and engineering-friendly, requiring minimal overhead while fully supporting billion-scale deployment. We provide theoretical guarantees for our approach, with its effectiveness validated by results across public datasets and real-world e-commerce datasets.
• Abstract（参考訳）: 大規模情報検索システムでは,高効率・競争精度のため,高密度検索が業界標準となっている。 その中核は、素早い候補の選択と正確なセマンティックマッチングを可能にし、数十億規模のコーパスに対してミリ秒レベルの応答を達成する、粗大な階層アーキテクチャに依存している。 この能力は、従来の検索とレコメンデーションのシナリオだけでなく、大きな言語モデルによって駆動される生成的レコメンデーションの新たなパラダイムにも欠かせない。 しかし、広く採用されているデュアルトウワー符号化アーキテクチャは、主に表現空間の不整合と検索インデックスの不整合という固有の課題を導入し、マッチング精度、検索安定性、ロングテールクエリの性能を低下させる。 これらの問題はセマンティックID生成においてさらに拡大され、最終的に下流生成モデルの性能上限が制限される。 本稿では,2つの相乗的モジュールからなるシンプルで効果的なSCIというフレームワークを提案する。このモジュールは,パラメータを加味せずに2つの相乗表現空間を統一する,革新的なインプット・スワッピング機構を取り入れた,対称的表現アライメントモジュールであり,2つの相乗的モジュールは2つの相乗的モジュールを用いて検索経路を再設計し,トレーニングから推論までの整合性を維持する。 フレームワークはシステマティックで軽量でエンジニアリングフレンドリで、オーバーヘッドを最小限にし、数十億規模のデプロイメントを完全にサポートしています。 提案手法の有効性は,公開データセットと実世界のeコマースデータセットにまたがる結果によって検証され,理論的に保証される。

関連論文リスト

• Unifying Tree Search Algorithm and Reward Design for LLM Reasoning: A Survey [92.71325249013535]
  線形木探索はLarge Language Model (LLM) 研究の基盤となっている。 本稿では,検索アルゴリズムを3つのコアコンポーネントに分解する統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-11T03:29:18Z)
• Dynamic Generation of Multi-LLM Agents Communication Topologies with Graph Diffusion Models [99.85131798240808]
  我々はtextitGuided Topology Diffusion (GTD) と呼ばれる新しい生成フレームワークを導入する。 条件付き離散グラフ拡散モデルにインスパイアされたGTD式は、反復的な構成過程としてトポロジー合成を行う。 各ステップで生成は、多目的報酬を予測する軽量プロキシモデルによって制御される。 実験により、GTDは高いタスク適応性、スパース、効率的な通信トポロジを生成できることが示されている。
  論文  参考訳（メタデータ） (2025-10-09T05:28:28Z)
• UniDex: Rethinking Search Inverted Indexing with Unified Semantic Modeling [13.460255805106124]
  逆索引付けは、伝統的に現代の検索システムの基盤であり、クエリとドキュメントの関連性を決定するために正確な項マッチングを活用してきた。 Inverted indexing に革命をもたらすために統合意味モデリングを利用する新しいモデルベース手法である UniDex を提案する。 提案手法には,クエリとドキュメントをセマンティックIDにマッピングして検索を改善するUniTouchと,セマンティックマッチングを用いて検索結果を効率的にランク付けするUniRankの2つの重要なコンポーネントが含まれている。
  論文  参考訳（メタデータ） (2025-09-29T11:41:12Z)
• Leveraging Generative Models for Real-Time Query-Driven Text Summarization in Large-Scale Web Search [54.987957691350665]
  クエリ駆動テキスト要約(QDTS)は、与えられたクエリに基づいてテキスト文書から簡潔で情報的な要約を生成することを目的としている。 従来の抽出的要約モデルは、主にランク付け候補の要約セグメントに基づいており、産業応用において支配的なアプローチとなっている。 産業Web検索におけるリアルタイムQDTSに対処するための生成モデルの適用を開拓するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-28T08:51:51Z)
• Simplifying Data Integration: SLM-Driven Systems for Unified Semantic Queries Across Heterogeneous Databases [0.0]
  本稿では,Small Language Model(SLM)をベースとした,軽量な検索・拡張生成(RAG)とセマンティック・アウェアなデータ構造化の進歩を相乗化するシステムを提案する。 SLMを用いた構造化データ抽出にMiniRAGのセマンティック・アウェア・ヘテロジニアス・グラフインデックスとトポロジ・エンハンス・検索を統合し,従来の手法の限界に対処する。 実験結果は精度と効率性において優れた性能を示し、教師なし評価指標としてのセマンティックエントロピーの導入はモデルの不確実性に対する堅牢な洞察を提供する。
  論文  参考訳（メタデータ） (2025-04-08T03:28:03Z)
• Diffusion Augmented Retrieval: A Training-Free Approach to Interactive Text-to-Image Retrieval [7.439049772394586]
  Diffusion Augmented Retrieval (DAR)は、複数の中間表現を生成するフレームワークである。 DARの結果は微調整されたI-TIRモデルと同等だが、チューニングオーバーヘッドは発生しない。
  論文  参考訳（メタデータ） (2025-01-26T03:29:18Z)
• Unleash LLMs Potential for Recommendation by Coordinating Twin-Tower Dynamic Semantic Token Generator [60.07198935747619]
  動的セマンティック・インデックス・パラダイムを採用した最初の生成型RSであるTTDS(Twin-Tower Dynamic Semantic Recommender)を提案する。 より具体的には、ツイン・トワー・セマンティック・トークン・ジェネレータをLLMベースのレコメンデータに統合する動的知識融合フレームワークを初めて提案する。 提案したTTDSレコメンデータは,平均19.41%のヒットレート,20.84%のNDCG測定値を実現している。
  論文  参考訳（メタデータ） (2024-09-14T01:45:04Z)
• CART: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
  クロスモーダル検索は、異なるモーダルデータの相互作用を通じて、クエリと意味的に関連するインスタンスを検索することを目的としている。 従来のソリューションでは、クエリと候補の間のスコアを明示的に計算するために、シングルトウワーまたはデュアルトウワーのフレームワークを使用している。 粗大なセマンティックモデリングに基づく生成的クロスモーダル検索フレームワーク(CART)を提案する。
  論文  参考訳（メタデータ） (2024-06-25T12:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。