論文の概要: Extreme Meta-Classification for Large-Scale Zero-Shot Retrieval

• arxiv url: http://arxiv.org/abs/2606.25237v1
• Date: Tue, 23 Jun 2026 23:41:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.166921
• Title: Extreme Meta-Classification for Large-Scale Zero-Shot Retrieval
• Title（参考訳）: 大規模ゼロショット検索のための極端メタ分類
• Authors: Sachin Yadav, Deepak Saini, Anirudh Buvanesh, Bhawna Paliwal, Kunal Dahiya, Siddarth Asokan, Yashoteja Prabhu, Jian Jiao, Manik Varma,
• Abstract要約: 本研究では,新規(ゼロショット)アイテムが高速に連続して到着可能な大規模検索タスクに対する効率的なソリューションを開発する。 従来のSiameseスタイルのアプローチでは、クエリとアイテムの両方を小さなエンコーダに埋め込んで、クエリに最も近いアイテムを検索する。 本稿では,新しいアルゴリズムフレームワークであるEMMETTを開発し,新しいアイテムをオンザフライで効率的に分類する。 新しいアルゴリズムであるIRENEはEMMETTのシンプルで効果的なインスタンスであり、大規模デプロイメントに特に適している。
• 参考スコア（独自算出の注目度）: 15.170326567391378
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We develop accurate and efficient solutions for large-scale retrieval tasks where novel (zero-shot) items can arrive continuously at a rapid pace. Conventional Siamese-style approaches embed both queries and items through a small encoder and retrieve the items lying closest to the query. While this approach allows efficient addition and retrieval of novel items, the small encoder lacks sufficient capacity for the necessary world knowledge in complex retrieval tasks. The extreme classification approaches have addressed this by learning a separate classifier for each item observed in the training set which significantly increases the representation capacity of the model. Such classifiers outperform Siamese approaches on observed items, but cannot be trained for novel items due to data and latency constraints. To bridge these gaps, this paper develops: (1) A new algorithmic framework, EMMETT, which efficiently synthesizes classifiers on-the-fly for novel items, by relying on the readily available classifiers for observed items; (2) A new algorithm, IRENE, which is a simple and effective instance of EMMETT that is specifically suited for large-scale deployments, and (3) A new theoretical framework for analyzing the generalization performance in large-scale zero-shot retrieval which guides our algorithm and training related design decisions. Comprehensive experiments are conducted on a wide range of retrieval tasks which demonstrate that IRENE improves the zero-shot retrieval accuracy by up to 15% points in Recall@10 when added on top of leading encoders. Additionally, on an online A/B test in a large-scale ad retrieval task in a major search engine, IRENE improved the ad click-through rate by 4.2%. Lastly, we validate our design choices through extensive ablative experiments. The source code for IRENE is available at https://aka.ms/irene.
• Abstract（参考訳）: 我々は,新規(ゼロショット)アイテムが高速に連続して到着可能な大規模検索タスクに対して,正確かつ効率的なソリューションを開発する。 従来のSiameseスタイルのアプローチでは、クエリとアイテムの両方を小さなエンコーダに埋め込んで、クエリに最も近いアイテムを検索する。 このアプローチは、新しいアイテムの効率的な追加と検索を可能にするが、複雑な検索タスクにおいて、必要な世界知識の十分な能力に欠ける。 極端な分類手法は、モデルの表現能力を大幅に向上させる訓練セットで観察された各項目の別個の分類器を学習することで、この問題に対処してきた。 このような分類器は、観測された項目に対してSameseアプローチより優れているが、データやレイテンシの制約により、新しい項目に対してトレーニングすることはできない。 これらのギャップを埋めるために,(1)新しいアルゴリズムであるEMMETT,(2)大規模展開に適したEMMETTの単純かつ効果的なインスタンスであるIRENE,(3)大規模ゼロショット検索における一般化性能を解析し,アルゴリズムを指導し,関連する設計決定を訓練する新たな理論的フレームワークを開発した。 IRENEはリードエンコーダに加えられた場合、Recall@10において、ゼロショット検索精度を最大15%向上することを示した。 さらに、大手検索エンジンの大規模広告検索タスクにおけるオンラインA/Bテストでは、IRENEは広告クリックスルー率を4.2%改善した。 最後に、広範囲なアブレーション実験を通じて設計選択を検証する。 IRENEのソースコードはhttps://aka.ms/irene.comで入手できる。

関連論文リスト

• OThink-SRR1: Search, Refine and Reasoning with Reinforced Learning for Large Language Models [27.82040547996176]
  OThink-SRR1は、強化学習を通じてトレーニングされた反復的なサーチ-リファイン-推論プロセスで大きなモデルを強化するフレームワークである。 その中核となるRefineステージは、回収された文書を推論する前に簡潔で関連する事実に蒸留する。 4つのマルチホップQAベンチマーク実験により,提案手法はより少ない検索ステップとトークンを用いながら,強いベースラインよりも優れた精度が得られることが示された。
  論文  参考訳（メタデータ） (2026-03-27T03:06:29Z)
• Multi-hop Reasoning via Early Knowledge Alignment [68.28168992785896]
  アーリー・ナレッジ・アライメント(EKA)は、大規模言語モデルと文脈的に関連づけられた知識を整合させることを目的としている。 EKAは検索精度を大幅に改善し、カスケードエラーを低減し、性能と効率を向上する。 EKAは、大規模モデルにシームレスにスケールする、多目的でトレーニング不要な推論戦略として有効である。
  論文  参考訳（メタデータ） (2025-12-23T08:14:44Z)
• MARAG-R1: Beyond Single Retriever via Reinforcement-Learned Multi-Tool Agentic Retrieval [50.30107119622642]
  大規模言語モデル(LLM)は推論と生成において優れているが、本質的には静的事前学習データによって制限されている。 Retrieval-Augmented Generation (RAG)は、LLMを外部知識に基盤を置くことでこの問題に対処する。 MarAG-R1は、LLMが複数の検索機構を動的に調整できる強化学習型マルチツールRAGフレームワークである。
  論文  参考訳（メタデータ） (2025-10-31T15:51:39Z)
• Generating Query-Relevant Document Summaries via Reinforcement Learning [5.651096645934245]
  ReLSumは、検索関連性に最適化された製品記述のクエリ関連要約を生成するために設計された強化学習フレームワークである。 このフレームワークは、トレーニング可能な大言語モデル(LLM)を使用して要約を生成し、その後、クロスエンコーダランキングモデルの入力として使用される。 実験の結果、オンラインユーザエンゲージメント指標と同様に、リコールやNDCGを含むオフラインメトリクスの大幅な改善が示されている。
  論文  参考訳（メタデータ） (2025-08-11T18:52:28Z)
• O1 Embedder: Let Retrievers Think Before Action [28.583031173137428]
  我々は,対象文書の検索に先立って,入力クエリに有用な思考を生成するO1 Embedderを提案する。 私たちのアプローチは、12の一般的なデータセットで大幅に改善される包括的な実験によって評価されます。 これらの結果は、O1 Embedderの顕著な精度と一般化性を強調し、次世代IR基盤モデルの開発への道を開いた。
  論文  参考訳（メタデータ） (2025-02-11T13:48:10Z)
• A Fresh Take on Stale Embeddings: Improving Dense Retriever Training with Corrector Networks [81.2624272756733]
  密集検索では、ディープエンコーダは入力とターゲットの両方に埋め込みを提供する。 我々は、古いキャッシュされたターゲット埋め込みを調整できる小さなパラメトリック補正ネットワークを訓練する。 私たちのアプローチは、トレーニング中にターゲット埋め込み更新が行われなくても、最先端の結果と一致します。
  論文  参考訳（メタデータ） (2024-09-03T13:29:13Z)
• How Does Generative Retrieval Scale to Millions of Passages? [68.98628807288972]
  各種コーパス尺度における生成的検索手法の実証的研究を行った。 我々は8.8Mパスのコーパスで数百万のパスに生成検索をスケールし、モデルサイズを最大11Bパラメータまで評価する。 生成的検索は、小さなコーパス上の最先端のデュアルエンコーダと競合するが、数百万のパスへのスケーリングは依然として重要で未解決の課題である。
  論文  参考訳（メタデータ） (2023-05-19T17:33:38Z)
• Improving Few-Shot Generalization by Exploring and Exploiting Auxiliary Data [100.33096338195723]
  補助データを用いたFew-shot Learning(FLAD)に焦点を当てる。 FLADは、一般化を改善するために、数ショットの学習中に補助データへのアクセスを前提としている。 提案するアルゴリズムは EXP3-FLAD と UCB1-FLAD の2つである。
  論文  参考訳（メタデータ） (2023-02-01T18:59:36Z)
• CorpusBrain: Pre-train a Generative Retrieval Model for Knowledge-Intensive Language Tasks [62.22920673080208]
  単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。 我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
  論文  参考訳（メタデータ） (2022-08-16T10:22:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。