論文の概要: AutoIndex: Learning Representation Programs for Retrieval

• arxiv url: http://arxiv.org/abs/2607.18603v1
• Date: Tue, 21 Jul 2026 00:32:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.283134
• Title: AutoIndex: Learning Representation Programs for Retrieval
• Title（参考訳）: AutoIndex: 検索のための表現プログラムの学習
• Abstract要約: 本稿では,表現プログラムを学習するためのフレームワークであるAutoIndexを紹介する。 AutoIndexはインデックス作成前に文書をスライス、エンリッチ、正規化、再重み付け、再編成するプログラムを検索する。 異種検索タスクのベンチマークであるCRUMB上でAutoIndexを評価する。
• 参考スコア（独自算出の注目度）: 6.576924495446175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present AutoIndex, a framework for learning representation programs: executable transformations that map raw documents into the representations exposed to a retrieval system. Rather than tuning retrievers, rerankers, or a small set of preprocessing hyperparameters, AutoIndex searches over programs that slice, enrich, normalize, reweight, or reorganize documents before indexing. At each iteration, AutoIndex performs validation-guided program search, in which agents diagnose failures of the current program and synthesize candidate updates, retaining only updates that improve retrieval quality under the resulting index. We evaluate AutoIndex on CRUMB, a benchmark of heterogeneous retrieval tasks, with BM25 held fixed across all experiments. The learned programs improve recall over a static full-document BM25 baseline on all 8 tasks, with average gains of +8.4% in Recall@100 and +8.3% in nDCG@10, and largest gains of +30.5% in Recall@100 and +43.6% in nDCG@10. These results suggest that document representation should not be treated as a fixed preprocessing choice made before retrieval begins, but as an explicit optimization target. Code to reproduce our results is available at https://github.com/auto-index/autoindex.
• Abstract（参考訳）: 本稿では,表現プログラムを学習するためのフレームワークであるAutoIndexについて述べる。 AutoIndexは、レトリバーやリランカ、あるいはハイパーパラメータを前処理する小さなセットをチューニングする代わりに、インデックス化前にドキュメントをスライス、エンリッチ、正規化、再重み付け、再編成するプログラムを検索する。 それぞれのイテレーションでAutoIndexはバリデーション誘導プログラム検索を実行し、エージェントが現在のプログラムの障害を診断し、候補更新を合成し、結果のインデックスの下で検索品質を改善する更新のみを保持する。 我々は、不均一な検索タスクのベンチマークであるCRUMB上でAutoIndexを評価し、すべての実験でBM25を固定した。 学習プログラムは、すべての8つのタスクにおいて、静的フルドキュメントBM25ベースラインでのリコールを改善し、Recall@100では+8.4%、nDCG@10では+8.3%、Recall@100では+30.5%、nDCG@10では+43.6%となっている。 これらの結果から,文書表現は検索開始前の固定前処理の選択として扱われるのではなく,明示的な最適化対象として扱われることが示唆された。 結果を再現するコードはhttps://github.com/auto-index/autoindex.comで公開されている。

関連論文リスト

• Embedding Surgery: Localized Updates for Adaptive Ranking Correction in Dense Retrieval [7.977161233209229]
  密集検索における適応的ランキング補正のための軽量なアプローチであるエンケベディング手術を導入する。 この方法は、クエリ時に選択されたドキュメントの埋め込みに対して、ローカル化され最小限のアップデートを適用し、編集フィードバックやユーザインタラクション、あるいは大きな言語モデルからの擬似ラベルによってガイドされる。 埋め込み手術を標準の高密度検索パイプラインに統合し,TREC Deep Learning, TREC Robust, TREC CAsT, MS MARCOベンチマークで評価する。
  論文  参考訳（メタデータ） (2026-09-04T13:06:26Z)
• From BM25 to Corrective RAG: Benchmarking Retrieval Strategies for Text-and-Table Documents [0.0]
  スパース, 密度, ハイブリッド融合, クロスエンコーダリグレード, クエリ拡張, インデックス拡張, 適応検索にまたがる10の検索戦略をベンチマークした。 我々はRecall@k,MRR,nDCGによる検索品質とNumber Matchによるエンドツーエンド生成品質を評価する。
  論文  参考訳（メタデータ） (2026-04-02T07:53:40Z)
• From AI Assistant to AI Scientist: Autonomous Discovery of LLM-RL Algorithms with LLM Agents [51.12380889298618]
  POISEは、言語モデルのためのポリシー最適化アルゴリズムの自動発見のためのフレームワークである。 PoISEは構造化され、属学的にリンクされたアーカイブリンクの提案、実行可能な実装、標準化された評価、自然言語のリフレクションを維持している。
  論文  参考訳（メタデータ） (2026-03-25T05:19:23Z)
• Progressive Searching for Retrieval in RAG [1.1912082737504726]
  Retrieval Augmented Generation (RAG)は、大規模言語モデル(LLM)の2つの重要な制限を緩和するための有望な技術である。 本稿では,コスト効率の高い検索アルゴリズムを提案する。 以上の結果から,RAGシステムにおける逐次探索は次元,速度,精度のバランスを保ち,大規模データベースにおいてもスケーラブルで高速な検索が可能であることが示唆された。
  論文  参考訳（メタデータ） (2026-02-07T01:12:53Z)
• Optimizing Domain-Specific Image Retrieval: A Benchmark of FAISS and Annoy with Fine-Tuned Features [0.0]
  近似Nearest Neighborサーチは、多くのアプリケーションにおいて、高速なデータ検索性能の鍵の1つである。 我々は、カスタム画像データセット上でインデックス時間、メモリ使用量、クエリ時間、精度、リコール、F1スコア、リコール@5に関するシステムを評価する。
  論文  参考訳（メタデータ） (2024-12-02T14:43:06Z)
• Semi-Parametric Retrieval via Binary Bag-of-Tokens Index [71.78109794895065]
  SemI-parametric Disentangled Retrieval (SiDR)は、ニューラルパラメータから検索インデックスを分離するバイエンコーダ検索フレームワークである。 SiDRは、検索のための非パラメトリックトークン化インデックスをサポートし、BM25のようなインデックス化の複雑さを著しく改善した。
  論文  参考訳（メタデータ） (2024-05-03T08:34:13Z)
• SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot Neural Sparse Retrieval [92.27387459751309]
  ニューラルスパース検索を評価するための統一PythonツールキットであるSPRINTを提供する。 我々は、よく認識されているベンチマークBEIRにおいて、強く再現可能なゼロショットスパース検索ベースラインを確立する。 SPLADEv2は、元のクエリとドキュメントの外で、ほとんどのトークンでスパース表現を生成する。
  論文  参考訳（メタデータ） (2023-07-19T22:48:02Z)
• DSI++: Updating Transformer Memory with New Documents [95.70264288158766]
  DSI++は、DSIが新たなドキュメントをインクリメンタルにインデクシングするための継続的な学習課題である。 新たな文書の連続的な索引付けは,それまでの索引付け文書をかなり忘れてしまうことを示す。 文書の擬似クエリをサンプルとして生成メモリを導入し、連続的なインデックス付け中に補足することで、検索タスクの忘れを防止する。
  論文  参考訳（メタデータ） (2022-12-19T18:59:34Z)
• Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking [56.80065604034095]
  我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。 異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
  論文  参考訳（メタデータ） (2022-10-19T16:19:37Z)
• Injecting Domain Adaptation with Learning-to-hash for Effective and Efficient Zero-shot Dense Retrieval [49.98615945702959]
  我々は,TAS-B高密度検索器の下流ゼロショット検索精度を向上させるためのLTHおよびベクトル圧縮技術を評価する。 以上の結果から, 従来の研究とは異なり, LTH法はゼロショットTAS-B高密度レトリバーを平均14%のnDCG@10で過小評価できることがわかった。
  論文  参考訳（メタデータ） (2022-05-23T17:53:44Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。