論文の概要: Evaluating Embedding APIs for Information Retrieval
- arxiv url: http://arxiv.org/abs/2305.06300v1
- Date: Wed, 10 May 2023 16:40:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-11 12:16:12.871512
- Title: Evaluating Embedding APIs for Information Retrieval
- Title(参考訳): 情報検索のための埋め込みAPIの評価
- Authors: Ehsan Kamalloo, Xinyu Zhang, Odunayo Ogundepo, Nandan Thakur, David
Alfonso-Hermelo, Mehdi Rezagholizadeh, Jimmy Lin
- Abstract要約: ドメインの一般化と多言語検索における既存APIの機能を評価する。
BM25の結果をAPIを使って再ランク付けすることは、予算に優しいアプローチであることに気付きました。
非英語検索では、再ランク付けは結果を改善するが、BM25のハイブリッドモデルの方が高いコストで機能する。
- 参考スコア(独自算出の注目度): 51.24236853841468
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ever-increasing size of language models curtails their widespread access
to the community, thereby galvanizing many companies and startups into offering
access to large language models through APIs. One particular API, suitable for
dense retrieval, is the semantic embedding API that builds vector
representations of a given text. With a growing number of APIs at our disposal,
in this paper, our goal is to analyze semantic embedding APIs in realistic
retrieval scenarios in order to assist practitioners and researchers in finding
suitable services according to their needs. Specifically, we wish to
investigate the capabilities of existing APIs on domain generalization and
multilingual retrieval. For this purpose, we evaluate the embedding APIs on two
standard benchmarks, BEIR, and MIRACL. We find that re-ranking BM25 results
using the APIs is a budget-friendly approach and is most effective on English,
in contrast to the standard practice, i.e., employing them as first-stage
retrievers. For non-English retrieval, re-ranking still improves the results,
but a hybrid model with BM25 works best albeit at a higher cost. We hope our
work lays the groundwork for thoroughly evaluating APIs that are critical in
search and more broadly, in information retrieval.
- Abstract(参考訳): 言語モデルのサイズが拡大するにつれ、コミュニティへのアクセスが拡大し、多くの企業やスタートアップがAPIを通じて大きな言語モデルにアクセスできるようになる。
密集検索に適した特定のAPIは、あるテキストのベクトル表現を構築するセマンティック埋め込みAPIである。
対象とするAPIの数が増える中で,本論文では,実践者や研究者がニーズに応じて適切なサービスを見つけるのを支援するために,現実的な検索シナリオにセマンティック埋め込みAPIを組み込むことを目標としています。
具体的には、ドメインの一般化と多言語検索における既存のAPIの機能について検討する。
そこで本研究では,BEIRとMIRACLの2つの標準ベンチマークへの埋め込みAPIの評価を行った。
このAPIを用いてBM25の結果を再ランク付けすることは予算に優しいアプローチであり、標準のプラクティスとは対照的に、第一段階のレトリバーとして利用することが最も効果的である。
非英語検索では、再ランク付けは結果を改善するが、BM25のハイブリッドモデルは高いコストで有効である。
我々は,情報検索において,検索において重要なAPIを徹底的に評価するための基礎を築き上げたい。
関連論文リスト
- Contextual API Completion for Unseen Repositories Using LLMs [6.518508607788089]
本稿では,API補完タスクのためのコードリポジトリ内で,グローバルおよびローカルなコンテキスト情報を活用することで幻覚を緩和する新しい手法を提案する。
当社のアプローチは、ローカルAPI補完の最適化に重点を置いて、コード補完タスクの洗練に適合しています。
私たちのツールであるLANCEは、APIトークンの補完と会話APIの補完で、Copilotを143%、Copilotを142%上回っています。
論文 参考訳(メタデータ) (2024-05-07T18:22:28Z) - Search-Adaptor: Embedding Customization for Information Retrieval [35.80776561673792]
事前学習されたLarge Language Models (LLM) によって抽出された埋め込みは、情報検索と検索を改善する重要な可能性を持っている。
本稿では,情報検索のためのLLMを効率的かつロバストな方法でカスタマイズする新しい手法であるSearch-Adaptorを提案する。
論文 参考訳(メタデータ) (2023-10-12T22:30:15Z) - APICom: Automatic API Completion via Prompt Learning and Adversarial
Training-based Data Augmentation [6.029137544885093]
APIレコメンデーションは、開発者が多数の候補APIの中で必要なAPIを見つけるのを支援するプロセスである。
これまでの研究では、主にAPIレコメンデーションをレコメンデーションタスクとしてモデル化していた。
ニューラルネットワーク翻訳研究領域に動機づけられたこの問題を生成タスクとしてモデル化することができる。
提案手法は,プロンプト学習に基づく新しいアプローチAPIComを提案し,そのプロンプトに応じてクエリに関連するAPIを生成する。
論文 参考訳(メタデータ) (2023-09-13T15:31:50Z) - Private-Library-Oriented Code Generation with Large Language Models [52.73999698194344]
本稿では,大規模言語モデル(LLM)をプライベートライブラリのコード生成に活用することに焦点を当てる。
プログラマがプライベートコードを書く過程をエミュレートする新しいフレームワークを提案する。
TorchDataEval、TorchDataComplexEval、MonkeyEval、BeatNumEvalの4つのプライベートライブラリベンチマークを作成しました。
論文 参考訳(メタデータ) (2023-07-28T07:43:13Z) - SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot
Neural Sparse Retrieval [92.27387459751309]
ニューラルスパース検索を評価するための統一PythonツールキットであるSPRINTを提供する。
我々は、よく認識されているベンチマークBEIRにおいて、強く再現可能なゼロショットスパース検索ベースラインを確立する。
SPLADEv2は、元のクエリとドキュメントの外で、ほとんどのトークンでスパース表現を生成する。
論文 参考訳(メタデータ) (2023-07-19T22:48:02Z) - XTREME-UP: A User-Centric Scarce-Data Benchmark for Under-Represented
Languages [105.54207724678767]
データ不足は、多言語NLPシステムの開発において重要な問題である。
我々はXTREME-UPを提案する。XTREME-UPはゼロショットではなく、希少なデータシナリオに焦点を当てたベンチマークである。
XTREME-UPは、88言語にまたがる言語モデルが、9つのキーとなるユーザー中心技術上で機能する能力を評価する。
論文 参考訳(メタデータ) (2023-05-19T18:00:03Z) - Dense Sparse Retrieval: Using Sparse Language Models for Inference
Efficient Dense Retrieval [37.22592489907125]
本研究では,高密度検索にスパース言語モデルを用いて推論効率を向上する方法について検討する。
スパース言語モデルは、ほとんど精度を落とさず、推論速度を最大4.3倍改善した直接置換として使用することができる。
論文 参考訳(メタデータ) (2023-03-31T20:21:32Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳(メタデータ) (2022-05-23T11:01:59Z) - On the Effectiveness of Pretrained Models for API Learning [8.788509467038743]
開発者は、Excelファイルのパース、行ごとのテキストファイルの読み書きなど、特定の機能を実装するためにAPIを使うことが多い。
開発者は、より高速でクリーンな方法でアプリケーションを構築するために、自然言語クエリに基づいた自動API使用シーケンス生成の恩恵を受けることができる。
既存のアプローチでは、クエリが与えられたAPIシーケンスの検索や、RNNベースのエンコーダデコーダを使用してAPIシーケンスを生成するために、情報検索モデルを使用している。
論文 参考訳(メタデータ) (2022-04-05T20:33:24Z) - Mining Implicit Relevance Feedback from User Behavior for Web Question
Answering [92.45607094299181]
本研究は,ユーザ行動と通過関連性との関連性を検討するための最初の研究である。
提案手法は,追加のラベル付きデータを使わずにパスランキングの精度を大幅に向上させる。
実際にこの研究は、グローバルな商用検索エンジンにおけるQAサービスの人為的ラベリングコストを大幅に削減する効果が証明されている。
論文 参考訳(メタデータ) (2020-06-13T07:02:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。