論文の概要: Spacerini: Plug-and-play Search Engines with Pyserini and Hugging Face
- arxiv url: http://arxiv.org/abs/2302.14534v1
- Date: Tue, 28 Feb 2023 12:44:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-01 16:33:45.439865
- Title: Spacerini: Plug-and-play Search Engines with Pyserini and Hugging Face
- Title(参考訳): Spacerini:PyseriniとHugging Faceを備えたプラグイン・アンド・プレイ検索エンジン
- Authors: Christopher Akiki, Odunayo Ogundepo, Aleksandra Piktus, Xinyu Zhang,
Akintunde Oladipo, Jimmy Lin, Martin Potthast
- Abstract要約: Spaceriniはインタラクティブ検索アプリケーションの構築とデプロイのためのモジュラーフレームワークである。
大規模研究データセットの質的分析を容易にするように設計されている。
- 参考スコア(独自算出の注目度): 104.50540009132662
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present Spacerini, a modular framework for seamless building and
deployment of interactive search applications, designed to facilitate the
qualitative analysis of large scale research datasets. Spacerini integrates
features from both the Pyserini toolkit and the Hugging Face ecosystem to ease
the indexing text collections and deploy them as search engines for ad-hoc
exploration and to make the retrieval of relevant data points quick and
efficient. The user-friendly interface enables searching through massive
datasets in a no-code fashion, making Spacerini broadly accessible to anyone
looking to qualitatively audit their text collections. This is useful both to
IR~researchers aiming to demonstrate the capabilities of their indexes in a
simple and interactive way, and to NLP~researchers looking to better understand
and audit the failure modes of large language models. The framework is open
source and available on GitHub: https://github.com/castorini/hf-spacerini, and
includes utilities to load, pre-process, index, and deploy local and web search
applications. A portfolio of applications created with Spacerini for a
multitude of use cases can be found by visiting https://hf.co/spacerini.
- Abstract(参考訳): 本研究では,大規模研究データセットの質的解析を容易にするために,対話型検索アプリケーションのシームレスな構築と展開を行うモジュール型フレームワークであるSpaceriniを提案する。
SpaceriniはPyseriniツールキットとHugging Faceエコシステムの機能を統合して、テキストコレクションのインデックス付けを容易にし、アドホックな探索のための検索エンジンとしてデプロイし、関連するデータポイントの検索を迅速かつ効率的にする。
ユーザフレンドリーなインターフェースにより、大量のデータセットをコードなしで検索できるため、テキストコレクションを質的に監査したい人なら誰でもSpaceriniを利用できる。
これは、シンプルでインタラクティブな方法でインデックスの能力を実証することを目的としたir~researchersと、大規模な言語モデルの障害モードをよりよく理解し、監査しようとするnlp~researchersの両方にとって有用である。
https://github.com/castorini/hf-spacerini は、ローカルおよびweb検索アプリケーションをロード、前処理、インデックス化、デプロイするユーティリティを含んでいる。
多数のユースケースのためにSpaceriniで作成されたアプリケーションのポートフォリオは、https://hf.co/spacerini.com/で見ることができる。
関連論文リスト
- GAIA Search: Hugging Face and Pyserini Interoperability for NLP Training
Data Exploration [97.68234051078997]
我々はPyseriniを、オープンソースのAIライブラリとアーティファクトのHugging Faceエコシステムに統合する方法について論じる。
Jupyter NotebookベースのウォークスルーがGitHubで公開されている。
GAIA Search - 前述した原則に従って構築された検索エンジンで、人気の高い4つの大規模テキストコレクションへのアクセスを提供する。
論文 参考訳(メタデータ) (2023-06-02T12:09:59Z) - Construction of Hierarchical Neural Architecture Search Spaces based on
Context-free Grammars [66.05096551112932]
文脈自由文法に基づく統一検索空間設計フレームワークを提案する。
それらの特性の強化と利用により,完全なアーキテクチャの探索を効果的に行うことができる。
既存のニューラルアーキテクチャ検索手法よりも検索戦略が優れていることを示す。
論文 参考訳(メタデータ) (2022-11-03T14:23:00Z) - Automatic Subspace Evoking for Efficient Neural Architecture Search [41.23773453077129]
本稿では,自動サブスペース呼出し(ASE-NAS)によるニューラルアーキテクチャ探索手法を提案する。
我々はまず、まずグローバル検索、すなわち自動サブスペース呼び出しを行い、候補集合から良いサブスペースを誘発/決定する。
そして,実効的なアーキテクチャを見つけるために,帰納的部分空間内で局所探索を行う。
論文 参考訳(メタデータ) (2022-10-31T09:54:28Z) - Searching a High-Performance Feature Extractor for Text Recognition
Network [92.12492627169108]
優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。
空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。
本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-09-27T03:49:04Z) - Boosting Search Engines with Interactive Agents [25.89284695491093]
本稿では,文脈的クエリ改善のためのメタストラテジーを学習するエージェントの設計における第一歩について述べる。
エージェントには単純だが効果的な検索操作者がいて、クエリや検索結果のきめ細やかで透明な制御を行う。
論文 参考訳(メタデータ) (2021-09-01T13:11:57Z) - A New Neural Search and Insights Platform for Navigating and Organizing
AI Research [56.65232007953311]
我々は、古典的なキーワード検索とニューラル検索を組み合わせた新しいプラットフォームであるAI Research Navigatorを導入し、関連する文献を発見し整理する。
本稿では,システム全体のアーキテクチャの概要と,文書分析,質問応答,検索,分析,専門家検索,レコメンデーションの構成要素について概説する。
論文 参考訳(メタデータ) (2020-10-30T19:12:25Z) - Auto-Panoptic: Cooperative Multi-Component Architecture Search for
Panoptic Segmentation [144.50154657257605]
本稿では、バックボーン、セグメンテーションブランチ、フィーチャーフュージョンモジュールを含むすべての主要コンポーネントを同時に検索する効率的なフレームワークを提案する。
検索したアーキテクチャ、すなわちAuto-Panopticは、挑戦的なCOCOとADE20Kベンチマークに関する新しい最先端技術を実現します。
論文 参考訳(メタデータ) (2020-10-30T08:34:35Z) - Semantically-Enriched Search Engine for Geoportals: A Case Study with
ArcGIS Online [7.005838154484841]
本稿では,Lucene-based technique を用いた地理ポータルのためのセマンティック・エンリッチな検索エンジンを提案する。
提案するフレームワークを評価するために,ベンチマークデータセットを構築した。
評価の結果,提案するセマンティッククエリ拡張フレームワークは,ユーザの検索意図を捉えるのに非常に有効であることが示唆された。
論文 参考訳(メタデータ) (2020-03-14T06:16:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。