論文の概要: Spacerini: Plug-and-play Search Engines with Pyserini and Hugging Face
- arxiv url: http://arxiv.org/abs/2302.14534v2
- Date: Sun, 24 Mar 2024 14:34:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 04:08:18.511293
- Title: Spacerini: Plug-and-play Search Engines with Pyserini and Hugging Face
- Title(参考訳): Spacerini:PyseriniとHugging Faceを備えたプラグイン・アンド・プレイ検索エンジン
- Authors: Christopher Akiki, Odunayo Ogundepo, Aleksandra Piktus, Xinyu Zhang, Akintunde Oladipo, Jimmy Lin, Martin Potthast,
- Abstract要約: Spaceriniは、再現可能な情報検索研究のためのPyseriniツールキットとHugging Faceを統合するツールである。
Spaceriniは、最先端のスパースと密集した検索モデルを、非IR実践者にとってよりアクセスしやすいものにしている。
- 参考スコア(独自算出の注目度): 104.2943594704532
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present Spacerini, a tool that integrates the Pyserini toolkit for reproducible information retrieval research with Hugging Face to enable the seamless construction and deployment of interactive search engines. Spacerini makes state-of-the-art sparse and dense retrieval models more accessible to non-IR practitioners while minimizing deployment effort. This is useful for NLP researchers who want to better understand and validate their research by performing qualitative analyses of training corpora, for IR researchers who want to demonstrate new retrieval models integrated into the growing Pyserini ecosystem, and for third parties reproducing the work of other researchers. Spacerini is open source and includes utilities for loading, preprocessing, indexing, and deploying search engines locally and remotely. We demonstrate a portfolio of 13 search engines created with Spacerini for different use cases.
- Abstract(参考訳): 本研究では、Hugging Faceと再現可能な情報検索研究のためのPyseriniツールキットを統合し、対話型検索エンジンのシームレスな構築と展開を可能にするツールであるSpaceriniを紹介する。
Spaceriniは、現在最先端のスパースと密集した検索モデルを、展開作業を最小化しながら、非IR実践者にとってよりアクセスしやすくする。
これは、トレーニングコーパスの質的な分析を行うことで研究をよりよく理解し、検証したいNLP研究者、成長するピセリニの生態系に統合された新しい検索モデルを実演したいIR研究者、そして他の研究者の作業を再現したい第三者にとって有用である。
Spaceriniはオープンソースで、ロード、前処理、インデックス作成、検索エンジンのローカルおよびリモート展開のためのユーティリティを含んでいる。
異なるユースケースのために、Spaceriniで作成された13の検索エンジンのポートフォリオをデモします。
関連論文リスト
- OpenResearcher: Unleashing AI for Accelerated Scientific Research [35.31092912532057]
我々は、人工知能(AI)技術を活用して研究プロセスを加速する革新的なプラットフォームであるOpenResearcherを紹介する。
OpenResearcherはRetrieval-Augmented Generation (RAG)に基づいて構築されており、LLM(Large Language Models)と最新のドメイン固有知識を統合する。
我々は、OpenResearcherが研究者のクエリを理解し、科学文献から検索し、検索した情報をフィルタリングし、正確で包括的な回答を提供し、答えを自己修正する様々なツールを開発した。
論文 参考訳(メタデータ) (2024-08-13T14:59:44Z) - The Use of Generative Search Engines for Knowledge Work and Complex Tasks [26.583783763090732]
Bing Copilotを使うタスクのタイプと複雑さをBing Searchと比較して分析する。
発見は、従来の検索エンジンよりも認知の複雑さが高い知識作業タスクのために、人々が生成検索エンジンを使用していることを示している。
論文 参考訳(メタデータ) (2024-03-19T18:17:46Z) - GAIA Search: Hugging Face and Pyserini Interoperability for NLP Training
Data Exploration [97.68234051078997]
我々はPyseriniを、オープンソースのAIライブラリとアーティファクトのHugging Faceエコシステムに統合する方法について論じる。
Jupyter NotebookベースのウォークスルーがGitHubで公開されている。
GAIA Search - 前述した原則に従って構築された検索エンジンで、人気の高い4つの大規模テキストコレクションへのアクセスを提供する。
論文 参考訳(メタデータ) (2023-06-02T12:09:59Z) - CrossBeam: Learning to Search in Bottom-Up Program Synthesis [51.37514793318815]
ボトムアップ合成のためのハンズオン検索ポリシーを学習するためのニューラルネットワークのトレーニングを提案する。
私たちのアプローチは、CrossBeamと呼ばれ、ニューラルモデルを使用して、以前に探索されたプログラムを新しいプログラムに組み合わせる方法を選択します。
我々はCrossBeamが効率的に検索することを学び、最先端技術と比較してプログラム空間のより小さな部分を探索する。
論文 参考訳(メタデータ) (2022-03-20T04:41:05Z) - Searching the Search Space of Vision Transformer [98.96601221383209]
視覚変換器は、認識や検出などの視覚的なタスクにおいて、大きな視覚的表現力を示してきた。
我々は,このプロセスを自動化するために,アーキテクチャだけでなく検索空間も探索することで,ニューラルアーキテクチャサーチを提案する。
空間探索プロセスに応じて広範に解析を行う汎用視覚変換器の設計ガイドラインを提供する。
論文 参考訳(メタデータ) (2021-11-29T17:26:07Z) - Boosting Search Engines with Interactive Agents [25.89284695491093]
本稿では,文脈的クエリ改善のためのメタストラテジーを学習するエージェントの設計における第一歩について述べる。
エージェントには単純だが効果的な検索操作者がいて、クエリや検索結果のきめ細やかで透明な制御を行う。
論文 参考訳(メタデータ) (2021-09-01T13:11:57Z) - AutoSpace: Neural Architecture Search with Less Human Interference [84.42680793945007]
現在のニューラルネットワークアーキテクチャ検索(NAS)アルゴリズムは、ネットワーク構築のための検索空間を設計するための専門知識と努力を必要とします。
探索空間を最適なものに進化させる新しい微分可能な進化フレームワークであるAutoSpaceを提案する。
学習した検索空間では、最近のNASアルゴリズムの性能は、以前手作業で設計した空間に比べて大幅に改善できる。
論文 参考訳(メタデータ) (2021-03-22T13:28:56Z) - A New Neural Search and Insights Platform for Navigating and Organizing
AI Research [56.65232007953311]
我々は、古典的なキーワード検索とニューラル検索を組み合わせた新しいプラットフォームであるAI Research Navigatorを導入し、関連する文献を発見し整理する。
本稿では,システム全体のアーキテクチャの概要と,文書分析,質問応答,検索,分析,専門家検索,レコメンデーションの構成要素について概説する。
論文 参考訳(メタデータ) (2020-10-30T19:12:25Z) - Mapping Researchers with PeopleMap [11.466062262579495]
PeopleMapは、研究の関心や出版物に基づいて、研究者のためのビジュアルマップを作成する。
研究者のGoogle Scholarプロファイルのみを入力として必要とすると、PeopleMapは研究者の埋め込みを生成して視覚化する。
PeopleMapは、ジョージア工科大学にまたがって採用を拡大するための肯定的なフィードバックと熱意を受けてきた。
論文 参考訳(メタデータ) (2020-08-31T20:46:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。