論文の概要: SimplyRetrieve: A Private and Lightweight Retrieval-Centric Generative
AI Tool
- arxiv url: http://arxiv.org/abs/2308.03983v1
- Date: Tue, 8 Aug 2023 02:00:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-09 14:24:30.389332
- Title: SimplyRetrieve: A Private and Lightweight Retrieval-Centric Generative
AI Tool
- Title(参考訳): SimplyRetrieve: プライベートで軽量な検索中心の生成AIツール
- Authors: Youyang Ng, Daisuke Miyashita, Yasuto Hoshi, Yasuhiro Morioka, Osamu
Torii, Tomoya Kodama, Jun Deguchi
- Abstract要約: 大規模言語モデル(LLM)ベースの生成AIシステムは,近年,大きな進歩を遂げている。
知識検索アーキテクチャを統合することで、プライベートデータの公開可能な生成AIシステムへのシームレスな統合が可能になる。
Retrieval-Centric Generation (RCG)アプローチは、文脈解釈と知識記憶におけるLLMとレトリバーの役割を分離する。
SimplyRetrieveは、これらの高度な進歩に対して、ローカライズされ、軽量で、ユーザフレンドリーなインターフェースを提供することを目標とする、オープンソースのツールである。
- 参考スコア(独自算出の注目度): 0.14777718769290524
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Model (LLM) based Generative AI systems have seen significant
progress in recent years. Integrating a knowledge retrieval architecture allows
for seamless integration of private data into publicly available Generative AI
systems using pre-trained LLM without requiring additional model fine-tuning.
Moreover, Retrieval-Centric Generation (RCG) approach, a promising future
research direction that explicitly separates roles of LLMs and retrievers in
context interpretation and knowledge memorization, potentially leads to more
efficient implementation. SimplyRetrieve is an open-source tool with the goal
of providing a localized, lightweight, and user-friendly interface to these
sophisticated advancements to the machine learning community. SimplyRetrieve
features a GUI and API based RCG platform, assisted by a Private Knowledge Base
Constructor and a Retrieval Tuning Module. By leveraging these capabilities,
users can explore the potential of RCG for improving generative AI performance
while maintaining privacy standards. The tool is available at
https://github.com/RCGAI/SimplyRetrieve with an MIT license.
- Abstract(参考訳): 大規模言語モデル(LLM)ベースの生成AIシステムは,近年,大きな進歩を遂げている。
知識検索アーキテクチャを統合することで、追加のモデル微調整を必要とせずに、事前訓練されたLLMを使用して、プライベートデータを公開可能な生成AIシステムにシームレスに統合することができる。
さらに、検索中心生成(RCG)アプローチは、文脈解釈と知識記憶におけるLLMとレトリバーの役割を明確に分離する将来的な研究方向であり、より効率的な実装につながる可能性がある。
simplyretrieveはオープンソースのツールで、機械学習コミュニティへの高度な進歩に対して、ローカライズされ、軽量で、ユーザフレンドリーなインターフェースを提供することを目標としている。
SimplyRetrieveはGUIとAPIベースのRCGプラットフォームを備えており、Private Knowledge Base ConstructorとRetrieval Tuning Moduleが支援している。
これらの機能を活用することで、ユーザーはプライバシ標準を維持しながら生成AIのパフォーマンスを改善するためのRCGの可能性を探ることができる。
このツールはMITライセンスでhttps://github.com/RCGAI/SimplyRetrieveで入手できる。
関連論文リスト
- Self-Retrieval: Building an Information Retrieval System with One Large
Language Model [102.78988790457004]
Self-Retrievalは、エンドツーエンドのLLM駆動の情報検索アーキテクチャである。
本稿では,自己検索が従来の検索手法よりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2024-02-23T18:45:35Z) - Institutional Platform for Secure Self-Service Large Language Model
Exploration [0.0]
論文では、データセットキュレーション、モデルトレーニング、セキュア推論、テキストベースの特徴抽出を含む、システムのアーキテクチャと重要な特徴について概説する。
プラットフォームはセキュアなLLMサービスの提供、プロセスとデータ分離の強調、エンドツーエンドの暗号化、ロールベースのリソース認証を目指している。
論文 参考訳(メタデータ) (2024-02-01T10:58:10Z) - Katakomba: Tools and Benchmarks for Data-Driven NetHack [52.0035089982277]
NetHackは強化学習研究のフロンティアとして知られている。
採用には、リソースワイド、実装ワイド、ベンチマークワイドの3つの大きな障害がある、と私たちは主張しています。
オフラインの強化学習コミュニティに慣れ親しんだワークフローの基礎を提供するオープンソースライブラリを開発した。
論文 参考訳(メタデータ) (2023-06-14T22:50:25Z) - GAIA Search: Hugging Face and Pyserini Interoperability for NLP Training
Data Exploration [97.68234051078997]
我々はPyseriniを、オープンソースのAIライブラリとアーティファクトのHugging Faceエコシステムに統合する方法について論じる。
Jupyter NotebookベースのウォークスルーがGitHubで公開されている。
GAIA Search - 前述した原則に従って構築された検索エンジンで、人気の高い4つの大規模テキストコレクションへのアクセスを提供する。
論文 参考訳(メタデータ) (2023-06-02T12:09:59Z) - Synergistic Interplay between Search and Large Language Models for
Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文 参考訳(メタデータ) (2023-05-12T11:58:15Z) - Retrieval-Enhanced Machine Learning [110.5237983180089]
本稿では,いくつかの既存モデルを含む汎用的な検索強化機械学習フレームワークについて述べる。
REMLは情報検索の慣例に挑戦し、最適化を含む中核領域における新たな進歩の機会を提示している。
REMLリサーチアジェンダは、情報アクセス研究の新しいスタイルの基礎を築き、機械学習と人工知能の進歩への道を開く。
論文 参考訳(メタデータ) (2022-05-02T21:42:45Z) - The MIT Supercloud Workload Classification Challenge [10.458111248130944]
本稿では,MIT Supercloudデータセットに基づくワークロード分類の課題について述べる。
この課題の目標は、計算ワークロードの分析におけるアルゴリズムのイノベーションを促進することである。
論文 参考訳(メタデータ) (2022-04-12T14:28:04Z) - Enabling Un-/Semi-Supervised Machine Learning for MDSE of the Real-World
CPS/IoT Applications [0.5156484100374059]
我々は、スマートサイバー物理システム(CPS)とIoT(Internet of Things)の現実的なユースケースシナリオに対して、ドメイン固有モデル駆動ソフトウェアエンジニアリング(MDSE)をサポートする新しいアプローチを提案する。
人工知能(AI)の本質において利用可能なデータの大部分はラベルが付けられていないと我々は主張する。したがって、教師なしおよび/または半教師なしのMLアプローチが実践的な選択である。
提案手法は,既存の最先端MDSEツールと完全に実装され,CPS/IoTドメインを提供する。
論文 参考訳(メタデータ) (2021-07-06T15:51:39Z) - A Privacy-Preserving Distributed Architecture for
Deep-Learning-as-a-Service [68.84245063902908]
本稿では,ディープラーニング・アズ・ア・サービスのための分散アーキテクチャを提案する。
クラウドベースのマシンとディープラーニングサービスを提供しながら、ユーザの機密データを保存できる。
論文 参考訳(メタデータ) (2020-03-30T15:12:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。