論文の概要: SimplyRetrieve: A Private and Lightweight Retrieval-Centric Generative
AI Tool
- arxiv url: http://arxiv.org/abs/2308.03983v1
- Date: Tue, 8 Aug 2023 02:00:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-09 14:24:30.389332
- Title: SimplyRetrieve: A Private and Lightweight Retrieval-Centric Generative
AI Tool
- Title(参考訳): SimplyRetrieve: プライベートで軽量な検索中心の生成AIツール
- Authors: Youyang Ng, Daisuke Miyashita, Yasuto Hoshi, Yasuhiro Morioka, Osamu
Torii, Tomoya Kodama, Jun Deguchi
- Abstract要約: 大規模言語モデル(LLM)ベースの生成AIシステムは,近年,大きな進歩を遂げている。
知識検索アーキテクチャを統合することで、プライベートデータの公開可能な生成AIシステムへのシームレスな統合が可能になる。
Retrieval-Centric Generation (RCG)アプローチは、文脈解釈と知識記憶におけるLLMとレトリバーの役割を分離する。
SimplyRetrieveは、これらの高度な進歩に対して、ローカライズされ、軽量で、ユーザフレンドリーなインターフェースを提供することを目標とする、オープンソースのツールである。
- 参考スコア(独自算出の注目度): 0.14777718769290524
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Model (LLM) based Generative AI systems have seen significant
progress in recent years. Integrating a knowledge retrieval architecture allows
for seamless integration of private data into publicly available Generative AI
systems using pre-trained LLM without requiring additional model fine-tuning.
Moreover, Retrieval-Centric Generation (RCG) approach, a promising future
research direction that explicitly separates roles of LLMs and retrievers in
context interpretation and knowledge memorization, potentially leads to more
efficient implementation. SimplyRetrieve is an open-source tool with the goal
of providing a localized, lightweight, and user-friendly interface to these
sophisticated advancements to the machine learning community. SimplyRetrieve
features a GUI and API based RCG platform, assisted by a Private Knowledge Base
Constructor and a Retrieval Tuning Module. By leveraging these capabilities,
users can explore the potential of RCG for improving generative AI performance
while maintaining privacy standards. The tool is available at
https://github.com/RCGAI/SimplyRetrieve with an MIT license.
- Abstract(参考訳): 大規模言語モデル(LLM)ベースの生成AIシステムは,近年,大きな進歩を遂げている。
知識検索アーキテクチャを統合することで、追加のモデル微調整を必要とせずに、事前訓練されたLLMを使用して、プライベートデータを公開可能な生成AIシステムにシームレスに統合することができる。
さらに、検索中心生成(RCG)アプローチは、文脈解釈と知識記憶におけるLLMとレトリバーの役割を明確に分離する将来的な研究方向であり、より効率的な実装につながる可能性がある。
simplyretrieveはオープンソースのツールで、機械学習コミュニティへの高度な進歩に対して、ローカライズされ、軽量で、ユーザフレンドリーなインターフェースを提供することを目標としている。
SimplyRetrieveはGUIとAPIベースのRCGプラットフォームを備えており、Private Knowledge Base ConstructorとRetrieval Tuning Moduleが支援している。
これらの機能を活用することで、ユーザーはプライバシ標準を維持しながら生成AIのパフォーマンスを改善するためのRCGの可能性を探ることができる。
このツールはMITライセンスでhttps://github.com/RCGAI/SimplyRetrieveで入手できる。
関連論文リスト
- Developing Retrieval Augmented Generation (RAG) based LLM Systems from PDFs: An Experience Report [3.4632900249241874]
本稿では,PDF文書を主データ源とする検索拡張生成システム(RAG)の開発経験報告について述べる。
RAGアーキテクチャは、Large Language Models (LLM) の生成能力と情報検索の精度を組み合わせたものである。
この研究の実際的な意味は、様々な分野における生成AIシステムの信頼性を高めることである。
論文 参考訳(メタデータ) (2024-10-21T12:21:49Z) - Large Language Models for Base Station Siting: Intelligent Deployment based on Prompt or Agent [62.16747639440893]
大規模言語モデル(LLM)とその関連技術は、特に迅速な工学とエージェント工学の領域において進歩している。
このアプローチは、人間の経験と知識をこれらの洗練されたLLMに注入するために、巧妙なプロンプトの戦略的利用を必要とする。
この統合は、サービスとしての人工知能(AI)と、より容易なAIの将来のパラダイムを表している。
論文 参考訳(メタデータ) (2024-08-07T08:43:32Z) - Enhancing Knowledge Retrieval with In-Context Learning and Semantic Search through Generative AI [3.9773527114058855]
本稿では,大規模言語モデルの生成能力とベクトルデータベースの高速かつ正確な検索能力を組み合わせた新しい手法を提案する。
開発したGTR(Generative Text Retrieval)は,非構造化データと構造化データの両方に適用可能である。
改良されたモデルであるGenerative Tabular Text Retrieval (GTR-T) は、大規模データベースクエリの効率を実証した。
論文 参考訳(メタデータ) (2024-06-13T23:08:06Z) - A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。
Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。
RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
論文 参考訳(メタデータ) (2024-05-10T02:48:45Z) - Self-Retrieval: End-to-End Information Retrieval with One Large Language Model [97.71181484082663]
本稿では,新たなLLM駆動情報検索アーキテクチャであるSelf-Retrievalを紹介する。
自己検索は、自己教師付き学習を通じて検索コーパスを内部化し、検索プロセスをシーケンシャルな通過生成に変換し、再ランク付けのための関連性評価を行う。
論文 参考訳(メタデータ) (2024-02-23T18:45:35Z) - How to Build an AI Tutor that Can Adapt to Any Course and Provide Accurate Answers Using Large Language Model and Retrieval-Augmented Generation [0.0]
OpenAI Assistants APIにより、AI Tutorは、ファイルやチャット履歴を簡単に埋め込み、保存、検索、管理できる。
AI Tutorのプロトタイプは、ソースの引用で関連性があり正確な回答を生成する能力を示している。
論文 参考訳(メタデータ) (2023-11-29T15:02:46Z) - GAIA Search: Hugging Face and Pyserini Interoperability for NLP Training
Data Exploration [97.68234051078997]
我々はPyseriniを、オープンソースのAIライブラリとアーティファクトのHugging Faceエコシステムに統合する方法について論じる。
Jupyter NotebookベースのウォークスルーがGitHubで公開されている。
GAIA Search - 前述した原則に従って構築された検索エンジンで、人気の高い4つの大規模テキストコレクションへのアクセスを提供する。
論文 参考訳(メタデータ) (2023-06-02T12:09:59Z) - Synergistic Interplay between Search and Large Language Models for
Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文 参考訳(メタデータ) (2023-05-12T11:58:15Z) - Retrieval-Enhanced Machine Learning [110.5237983180089]
本稿では,いくつかの既存モデルを含む汎用的な検索強化機械学習フレームワークについて述べる。
REMLは情報検索の慣例に挑戦し、最適化を含む中核領域における新たな進歩の機会を提示している。
REMLリサーチアジェンダは、情報アクセス研究の新しいスタイルの基礎を築き、機械学習と人工知能の進歩への道を開く。
論文 参考訳(メタデータ) (2022-05-02T21:42:45Z) - Enabling Un-/Semi-Supervised Machine Learning for MDSE of the Real-World
CPS/IoT Applications [0.5156484100374059]
我々は、スマートサイバー物理システム(CPS)とIoT(Internet of Things)の現実的なユースケースシナリオに対して、ドメイン固有モデル駆動ソフトウェアエンジニアリング(MDSE)をサポートする新しいアプローチを提案する。
人工知能(AI)の本質において利用可能なデータの大部分はラベルが付けられていないと我々は主張する。したがって、教師なしおよび/または半教師なしのMLアプローチが実践的な選択である。
提案手法は,既存の最先端MDSEツールと完全に実装され,CPS/IoTドメインを提供する。
論文 参考訳(メタデータ) (2021-07-06T15:51:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。