論文の概要: T-RAG: Lessons from the LLM Trenches
- arxiv url: http://arxiv.org/abs/2402.07483v1
- Date: Mon, 12 Feb 2024 08:45:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 15:24:22.434497
- Title: T-RAG: Lessons from the LLM Trenches
- Title(参考訳): T-RAG: LLMトレンチからの教訓
- Authors: Masoomali Fatehkia, Ji Kim Lucas, Sanjay Chawla
- Abstract要約: 大規模言語モデル(LLM)は、それらをアプリケーションに統合しようとする試みを加速させる顕著な言語能力を示している。
Retrieval-Augmented Generation (RAG)は、LLMベースのアプリケーションを構築するための最も顕著なフレームワークである。
プライベートな組織文書に対する質問応答のためのLLMアプリケーションの構築とデプロイの経験を共有します。
- 参考スコア(独自算出の注目度): 8.480136267111762
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLM) have shown remarkable language capabilities
fueling attempts to integrate them into applications across a wide range of
domains. An important application area is question answering over private
enterprise documents where the main considerations are data security, which
necessitates applications that can be deployed on-prem, limited computational
resources and the need for a robust application that correctly responds to
queries. Retrieval-Augmented Generation (RAG) has emerged as the most prominent
framework for building LLM-based applications. While building a RAG is
relatively straightforward, making it robust and a reliable application
requires extensive customization and relatively deep knowledge of the
application domain. We share our experiences building and deploying an LLM
application for question answering over private organizational documents. Our
application combines the use of RAG with a finetuned open-source LLM.
Additionally, our system, which we call Tree-RAG (T-RAG), uses a tree structure
to represent entity hierarchies within the organization. This is used to
generate a textual description to augment the context when responding to user
queries pertaining to entities within the organization's hierarchy. Our
evaluations show that this combination performs better than a simple RAG or
finetuning implementation. Finally, we share some lessons learned based on our
experiences building an LLM application for real-world use.
- Abstract(参考訳): 大規模言語モデル(llm)は、広範囲のドメインにまたがるアプリケーションにそれらを統合しようとする、驚くべき言語能力を示している。
重要なアプリケーション領域は、データセキュリティが主な考慮事項であり、オンプレミスでデプロイ可能なアプリケーション、限られた計算リソース、クエリに正しく応答する堅牢なアプリケーションが必要であるプライベートなエンタープライズドキュメントに対する質問に答えることである。
Retrieval-Augmented Generation (RAG)は、LLMベースのアプリケーションを構築するための最も顕著なフレームワークである。
RAGの構築は比較的単純ですが、堅牢で信頼性の高いアプリケーションには、広範囲のカスタマイズとアプリケーションドメインの比較的深い知識が必要です。
プライベートな組織文書に対する質問応答のためのLLMアプリケーションの構築とデプロイの経験を共有します。
我々のアプリケーションは、RAGと微調整されたオープンソースLLMを組み合わせています。
さらに,木-RAG(T-RAG)と呼ばれるシステムでは,組織内のエンティティ階層を表現するために木構造を用いる。
これは、組織の階層内のエンティティに関連するユーザクエリに応答する際のコンテキストを強化するためのテキスト記述を生成するために使用される。
評価の結果,この組み合わせは単純なRAGや微調整実装よりも優れていることがわかった。
最後に、実際の使用のためにllmアプリケーションを構築した経験から学んだ教訓を共有します。
関連論文リスト
- Assessing and Verifying Task Utility in LLM-Powered Applications [28.41607905656699]
大規模言語モデル(LLM)は、エージェント間のコラボレーションを促進し、人間の日常的なタスクを支援するアプリケーションの増加につながっている。
このことは、特にアプリケーションの機能とエンドユーザのニーズの整合性を確保することによって、LLMベースのアプリケーションのユーティリティを検証する必要性を強調している。
AgentEvalは,アプリケーション固有の目的に合わせた一連の基準を自動提案することで,ユーティリティ検証プロセスを簡素化する新しいフレームワークである。
論文 参考訳(メタデータ) (2024-05-03T15:26:27Z) - CRE-LLM: A Domain-Specific Chinese Relation Extraction Framework with Fine-tuned Large Language Model [1.9950682531209156]
ドメイン特化中国語関係抽出(DSCRE)は、ドメイン特化中国語テキストからエンティティ間の関係を抽出することを目的としている。
自然言語処理における大規模言語モデル(LLM)の優れた性能を考えると、CRE-LLMと呼ばれる新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-04-28T06:27:15Z) - STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
テキストとリレーショナルベース知識に関する大規模半構造検索ベンチマークSTARKを開発した。
多様な情報と複雑なテキスト特性を統合した,自然かつ現実的なユーザクエリを合成する,新しいパイプラインを設計する。
本ベンチマークは,検索システムの性能評価のための総合的なテストベッドとして機能する。
論文 参考訳(メタデータ) (2024-04-19T22:54:54Z) - REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain
Question Answering [122.62012375722124]
既存の手法では,大規模言語モデル (LLM) は検索した文書の関連性を正確に評価することはできない。
Relevance-Aware Retrieval-augmented approach for open- domain question answering (QA)を提案する。
論文 参考訳(メタデータ) (2024-02-27T13:22:51Z) - Knowledge Plugins: Enhancing Large Language Models for Domain-Specific
Recommendations [50.81844184210381]
本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。
このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
論文 参考訳(メタデータ) (2023-11-16T07:09:38Z) - Recommender AI Agent: Integrating Large Language Models for Interactive
Recommendations [53.76682562935373]
我々は,LLMを脳として,レコメンダモデルをツールとして使用する,textbfInteRecAgentという効率的なフレームワークを紹介した。
InteRecAgentは会話レコメンデーションシステムとして満足度を達成し、汎用LLMよりも優れる。
論文 参考訳(メタデータ) (2023-08-31T07:36:44Z) - Synergistic Interplay between Search and Large Language Models for
Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文 参考訳(メタデータ) (2023-05-12T11:58:15Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳(メタデータ) (2023-02-24T18:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。