Fugu-MT 論文翻訳(概要): T-RAG: Lessons from the LLM Trenches

論文の概要: T-RAG: Lessons from the LLM Trenches

arxiv url: http://arxiv.org/abs/2402.07483v2
Date: Thu, 6 Jun 2024 14:42:47 GMT
ステータス: 処理完了
システム内更新日: 2024-06-07 23:40:31.359190
Title: T-RAG: Lessons from the LLM Trenches
Title（参考訳）: T-RAG: LLMトレンチから学んだこと
Authors: Masoomali Fatehkia, Ji Kim Lucas, Sanjay Chawla,
Abstract要約: アプリケーションエリアは、民間企業文書に対する質問応答です。 Retrieval-Augmented Generationは、LLMベースのアプリケーションを構築するための最も顕著なフレームワークである。 Tree-RAG (T-RAG) と呼ばれるシステムは、エンティティ階層を表現するためにツリー構造を使用する。
参考スコア（独自算出の注目度）: 7.545277950323593
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLM) have shown remarkable language capabilities fueling attempts to integrate them into applications across a wide range of domains. An important application area is question answering over private enterprise documents where the main considerations are data security, which necessitates applications that can be deployed on-prem, limited computational resources and the need for a robust application that correctly responds to queries. Retrieval-Augmented Generation (RAG) has emerged as the most prominent framework for building LLM-based applications. While building a RAG is relatively straightforward, making it robust and a reliable application requires extensive customization and relatively deep knowledge of the application domain. We share our experiences building and deploying an LLM application for question answering over private organizational documents. Our application combines the use of RAG with a finetuned open-source LLM. Additionally, our system, which we call Tree-RAG (T-RAG), uses a tree structure to represent entity hierarchies within the organization. This is used to generate a textual description to augment the context when responding to user queries pertaining to entities within the organization's hierarchy. Our evaluations, including a Needle in a Haystack test, show that this combination performs better than a simple RAG or finetuning implementation. Finally, we share some lessons learned based on our experiences building an LLM application for real-world use.
Abstract（参考訳）: 大規模言語モデル(LLM)は、広範囲のドメインにわたるアプリケーションに言語を組み込もうとする試みを加速させる顕著な言語能力を示している。重要なアプリケーション領域は、プライベートなエンタープライズドキュメントに対する質問応答であり、主な考慮事項は、オンプレミスにデプロイできるアプリケーション、限られた計算リソース、クエリに正しく応答する堅牢なアプリケーションの必要性である。 Retrieval-Augmented Generation (RAG) は、LLMベースのアプリケーションを構築するための最も顕著なフレームワークである。 RAGの構築は比較的単純ですが、堅牢で信頼性の高いアプリケーションには、広範囲のカスタマイズとアプリケーションドメインの比較的深い知識が必要です。プライベートな組織文書に対する質問応答のためのLLMアプリケーションの構築とデプロイの経験を共有します。我々のアプリケーションは、RAGと微調整されたオープンソースLLMを組み合わせています。さらに,木-RAG(T-RAG)と呼ばれるシステムでは,組織内のエンティティ階層を表現するために木構造を用いる。これは、組織の階層内のエンティティに関連するユーザクエリに応答する際のコンテキストを強化するためのテキスト記述を生成するために使用される。 Haystackテストのニードルを含む我々の評価は、この組み合わせが単純なRAGや微調整実装よりも優れていることを示している。最後に,LLMアプリケーション構築の経験から学んだ教訓について紹介する。

関連論文リスト

RuAG: Learned-rule-augmented Generation for Large Language Models [62.64389390179651]
本稿では,大量のオフラインデータを解釈可能な一階述語論理規則に自動抽出する新しいフレームワーク,RuAGを提案する。我々は,自然言語処理,時系列,意思決定,産業タスクなど,公共および民間の産業タスクに関する枠組みを評価する。
論文参考訳（メタデータ） (2024-11-04T00:01:34Z)
Domain-Specific Retrieval-Augmented Generation Using Vector Stores, Knowledge Graphs, and Tensor Factorization [7.522493227357079]
大規模言語モデル(LLM)は大規模コーパスで事前訓練されている。 LLMは幻覚、知識の遮断、知識の帰属の欠如に悩まされる。 SMART-SLICはドメイン固有のLLMフレームワークである。
論文参考訳（メタデータ） (2024-10-03T17:40:55Z)
MemoRAG: Moving towards Next-Gen RAG Via Memory-Inspired Knowledge Discovery [24.38640001674072]
Retrieval-Augmented Generation (RAG)は、検索ツールを利用して外部データベースにアクセスする。既存のRAGシステムは主に簡単な質問応答タスクに有効である。本稿では,MemoRAGを提案する。
論文参考訳（メタデータ） (2024-09-09T13:20:31Z)
A Simple Architecture for Enterprise Large Language Model Applications based on Role based security and Clearance Levels using Retrieval-Augmented Generation or Mixture of Experts [0.0]
提案したアーキテクチャは、検索型拡張生成(RAG)とMixture of Expert Model(MoE)の微調整を併用して利用できる。ユーザのロールとセキュリティクリアランスレベルを使用して、RAGのドキュメントとMoEの専門家がフィルタリングされる。
論文参考訳（メタデータ） (2024-07-09T09:46:23Z)
Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
論文参考訳（メタデータ） (2024-06-19T00:28:58Z)
Assessing and Verifying Task Utility in LLM-Powered Applications [28.41607905656699]
大規模言語モデル(LLM)は、エージェント間のコラボレーションを促進し、人間の日常的なタスクを支援するアプリケーションの増加につながっている。このことは、特にアプリケーションの機能とエンドユーザのニーズの整合性を確保することによって、LLMベースのアプリケーションのユーティリティを検証する必要性を強調している。 AgentEvalは,アプリケーション固有の目的に合わせた一連の基準を自動提案することで,ユーティリティ検証プロセスを簡素化する新しいフレームワークである。
論文参考訳（メタデータ） (2024-05-03T15:26:27Z)
STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
テキストと知識ベースを用いた大規模半構造検索ベンチマークSTARKを開発した。本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野について検討した。多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
論文参考訳（メタデータ） (2024-04-19T22:54:54Z)
ERBench: An Entity-Relationship based Automatically Verifiable Hallucination Benchmark for Large Language Models [46.07900122810749]
大規模言語モデル(LLM)は、様々なアプリケーションで前例のない性能を達成したが、評価は依然として難しい。既存のリレーショナルデータベースを利用することは、ベンチマークを構築する上で有望なアプローチである、と我々は主張する。我々は,これらの整合性制約を用いて任意のデータベースをLLMベンチマークに変換するERBenchを提案する。
論文参考訳（メタデータ） (2024-03-08T12:42:36Z)
REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain Question Answering [115.72130322143275]
REAR(Relevance-Aware Retrieval-augmented approach for open-domain Question answering, QA) 我々は,特殊な設計のアセスメントモジュールを組み込むことで,LLMベースのRAGシステムのための新しいアーキテクチャを開発する。オープンドメインの4つのQAタスクの実験では、REARは以前の競争力のあるRAGアプローチよりも大幅に優れていた。
論文参考訳（メタデータ） (2024-02-27T13:22:51Z)
Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文参考訳（メタデータ） (2023-05-12T11:58:15Z)
Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。