論文の概要: R-Eval: A Unified Toolkit for Evaluating Domain Knowledge of Retrieval Augmented Large Language Models

• arxiv url: http://arxiv.org/abs/2406.11681v1
• Date: Mon, 17 Jun 2024 15:59:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 13:53:20.940521
• Title: R-Eval: A Unified Toolkit for Evaluating Domain Knowledge of Retrieval Augmented Large Language Models
• Title（参考訳）: R-Eval: 拡張された大規模言語モデルのドメイン知識評価のための統一ツールキット
• Authors: Shangqing Tu, Yuanchun Wang, Jifan Yu, Yuyang Xie, Yaran Shi, Xiaozhi Wang, Jing Zhang, Lei Hou, Juanzi Li,
• Abstract要約: 大規模言語モデルは一般的なNLPタスクにおいて顕著な成功を収めてきたが、ドメイン固有の問題には不足する可能性がある。 既存の評価ツールは、ドメイン知識の深さを掘り下げることなく、いくつかのベースラインを提供し、様々なドメインで評価するのみである。 本稿では、R-Evalツールキット(R-Evalツールキット)を導入し、異なるRAGの評価を合理化することによるALLMの評価の課題に対処する。
• 参考スコア（独自算出の注目度）: 51.468732121824125
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models have achieved remarkable success on general NLP tasks, but they may fall short for domain-specific problems. Recently, various Retrieval-Augmented Large Language Models (RALLMs) are proposed to address this shortcoming. However, existing evaluation tools only provide a few baselines and evaluate them on various domains without mining the depth of domain knowledge. In this paper, we address the challenges of evaluating RALLMs by introducing the R-Eval toolkit, a Python toolkit designed to streamline the evaluation of different RAG workflows in conjunction with LLMs. Our toolkit, which supports popular built-in RAG workflows and allows for the incorporation of customized testing data on the specific domain, is designed to be user-friendly, modular, and extensible. We conduct an evaluation of 21 RALLMs across three task levels and two representative domains, revealing significant variations in the effectiveness of RALLMs across different tasks and domains. Our analysis emphasizes the importance of considering both task and domain requirements when choosing a RAG workflow and LLM combination. We are committed to continuously maintaining our platform at https://github.com/THU-KEG/R-Eval to facilitate both the industry and the researchers.
• Abstract（参考訳）: 大規模言語モデルは一般的なNLPタスクにおいて顕著な成功を収めてきたが、ドメイン固有の問題には不足する可能性がある。 近年,この欠点に対処するために,検索型大規模言語モデル (ALLM) が提案されている。 しかし、既存の評価ツールは、ドメイン知識の深みを掘り下げることなく、いくつかのベースラインを提供し、様々なドメインで評価するのみである。 本稿では,R-Evalツールキット(R-Evalツールキット)を導入することでALLMを評価する上での課題に対処する。 一般的なRAGワークフローをサポートし、特定のドメインにカスタマイズされたテストデータの取り込みを可能にするツールキットは、ユーザフレンドリで、モジュール化され、拡張可能であるように設計されています。 3つのタスクレベルと2つの代表的なドメインにまたがる21のALLMの評価を行い、異なるタスクとドメインにまたがるALLMの有効性の有意な変動を明らかにした。 我々の分析は、RAGワークフローとLLMの組み合わせを選択する際に、タスクとドメインの要件の両方を考慮することの重要性を強調している。 我々は、業界と研究者の両方を円滑にするために、https://github.com/THU-KEG/R-Evalで継続的にプラットフォームを維持することを約束しています。

関連論文リスト

• SimRAG: Self-Improving Retrieval-Augmented Generation for Adapting Large Language Models to Specialized Domains [45.349645606978434]
  Retrieval-augmented Generation (RAG) は大規模言語モデル(LLM)の質問応答能力を向上させる しかし、科学や医学などの専門分野に汎用的なRAGシステムを適用することは、分散シフトやドメイン固有のデータへのアクセス制限など、ユニークな課題を生んでいる。 ドメイン適応のための質問応答と質問生成のジョイント機能を備えた自己学習手法であるSimRAGを提案する。
  論文  参考訳（メタデータ） (2024-10-23T15:24:16Z)
• Evaluation of RAG Metrics for Question Answering in the Telecom Domain [0.650923326742559]
  Retrieval Augmented Generation (RAG) は、大規模言語モデル(LLM)が質問応答(QA)タスクを実行できるようにするために広く使われている。 この作業は、いくつかの指標(事実性、文脈関連性、回答関連性、回答正当性、回答類似性、事実正当性)に対して修正されたこのパッケージで、プロンプトの中間出力を提供する。 次に、修正されたRAGASパッケージの出力のエキスパート評価を分析し、通信領域で使用する際の課題を観察する。
  論文  参考訳（メタデータ） (2024-07-15T17:40:15Z)
• SLIDE: A Framework Integrating Small and Large Language Models for Open-Domain Dialogues Evaluation [23.203761925540736]
  対話評価のためのフレームワークSLIDE(Small and Large Integrated for Dialogue Evaluation)を提案する。 本手法は, 分類タスクと評価タスクの両方において最先端のパフォーマンスを達成し, また, SLIDEは人的評価器との相関性も良好である。
  論文  参考訳（メタデータ） (2024-05-24T20:32:49Z)
• CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。 本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
  論文  参考訳（メタデータ） (2024-01-30T14:25:32Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• Domain-Expanded ASTE: Rethinking Generalization in Aspect Sentiment Triplet Extraction [67.54420015049732]
  Aspect Sentiment Triplet extract (ASTE) は感情分析における課題であり、人間の感情に対するきめ細かい洞察を提供することを目的としている。 既存のベンチマークは2つのドメインに限定されており、目に見えないドメイン上でのモデルパフォーマンスを評価しない。 各種ドメインのサンプルに注釈を付けることでドメイン拡張ベンチマークを導入し,ドメイン内設定とドメイン外設定の両方でモデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-05-23T18:01:49Z)
• MultiMatch: Multi-task Learning for Semi-supervised Domain Generalization [55.06956781674986]
  我々は、各ソースドメインにいくつかのラベル情報がある半教師付きドメイン一般化タスクの解決に頼っている。 我々は、MultiMatchを提案し、FixMatchをマルチタスク学習フレームワークに拡張し、SSDGのための高品質な擬似ラベルを生成する。 提案手法の有効性を検証し,いくつかのベンチマークDGデータセット上で既存の半教師付き手法とSSDG法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-11T14:44:33Z)
• RADDLE: An Evaluation Benchmark and Analysis Platform for Robust Task-oriented Dialog Systems [75.87418236410296]
  我々はraddleベンチマーク、コーパスのコレクション、および様々なドメインのモデルのパフォーマンスを評価するためのツールを紹介します。 RADDLEは強力な一般化能力を持つモデルを好んで奨励するように設計されている。 先行学習と微調整に基づく最近の最先端システムの評価を行い,異種ダイアログコーパスに基づく基礎的な事前学習が,ドメインごとの個別モデルをトレーニングするよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-29T08:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。