論文の概要: Quality Assurance for LLM-RAG Systems: Empirical Insights from Tourism Application Testing

• arxiv url: http://arxiv.org/abs/2502.05782v1
• Date: Sun, 09 Feb 2025 05:53:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:34:18.264380
• Title: Quality Assurance for LLM-RAG Systems: Empirical Insights from Tourism Application Testing
• Title（参考訳）: LLM-RAGシステムの品質保証:観光アプリケーションテストの実証的考察
• Authors: Bestoun S. Ahmed, Ludwig Otto Baader, Firas Bayram, Siri Jagstedt, Peter Magnusson,
• Abstract要約: 本稿では,Large Language Model (LLM) システムの品質特性を検索型拡張生成(RAG)で検証し,評価するための包括的フレームワークを提案する。 機能的正当性と機能的外特性の両方を評価する上で,テスト手法の有効性を実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This paper presents a comprehensive framework for testing and evaluating quality characteristics of Large Language Model (LLM) systems enhanced with Retrieval-Augmented Generation (RAG) in tourism applications. Through systematic empirical evaluation of three different LLM variants across multiple parameter configurations, we demonstrate the effectiveness of our testing methodology in assessing both functional correctness and extra-functional properties. Our framework implements 17 distinct metrics that encompass syntactic analysis, semantic evaluation, and behavioral evaluation through LLM judges. The study reveals significant information about how different architectural choices and parameter configurations affect system performance, particularly highlighting the impact of temperature and top-p parameters on response quality. The tests were carried out on a tourism recommendation system for the V\"armland region, utilizing standard and RAG-enhanced configurations. The results indicate that the newer LLM versions show modest improvements in performance metrics, though the differences are more pronounced in response length and complexity rather than in semantic quality. The research contributes practical insights for implementing robust testing practices in LLM-RAG systems, providing valuable guidance to organizations deploying these architectures in production environments.
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)システムの品質特性を検索・評価するための総合的な枠組みについて述べる。 複数のパラメータ構成にまたがる3種類のLCMの系統的評価を通じて,機能的正当性と機能的外特性の両方を評価する上での試験手法の有効性を実証した。 本フレームワークは,LLM審査員による構文解析,意味評価,行動評価を含む17の異なる指標を実装している。 この研究は、異なるアーキテクチャ選択とパラメータ構成がシステムパフォーマンスに与える影響について重要な情報を明らかにし、特に温度とトップpパラメータが応答品質に与える影響を強調した。 テストは、標準およびRAG強化された構成を利用して、V\"アームランド地域の観光レコメンデーションシステム上で実施された。 以上の結果から,新しいLCMバージョンでは性能指標の質の向上が見られたが,応答長と複雑性の差はセマンティックな品質よりも顕著であった。 この研究は、LLM-RAGシステムで堅牢なテストプラクティスを実装するための実践的な洞察を提供し、これらのアーキテクチャを実運用環境にデプロイする組織に貴重なガイダンスを提供する。

関連論文リスト

• OmniEval: An Omnidirectional and Automatic RAG Evaluation Benchmark in Financial Domain [62.89809156574998]
  金融分野において全方向自動RAGベンチマークであるOmniEvalを導入する。 我々のベンチマークは多次元評価フレームワークによって特徴づけられる。 実験では、広範囲なテストデータセットを含むOmniEvalの包括性を実証した。
  論文  参考訳（メタデータ） (2024-12-17T15:38:42Z)
• Unveiling and Consulting Core Experts in Retrieval-Augmented MoE-based LLMs [64.9693406713216]
  RAGシステムの有効性に寄与する内部メカニズムは未解明のままである。 実験の結果,複数のコアグループの専門家がRAG関連行動に主に関与していることが判明した。 本稿では,専門家の活性化を通じてRAGの効率性と有効性を高めるためのいくつかの戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-20T16:08:54Z)
• LLaVA-Critic: Learning to Evaluate Multimodal Models [110.06665155812162]
  本稿では,LLaVA-Criticについて紹介する。LLaVA-Criticは,汎用評価器として設計された,最初のオープンソースの大規模マルチモーダルモデル(LMM)である。 LLaVA-Criticは、さまざまな評価基準とシナリオを組み込んだ高品質な批判的インストラクションフォローデータセットを使用してトレーニングされている。
  論文  参考訳（メタデータ） (2024-10-03T17:36:33Z)
• MILE: A Mutation Testing Framework of In-Context Learning Systems [5.419884861365132]
  ICLシステムにおけるテストデータの品質と有効性を特徴付けるための突然変異試験フレームワークを提案する。 まず、ICLの実証に特化しているいくつかの突然変異演算子と、ICLテストセットに対応する突然変異スコアを提案する。 総合的な実験により、ICLテストスイートの信頼性と品質を評価する上で、我々のフレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2024-09-07T13:51:42Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [69.4501863547618]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に着目し, 完全性, 幻覚, 不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Comprehensive Reassessment of Large-Scale Evaluation Outcomes in LLMs: A Multifaceted Statistical Approach [64.42462708687921]
  評価の結果、スケーリング、トレーニングタイプ、アーキテクチャなどの要因がLLMのパフォーマンスに大きな影響を与えていることが明らかになった。 本研究は, これらのLCMの徹底的な再検討に着手し, 現状評価手法における不整合性に着目した。 これには、ANOVA、Tukey HSDテスト、GAMM、クラスタリング技術などが含まれる。
  論文  参考訳（メタデータ） (2024-03-22T14:47:35Z)
• RAGGED: Towards Informed Design of Retrieval Augmented Generation Systems [51.171355532527365]
  Retrieval-augmented Generation (RAG) は言語モデル(LM)の性能を大幅に向上させる RAGGEDは、様々な文書ベースの質問応答タスクにわたるRAG構成を分析するためのフレームワークである。
  論文  参考訳（メタデータ） (2024-03-14T02:26:31Z)
• METAL: Metamorphic Testing Framework for Analyzing Large-Language Model Qualities [4.493507573183107]
  大言語モデル(LLM)は自然言語データ処理のパラダイムをシフトさせた。 近年,LLMの品質属性(QA)は,逆入力テキストを生成することで検証されている。 本稿では,これらの問題に対処するメタモルフィック・テスト・フォー・アナライズ・LLM(METAL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T01:29:19Z)
• Fairness and underspecification in acoustic scene classification: The case for disaggregated evaluations [6.186191586944725]
  機械学習(ML)アプリケーションにおける不明瞭さと公平さは、最近、MLコミュニティで2つの顕著な問題となっている。 本研究では,アコースティックシーン分類(ASC)モデルに対して,非凝集評価によるより包括的な評価プロセスの必要性を論じる。 本研究では,2つの広く使用されているASCデータセットを用いたトレーニングにおいて,不特定性や公平性の問題を明らかにする上で,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-10-04T15:23:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。