Fugu-MT 論文翻訳(概要): RAG-TESTER: Automated End-to-End Testing of Retrieval-Augmented Large Language Models

論文の概要: RAG-TESTER: Automated End-to-End Testing of Retrieval-Augmented Large Language Models

arxiv url: http://arxiv.org/abs/2608.00054v1
Date: Sun, 26 Jul 2026 21:29:19 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-06 20:15:59.032305
Title: RAG-TESTER: Automated End-to-End Testing of Retrieval-Augmented Large Language Models
Title（参考訳）: RAG-TESTER: 検索可能な大規模言語モデルのエンドツーエンド自動テスト
Abstract要約: RagTesterは、RAGシステムのエンドツーエンドテストアプローチである。検索文書、テスト入力、期待出力を生成し、テストを実行し、結果の回答を評価する。
参考スコア（独自算出の注目度）: 4.269841880000787
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Retrieval-Augmented Generation (RAG) enables Large Language Models (LLMs) to use external and domain-specific knowledge, but its reliability depends on the interaction between the generative model, embedding model, retrieval mechanism, and prompt construction strategy. We present RagTester, an automated end-to-end testing approach for RAG systems. RagTester generates retrieval documents, test inputs, and expected outputs; executes the tests; and evaluates the resulting answers using an LLM as a judge. Its test-generation strategy targets complex passages, unsupported queries, and document-coverage criteria. We evaluate RagTester using eight LLMs and six embedding models, yielding 24 compatible configurations, and compare it with a baseline test-input generator. Across 72,000 test executions, RagTester detected 21,633 failures, 6.6% more than the baseline, and outperformed it in 20 of the 24 configurations. The detected failures include inaccurate retrieval, unsupported answers, incomplete use of retrieved context, and difficulties interpreting complex passages. These results show that coverage-oriented test generation can effectively expose failures caused by the interaction between retrieval and generation components and support the assessment of RAG configurations before deployment.
Abstract（参考訳）: Retrieval-Augmented Generation (RAG) により、Large Language Models (LLMs) は外部およびドメイン固有の知識を使用することができるが、その信頼性は生成モデル、埋め込みモデル、検索機構、建設戦略の迅速な相互関係に依存する。本稿では,RAGシステムのエンドツーエンド自動テスト手法であるRagTesterを紹介する。 RagTesterは、検索ドキュメント、テストインプット、期待出力を生成し、テストを実行する。テスト生成戦略は、複雑なパス、サポートされていないクエリ、ドキュメントカバレッジ基準をターゲットにしている。 8つのLLMモデルと6つの埋め込みモデルを用いてRagTesterを評価し、24の互換構成を出力し、ベースラインテストインプットジェネレータと比較した。 72,000のテスト実行中、RagTesterは21,633の障害を検知し、ベースラインの6.6%以上、24のコンフィギュレーションのうち20でパフォーマンスを上回った。検出された障害には、不正確な検索、不要な回答、検索されたコンテキストの不完全な使用、複雑なパスの解釈の難しさが含まれる。これらの結果から,検索コンポーネントと生成コンポーネントの相互作用による障害を効果的に回避し,デプロイ前のRAG構成の評価を支援することが示唆された。

関連論文リスト

Repository-Aware Metamorphic Relation Generation for Augmented Reality Applications using Large Language Models [1.5369895042965263]
メタモルフィックテスティング(MT)は、テストオラクルを定義することなく、ソフトウェアをテストするための有望なアプローチを提供する。我々は、リポジトリレベルのコンテキストと推論オーケストレーションを使用してMRを生成し、洗練するコンテキスト対応パイプラインを導入する。この結果から,レポジトリを意識したMR生成と推論に基づくリファインメントを組み合わせることで,信頼性の高いドメイン関連テストオーラクルをスケーラブルに構築できることが示唆された。
論文参考訳（メタデータ） (2026-07-30T18:54:56Z)
Multi-Agent LLM Collaboration for Unit Test Generation via Human-Testing-Inspired Workflows [18.32804849870551]
大規模言語モデル(LLM)は、自動単体テスト生成の研究を急加速させた。マルチエージェント協調機構を用いて,人間のテストプラクティスをエミュレートするLLMベースのテスト生成手法であるTestAgentを提案する。 TestAgentは97.46%の実行率、92.34%のラインカバレッジ、90.24%のブランチカバレッジ、6つのJavaプロジェクトで83.69%の突然変異スコアを達成した。
論文参考訳（メタデータ） (2026-07-10T05:16:54Z)
TestMap: Evidence Infrastructure for Foundation-Model-Assisted Test Generation [1.1546538067103256]
本稿では,C#/.NETリポジトリの基盤モデル支援テスト生成を自動化するオープンソースプロトタイプであるTestMapを提案する。 TestMapは、リポジトリ分析、ソース-テストマッピング、ベースライン実行、コードメトリクス収集、テスト臭いの検出、カバレッジ測定、突然変異テスト、モデル誘導テスト生成、バリデーション、修復、リポジトリ固有の実験追跡をサポートする。
論文参考訳（メタデータ） (2026-06-08T22:04:51Z)
Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文参考訳（メタデータ） (2026-03-13T20:44:15Z)
Beyond Relevance: On the Relationship Between Retrieval and RAG Information Coverage [89.58253972744531]
Retrieval-augmented Generation (RAG) システムは、文書検索と生成モデルを組み合わせて、レポート生成のような複雑な情報を求める課題に対処する。我々は,上流の検索指標が,最終生成応答の情報カバレッジの信頼性の高い早期指標として機能するかどうかを検討する。本研究は,トピックとシステムレベルの両方で生成した応答におけるカバレッジベース検索指標とナゲットカバレッジとの間に強い相関関係を示した。
論文参考訳（メタデータ） (2026-03-09T18:20:20Z)
Rethinking Cognitive Complexity for Unit Tests: Toward a Readability-Aware Metric Grounded in Developer Perception [15.677544288705883]
単体テストに適したテスト意識認知複雑度尺度であるCCTRを紹介する。 EvoSuite, GPT-4o, Mistral Large-1024が生成した15,750のテストスイートをDefects4JおよびSF110から350クラスにわたって評価した。
論文参考訳（メタデータ） (2025-06-07T11:16:13Z)
Type-aware LLM-based Regression Test Generation for Python Programs [13.631541369653066]
Test4PyはPythonの自動テスト生成における型正しさを高める新しいフレームワークである。 Test4Pyは、生成したテストケースを段階的に洗練してカバレッジを改善する反復的な修復手順を統合する。実世界のPythonモジュール183の評価において、Test4Pyは平均ステートメントカバレッジ83.0%、ブランチカバレッジ70.8%を達成した。
論文参考訳（メタデータ） (2025-03-18T08:07:17Z)
CLOVER: A Test Case Generation Benchmark with Coverage, Long-Context, and Verification [71.34070740261072]
本稿では,テストケースの生成と完成におけるモデルの能力を評価するためのベンチマークCLOVERを提案する。ベンチマークはタスク間でのコード実行のためにコンテナ化されています。
論文参考訳（メタデータ） (2025-02-12T21:42:56Z)
AutoRestTest: A Tool for Automated REST API Testing Using LLMs and MARL [46.65963514391019]
AutoRestTestは、Semantic Property Dependency Graph(SPDG)とMARL(Multi-Agent Reinforcement Learning)と大規模言語モデル(LLM)を統合して、効果的なREST APIテストを可能にする新しいツールである。
論文参考訳（メタデータ） (2025-01-15T05:54:33Z)
LlamaRestTest: Effective REST API Testing with Small Language Models [50.058600784556816]
LlamaRestTestは、2つのLLM(Large Language Models)を使って現実的なテストインプットを生成する新しいアプローチである。私たちは、GPTを使った仕様強化ツールであるRESTGPTなど、最先端のREST APIテストツールに対して、これを評価しています。私たちの研究は、REST APIテストにおいて、小さな言語モデルは、大きな言語モデルと同様に、あるいは、より良く機能することができることを示しています。
論文参考訳（メタデータ） (2025-01-15T05:51:20Z)
Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
論文参考訳（メタデータ） (2024-12-16T19:11:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。