論文の概要: Diversity-Guided Search-Based Testing of Large Language Model Applications

• arxiv url: http://arxiv.org/abs/2609.23209v1
• Date: Sat, 19 Sep 2026 20:41:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-24 17:02:01.090348
• Title: Diversity-Guided Search-Based Testing of Large Language Model Applications
• Title（参考訳）: 大規模言語モデルアプリケーションの多様性誘導型探索ベーステスト
• Abstract要約: 大規模言語モデル(LLM)ベースのアプリケーションは、カスタマサービス、教育、モビリティを含む複数のドメインにまたがってデプロイされるようになっている。 私たちのフレームワークは生成されたテストのアーカイブを保持し、そのアーカイブからの距離を報います。 リポピュレーション・オペレーターは、調査を継続するために、定期的に人口の非障害テストを置き換える。
• 参考スコア（独自算出の注目度）: 1.0125319485475452
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Model (LLM)-based applications are increasingly deployed across domains including customer service, education, and mobility. These systems are prone to inaccurate, fictitious, or harmful responses, and their vast, high-dimensional input space makes systematic testing particularly challenging. In this paper, we present a search-based testing framework for LLM-based applications that incorporates failure diversity as an explicit optimization objective. Building on a discretization along stylistic, content-related, and perturbation dimensions, our framework maintains an archive of generated tests and rewards distance from that archive, while a repopulation operator periodically replaces non-failing tests in the population to sustain exploration. The repopulation operator is parameterized by its sampling strategy: replacement candidates are drawn either uniformly or by greedy distance maximization, two settings we compare empirically. We evaluate both against several baselines across three case studies---LLM safety, in-car navigation, and in-vehicle function control---covering five systems under test, eight LLMs, and 18 distinct test configurations, with over one million executed tests. Our results show that all guided variants detect substantially more failures than random and combinatorial search in nearly all configurations. Among them, diversified search detects fewer failures, but covers a broader range of failure types in all case studies, with greedy repopulation offering the best tradeoff.
• Abstract（参考訳）: 大規模言語モデル(LLM)ベースのアプリケーションは、カスタマサービス、教育、モビリティを含む複数のドメインにまたがってデプロイされるようになっている。 これらのシステムは不正確、虚偽、有害な応答をしがちであり、その巨大で高次元の入力空間は、特に系統的なテストが困難である。 本稿では,障害の多様性を明示的な最適化目的として組み込んだLLMベースのアプリケーションを対象とした検索ベースのテストフレームワークを提案する。 本フレームワークは, 文体, 内容, 摂動次元に沿った離散化を基盤として, 生成したテストのアーカイブを維持し, そのアーカイブからの距離を報いる。 リポピュレーション演算子は、そのサンプリング戦略によってパラメータ化される:置換候補は、一様か、あるいは、グリーディ距離の最大化によって描画される。 テスト中の5つのシステム,8つのLCM,18の異なるテスト構成を探索し,100万以上のテストを実行した。 提案手法は, ほぼすべての構成において, ランダムな探索や組合せ探索よりもはるかに多くの故障を検出できることを示す。 それらの中で、多様化された検索は、より少ない障害を検出するが、すべてのケーススタディにおいて、幅広い障害タイプをカバーする。

関連論文リスト

• BeyondSWE: Can Current Code Agent Survive Beyond Single-Repo Bug Fixing? [61.247730037229815]
  BeyondSWEは2つの軸 – 解像度スコープと知識スコープ – に沿って既存の評価を拡張する包括的なベンチマークです。 外部知識の役割を解明するために,ディープ検索とコーディング能力を統合するフレームワークであるSearchSWEを開発した。 この作業は、現実的で挑戦的な評価ベンチマークと、より有能なコードエージェントに向けた研究を進めるための柔軟なフレームワークの両方を提供する。
  論文  参考訳（メタデータ） (2026-03-03T17:52:01Z)
• STELLAR: A Search-Based Testing Framework for Large Language Model Applications [1.0125319485475452]
  LLM(Large Language Model)ベースのアプリケーションは、顧客サービス、教育、モビリティなど、さまざまな領域に展開されている。 これらのシステムは不正確、虚偽、有害な応答をしがちであり、その巨大で高次元の入力空間は、特に系統的なテストが困難である。 本稿では,LLMベースのアプリケーションを対象とした自動検索ベースのテストフレームワークSTELLARについて述べる。
  論文  参考訳（メタデータ） (2026-01-01T22:30:15Z)
• Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics [89.1999907891494]
  We present WebDetective, a benchmark of hint-free multi-hop questions with a control Wikipedia sandbox。 25の最先端モデルに対する我々の評価は、すべてのアーキテクチャにまたがる体系的な弱点を明らかにしている。 私たちはエージェントワークフローであるEvidenceLoopを開発し、ベンチマークが特定する課題を明示的にターゲットしています。
  論文  参考訳（メタデータ） (2025-10-01T07:59:03Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• DetectAnyLLM: Towards Generalizable and Robust Detection of Machine-Generated Text Across Domains and Models [60.713908578319256]
  タスク指向の知識で検出器を最適化するために,DDL(Direct Discrepancy Learning)を提案する。 そこで本研究では,最新のMGTD性能を実現する統合検出フレームワークであるTectAnyLLMを紹介する。 MIRAGEは5つのテキストドメインにまたがる10のコーパスから人書きテキストをサンプリングし、17個の最先端のLLMを使用して再生成または修正する。
  論文  参考訳（メタデータ） (2025-09-15T10:59:57Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• Representation Improvement in Latent Space for Search-Based Testing of Autonomous Robotic Systems [13.431632585434384]
  自動運転車や無人航空機のような自律型ロボットシステムのテストは、予測不可能な環境との相互作用のために難しい。 より効率的にテストシナリオを生成するために、多くの検索ベースのアプローチが提案された。 変分オートエンコーダの潜在空間にマッピングすることで,テスト表現を向上させるRILaSTを提案する。
  論文  参考訳（メタデータ） (2025-03-26T15:34:42Z)
• Why Do Multi-Agent LLM Systems Fail? [87.90075668488434]
  MAST-Dataは7つの人気のあるMASフレームワークで収集された1600以上の注釈付きトレースの包括的なデータセットである。 我々はMAST(Multi-Agent System Failure Taxonomy)を初めて構築する。 MASTとMAST-Dataを利用して、モデル(GPT4、Claude 3、Qwen2.5、CodeLlama)とタスク(コーディング、数学、汎用エージェント)の障害パターンを分析します。
  論文  参考訳（メタデータ） (2025-03-17T19:04:38Z)
• Can Search-Based Testing with Pareto Optimization Effectively Cover Failure-Revealing Test Inputs? [2.038863628148453]
  我々は,検索領域内の障害発生領域をカバーするには,検索ベースソフトウェアテスト(SBST)が不十分であると主張している。 本研究では,入力空間におけるフェールリベリングテスト入力のカバレッジを,Coverage Inverted Distance品質指標と呼ぶ指標を用いて測定する。
  論文  参考訳（メタデータ） (2024-10-15T16:44:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。