論文の概要: CASPER-Change-Aware Slice Prioritization for Efficient Regression Testing of LLM-based systems
- arxiv url: http://arxiv.org/abs/2608.00378v1
- Date: Sat, 01 Aug 2026 01:21:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 15:00:51.806099
- Title: CASPER-Change-Aware Slice Prioritization for Efficient Regression Testing of LLM-based systems
- Title（参考訳）: LLMシステムの効率的な回帰テストのためのCASPER-Change-Aware Slice Prioritization
- Abstract要約: 単一インスタンスの障害が必ずしも意味のある回帰を示すとは限らない。
システム全体のパフォーマンスの変化のみに基づいて回帰を検出するのは、大きすぎる。
変更を意識したスライス優先順位付けフレームワークであるCASPERを提案する。
- 参考スコア（独自算出の注目度）: 2.4629837460990065
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Regression testing for LLM-based systems poses unique challenges because individual regression instances provide limited information about system-level regressions. A failure in a single instance does not necessarily indicate a meaningful regression or provide sufficient information to diagnose affected behaviors. Conversely, detecting regressions based only on overall system performance changes is too coarse-grained, as it does not identify which behaviors are affected. This motivates analyzing regression instances at an intermediate level through test suite slices. To address this challenge, we propose CASPER, a change-aware slice prioritization framework for efficient regression testing of prompt-level and model-level changes in LLM-based systems. CASPER first identifies regression slices containing semantically related instances with consistent performance characteristics using an evolutionary slice identification approach. Given a change to an LLM-based application, CASPER prioritizes slices according to their likelihood of regression using behavioral information extracted from execution logs. We instantiate CASPER in the software issue resolution domain and evaluate slice identification against clustering-based baselines and regressed slice prioritization against a random ranking baseline. Results show that CASPER generates more consistent slices while maintaining comparable or better semantic coherence and improves regressed slice prioritization across different LLM-based system changes and testing budgets.
- Abstract（参考訳）: LLMベースのシステムの回帰テストは、個々の回帰インスタンスがシステムレベルの回帰に関する情報を限定しているため、ユニークな課題となる。
単一インスタンスの障害は必ずしも意味のある回帰を示すものではなく、影響した振る舞いを診断するのに十分な情報を提供する。
逆に、システム全体のパフォーマンス変化のみに基づく回帰検出は、どの振る舞いが影響しているかを特定できないため、大きすぎる。
これはテストスイートスライスを通じて中間レベルのレグレッションインスタンスの分析を動機付ける。
この課題に対処するため,我々は,LCMベースのシステムにおいて,プロンプトレベルおよびモデルレベルの変更を効率よく回帰テストするための変更対応スライス優先順位付けフレームワークであるCASPERを提案する。
CASPERはまず、進化的スライス識別アプローチを用いて、一貫した性能特性を持つ意味的関連インスタンスを含む回帰スライスを識別する。
LLMベースのアプリケーションを変更すると、CASPERは実行ログから抽出された行動情報を使用して、回帰の確率に応じてスライスを優先順位付けする。
ソフトウェア問題解決領域においてCASPERをインスタンス化し、クラスタリングベースラインに対するスライス識別とランダムランキングベースラインに対する回帰スライス優先順位付けを評価する。
その結果、CASPERは、同等あるいはより良いセマンティックコヒーレンスを維持しつつ、より一貫性のあるスライスを生成し、異なるLCMベースのシステム変更とテスト予算をまたいだ回帰スライス優先順位付けを改善した。
関連論文リスト
- Evolution-Aware Regression Test Prioritization of ML-Enabled Systems Using Gradient-Based Behavior Vectors [3.679343863104537]
勾配に基づく振る舞いベクトルデルタ(GBV-PD)は回帰テスト優先化のための振る舞いベクトル空間を運用するための最初のアプローチである。
GBV-PDは、非方向性ベースラインを一貫して上回り、フルグレード参照と競合した。
これらの結果は,行動空間のアイデアをML対応システムの繰り返し更新回帰テストのための実用的で効率的なメカニズムとして運用できることを示唆している。
論文 参考訳（メタデータ） (2026-06-26T12:43:20Z) - Deliberate Evolution: Agentic Reasoning for Sample-Efficient Symbolic Regression with LLMs [52.89778838903305]
Deliberate Evolution (DE) は、検索制御からシンボル生成を分離するエージェントフレームワークである。
LLM-SRBenchの実験では、DEMは様々な科学領域でLLMベースのSRベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-06-03T02:22:16Z) - Influence-Guided Symbolic Regression: Scientific Discovery via LLM-Driven Equation Search with Granular Feedback [56.69850045068714]
逐次的2段階プロセスとして方程式発見をフレーム化する方法である textitInfluence-Guided Regression (IGSR) を導入する。
LLM-SRBench, 薬理学的PKPDモデル, 疫学シミュレーション, 実世界のゲノムデータなど, IGSRの有効性を示す。
論文 参考訳（メタデータ） (2026-05-27T23:48:01Z) - REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge [83.2858110368572]
回帰報酬を最適化するための原則的RLフレームワークである textbfREAL (underlineREgression-underlineAware Reinforcement underlineLThought) を提案する。
我々は,REALがレグレッション対応SFTベースラインと標準RL法の両方を一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-03-17T21:19:08Z) - Reinforce-Ada: An Adaptive Sampling Framework for Reinforce-Style LLM Training [47.26632817047513]
大規模言語モデル(LLM)に推論タスクに適用された強化学習は、不安定な勾配推定によってボトルネックとなることが多い。
LLMのオンラインRLポストトレーニングのための適応型サンプリングフレームワークであるReinforce-Adaを提案する。
従来の2段階配置法とは異なり、Reinforce-Adaはオンライン連続除去プロセスにおける推定とサンプリングをインターリーブする。
論文 参考訳（メタデータ） (2025-10-06T16:34:09Z) - Understanding LLM Embeddings for Regression [8.095573259696092]
本論文は埋め込み型回帰に関する最初の包括的な研究の1つを提供する。
LLMを機能として組み込むことは,従来の機能工学よりも高次元回帰作業に有効であることを示す。
私たちは異なるモデル効果、特にモデルのサイズと言語理解の貢献を定量化します。
論文 参考訳（メタデータ） (2024-11-22T03:33:51Z) - Regression-aware Inference with LLMs [52.764328080398805]
提案手法は,一般的な回帰と評価指標に準最適であることを示す。
本稿では,ベイズ最適解を推定し,サンプル応答からクローズド形式の評価指標を推定する代替推論手法を提案する。
論文 参考訳（メタデータ） (2024-03-07T03:24:34Z) - Target Variable Engineering [0.0]
数値的対象を予測するために訓練された回帰モデルの予測性能と、2項化対象を予測するために訓練された分類器を比較した。
回帰は最適性能に収束するためには、はるかに多くの計算作業を必要とする。
論文 参考訳（メタデータ） (2023-10-13T23:12:21Z) - Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing
Regressions In NLP Model Updates [68.09049111171862]
この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。
回帰フリーモデル更新を制約付き最適化問題に定式化する。
モデルアンサンブルが回帰を減らす方法を実証的に分析します。
論文 参考訳（メタデータ） (2021-05-07T03:33:00Z) - Fast OSCAR and OWL Regression via Safe Screening Rules [97.28167655721766]
順序付き$L_1$ (OWL)正規化回帰は、高次元スパース学習のための新しい回帰分析である。
近勾配法はOWL回帰を解くための標準手法として用いられる。
未知の順序構造を持つ原始解の順序を探索することにより、OWL回帰の最初の安全なスクリーニングルールを提案する。
論文 参考訳（メタデータ） (2020-06-29T23:35:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。