論文の概要: Refining LLM-based Directed Test Input Generation via Runtime Value Feedback

• arxiv url: http://arxiv.org/abs/2608.07926v1
• Date: Sat, 08 Aug 2026 05:05:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.568381
• Title: Refining LLM-based Directed Test Input Generation via Runtime Value Feedback
• Title（参考訳）: LLMを用いた実行時値フィードバックによるダイレクトテスト入力生成の精錬
• Abstract要約: 本稿では,有向入力生成のための実行時フィードバック誘導改良フレームワークReDigを提案する。 PopplerとLibsndfileを使ったケーススタディでは、ReDigが実行時値のフィードバックを効果的に導き、以前のテストスクリプトがターゲットラインに到達できなかった理由を診断することがわかった。
• 参考スコア（独自算出の注目度）: 1.160208922584163
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-based directed input generation techniques have shown promising effectiveness at producing target-reaching test inputs. However, due to the constraint of available code information and inherent unpredictability of LLM inference, reliable directed input generation requires mechanisms to ground the process in observed runtime behavior. We propose ReDig, a runtime feedback-guided refinement framework which adds a control loop around an LLM-based directed test input generation technique to refine the directed input generation with runtime values observed in prior target-missing test executions. In the case studies with Poppler and Libsndfile, we found that ReDig effectively derive runtime value feedback to diagnose why the previous test script failed to reach the target lines, and also effectively leverage given runtime value feedback to refine the test scripts in subsequent steps.
• Abstract（参考訳）: LLMをベースとした指向型入力生成技術は、目標到達テストインプットを生成する上で有望な効果を示した。 しかし、利用可能なコード情報の制約とLLM推論の固有の予測不可能のため、信頼性の高い直接入力生成には、観測された実行時の動作においてプロセスの基盤となるメカニズムが必要である。 本研究では, LLM を用いた指向型テスト入力生成技術に制御ループを追加し, 従来の目標達成型テスト実行で観測されたランタイム値を用いて, 指向型入力生成を改良するランタイムフィードバック誘導型改良フレームワーク ReDig を提案する。 PopplerとLibsndfileを使ったケーススタディでは、ReDigが実行時値のフィードバックを効果的に導き、以前のテストスクリプトがターゲットラインに到達できなかった理由を診断し、与えられた実行時値のフィードバックを効果的に活用して、その後のステップでテストスクリプトを洗練させることが分かりました。

関連論文リスト

• Can Formal Specifications Be Synthesized from Tests Alone? [6.705404088685053]
  提案手法では,テストコードと動的実行トレースのみから候補仕様を推測するためにLLMを用いる。 候補仕様は有界モデルチェックを用いて局所的に検証され、フィードバックは反復的改善を導く。 SpecGenBenchベンチマークの最初の結果は、テストがLLMを意味のあるJavaモデリング言語仕様へと導くことができることを示唆している。
  論文  参考訳（メタデータ） (2026-08-13T13:44:54Z)
• LLM Detection as an Intervention: Downstream Impact under Strategic User Behavior [53.63441578662801]
  インタクタは、検出された属性自身だけでなく、LLM使用率や出力品質などの下流メトリクスを操縦する介入として動作する。 我々は,LLMの使用量を戦略的に選択し,コンテンツ後処理によって検出された属性を減らし,その特性を定量的に把握するスタイリングモデルを開発した。 検出された属性を低減しても出力品質は向上するが,LDM検出器を導入することで,ユーザは低品質の出力が得られる。
  論文  参考訳（メタデータ） (2026-07-21T17:11:02Z)
• Refusal Before Decoding: Detecting and Exploiting Refusal Signals in Intermediate LLM Activations [18.44975629076816]
  その結果, 出力発生前の中間アクティベーションで安全関連挙動が表現されることが示唆された。 本稿では,全モデル適合度評価を部分的に前進パスに置き換え,遺伝的プロンプト探索ループ内でプローブベースのスコアリングを行う,プローブ誘導型AutoDANについて紹介する。
  論文  参考訳（メタデータ） (2026-05-27T14:44:36Z)
• RESTestBench: A Benchmark for Evaluating the Effectiveness of LLM-Generated REST API Test Cases from NL Requirements [0.13681174239726607]
  RESTestBenchは、手動で検証されたNL要求と組み合わせた3つのRESTサービスからなるベンチマークである。 我々は,複数の最先端LCMに対して, (i)非リファインメントベース生成と (ii) 動作中のSUTとの相互作用によって誘導されるリファインメントベース生成の2つのアプローチを評価する。
  論文  参考訳（メタデータ） (2026-04-28T16:59:08Z)
• SDLLMFuzz: Dynamic-static LLM-assisted greybox fuzzing for structured input programs [6.165429775333409]
  SDLLMFuzzは、構造化入力プログラムのための動的静的LLM支援グレーボックスファジングフレームワークである。 提案手法は,構造認識型シード生成と静的クラッシュ解析を統合し,統一されたフィードバックループを形成する。 実験結果から,SDLLMFuzzは従来のグレーボックスファザーよりも有意に優れていた。
  論文  参考訳（メタデータ） (2026-04-20T03:10:31Z)
• TestWeaver: Execution-aware, Feedback-driven Regression Testing Generation with Large Language Models [5.871736617580623]
  回帰テストは、コードの変更が意図せずに既存の機能を壊さないようにする。 大規模言語モデル(LLM)の最近の進歩は、回帰テストのためのテスト生成を自動化することを約束している。 テスト生成をより効率的にガイドするために、軽量なプログラム分析を統合する新しいアプローチであるTestWeaverを提案する。
  論文  参考訳（メタデータ） (2025-08-02T08:13:02Z)
• PRO-V: An Efficient Program Generation Multi-Agent System for Automatic RTL Verification [6.983135183126461]
  Pro-Vは、堅牢なRTL検証のためのプログラム生成マルチエージェントシステムである。 生成したテストベンチの正しさを高めるため、効率的なn個の反復サンプリング戦略が組み込まれている。 Pro-Vは、黄金のRTL実装では87.17%、RTL変異では76.28%の精度で検証されている。
  論文  参考訳（メタデータ） (2025-06-13T20:06:34Z)
• Teaching Your Models to Understand Code via Focal Preference Alignment [70.71693365502212]
  既存の手法では、テストケースの成功率に基づいてn個の候補解が評価される。 このアプローチは、特定のエラーを特定するのではなく、失敗するコードブロック全体を整列するので、意味のあるエラーと訂正の関係を捉えるのに必要な粒度が欠けている。 我々は、人間の反復デバッグを模倣してコードLLMを洗練させる新しい優先順位調整フレームワークであるTarget-DPOを提案する。
  論文  参考訳（メタデータ） (2025-03-04T16:56:34Z)
• Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
  検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。 私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。 実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
  論文  参考訳（メタデータ） (2024-11-01T20:44:59Z)
• AIME: AI System Optimization via Multiple LLM Evaluators [79.03422337674664]
  AIME は複数の LLM を利用した評価プロトコルであり、それぞれが独立した基準で評価を生成し、結合を通してそれらを結合する。 コード生成タスクにおける AIME のベースラインメソッドのパフォーマンスは,LeetCodeHard と HumanEval データセットの単一 LLM 評価プロトコルよりも最大 62% 高いエラー検出率,最大 16% 高い成功率で向上している。
  論文  参考訳（メタデータ） (2024-10-04T04:03:24Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
  RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。 我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
  論文  参考訳（メタデータ） (2024-04-30T13:50:55Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。