論文の概要: Harden and Catch for Just-in-Time Assured LLM-Based Software Testing: Open Research Challenges

• arxiv url: http://arxiv.org/abs/2504.16472v1
• Date: Wed, 23 Apr 2025 07:32:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.034845
• Title: Harden and Catch for Just-in-Time Assured LLM-Based Software Testing: Open Research Challenges
• Title（参考訳）: ジャスト・イン・タイムで保証されたLLMベースのソフトウェアテストのためのハーデンとキャッチ:オープンリサーチの課題
• Authors: Mark Harman, Peter O'Hearn, Shubho Sengupta,
• Abstract要約: ソフトウェアテスト生成のための大規模言語モデルという文脈において、テストの硬化と捕捉がエキサイティングな新しい課題を引き起こすことを示す。 ハードニングテストは将来のリグレッションから保護しようとするが、キャッチテストはコード変更によって導入された新機能のそのようなリグレッションや欠陥をキャッチするものだ。 私たちは、レガシーコードの遅延障害をキャッチするために、Jetching JiTTest生成のあらゆるソリューションを再利用できることを示します。
• 参考スコア（独自算出の注目度）: 12.931831095319456
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite decades of research and practice in automated software testing, several fundamental concepts remain ill-defined and under-explored, yet offer enormous potential real-world impact. We show that these concepts raise exciting new challenges in the context of Large Language Models for software test generation. More specifically, we formally define and investigate the properties of hardening and catching tests. A hardening test is one that seeks to protect against future regressions, while a catching test is one that catches such a regression or a fault in new functionality introduced by a code change. Hardening tests can be generated at any time and may become catching tests when a future regression is caught. We also define and motivate the Catching `Just-in-Time' (JiTTest) Challenge, in which tests are generated `just-in-time' to catch new faults before they land into production. We show that any solution to Catching JiTTest generation can also be repurposed to catch latent faults in legacy code. We enumerate possible outcomes for hardening and catching tests and JiTTests, and discuss open research problems, deployment options, and initial results from our work on automated LLM-based hardening at Meta. This paper\footnote{Author order is alphabetical. The corresponding author is Mark Harman.} was written to accompany the keynote by the authors at the ACM International Conference on the Foundations of Software Engineering (FSE) 2025.
• Abstract（参考訳）: 自動ソフトウェアテストにおける何十年もの研究と実践にもかかわらず、いくつかの基本的な概念は未定義で未調査のままでありながら、潜在的な現実世界への影響をもたらす。 これらの概念は、ソフトウェアテスト生成のための大規模言語モデルという文脈において、エキサイティングな新しい課題を引き起こします。 より具体的には、ハードニングとキャッチテストの特性を正式に定義し、調査する。 ハードニングテストは将来のレグレッションから保護しようとするテストであり、キャッチテストはコード変更によって導入された新機能のリグレッションや欠陥をキャッチするテストである。 ハードニングテストはいつでも生成でき、将来の回帰が捉えられると、テストがキャッチされる可能性がある。 また、本番に投入する前に新しい障害をキャッチするために、テストが'just-in-time'(ジャスト・イン・タイム)として生成される、Cataching `Just-in-Time' (JiTTest) Challengeを定義し、動機付けします。 私たちは、レガシーコードの遅延障害をキャッチするために、JTTest生成の任意のソリューションを再利用できることを示します。 テストとJTTestのハードニングとキャッチの可能な成果を列挙し、オープンな研究問題、デプロイメントオプション、Metaにおける自動LLMベースのハードニングに関する作業の初期結果について議論します。 このペーパー\footnote{Author 順はアルファベット順です。 著者はマーク・ハーマン。 基調講演はACM International Conference on the Foundations of Software Engineering (FSE) 2025で行われた。

関連論文リスト

• Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs [60.881609323604685]
  ブラックボックスAPIを通じてアクセスされるLarge Language Models (LLM)は、信頼の課題をもたらす。 ユーザーは、宣伝されたモデル機能に基づいたサービスの料金を支払う。 プロバイダは、運用コストを削減するために、特定のモデルを安価で低品質の代替品に隠蔽的に置き換えることができる。 この透明性の欠如は、公正性を損なうとともに、信頼を損なうとともに、信頼性の高いベンチマークを複雑にする。
  論文  参考訳（メタデータ） (2025-04-07T03:57:41Z)
• Revisit Self-Debugging with Self-Generated Tests for Code Generation [18.643472696246686]
  自己生成テストによる自己改善は、有望なソリューションだが、その限界と現実的な可能性を十分に探求することができない。 プロセスにはポストエグゼクティブとインエグゼクティブ自己老化という2つのパラダイムを提案する。 実行後の自己老化は基本的な問題に苦しむが、自己生成テストによって生じるバイアスのため、競合する問題の改善の可能性を示す。
  論文  参考訳（メタデータ） (2025-01-22T10:54:19Z)
• AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
  LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。 以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
  論文  参考訳（メタデータ） (2024-11-02T13:24:30Z)
• Fix the Tests: Augmenting LLMs to Repair Test Cases with Static Collector and Neural Reranker [9.428021853841296]
  本稿では, TROCtxsの精密かつ高精度な構築により, 旧来の検査ケースを自動的に修復する新しい手法であるSynTERを提案する。 構築されたTROCtxの増強により、幻覚は57.1%減少する。
  論文  参考訳（メタデータ） (2024-07-04T04:24:43Z)
• Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
  不確実性定量化は機械学習アプリケーションにおいて重要な要素である。 最新のUQベースラインの集合を実装した新しいベンチマークを導入する。 我々は、11タスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も効果的なアプローチを特定した。
  論文  参考訳（メタデータ） (2024-06-21T20:06:31Z)
• SWT-Bench: Testing and Validating Real-World Bug-Fixes with Code Agents [10.730852617039451]
  ユーザ問題をテストケースに形式化するLLMベースのコードエージェントについて検討する。 我々は人気のあるGitHubリポジトリに基づいた新しいベンチマークを提案し、現実世界の問題、地味なバグフィックス、ゴールデンテストを含む。 コード修復用に設計されたコードエージェントは,テスト生成用に設計されたシステムの性能を上回っている。
  論文  参考訳（メタデータ） (2024-06-18T14:54:37Z)
• VersiCode: Towards Version-controllable Code Generation [58.82709231906735]
  大規模言語モデル(LLM)は、コード生成において大きな進歩を遂げていますが、既存の研究は、ソフトウェア開発の動的な性質を説明できません。 バージョン別コード補完(VSCC)とバージョン別コードマイグレーション(VACM)の2つの新しいタスクを提案する。 VersiCodeについて広範な評価を行い、バージョン管理可能なコード生成が確かに重要な課題であることを示した。
  論文  参考訳（メタデータ） (2024-06-11T16:15:06Z)
• TESTEVAL: Benchmarking Large Language Models for Test Case Generation [15.343859279282848]
  大規模言語モデル(LLM)を用いたテストケース生成のための新しいベンチマークであるTESTEVALを提案する。 オンラインプログラミングプラットフォームLeetCodeから210のPythonプログラムを収集し、全体的なカバレッジ、ターゲットライン/ブランチカバレッジ、ターゲットパスカバレッジという3つの異なるタスクを設計します。 特定のプログラム行/ブランチ/パスをカバーするテストケースを生成することは、現在のLLMでは依然として困難である。
  論文  参考訳（メタデータ） (2024-06-06T22:07:50Z)
• Test-Driven Development for Code Generation [0.850206009406913]
  大きな言語モデル(LLM)は、問題ステートメントから直接コードスニペットを生成する重要な機能を示している。 本稿では,テスト駆動開発(TDD)をAI支援コード生成プロセスに組み込む方法について検討する。
  論文  参考訳（メタデータ） (2024-02-21T04:10:12Z)
• Automatic Generation of Test Cases based on Bug Reports: a Feasibility Study with Large Language Models [4.318319522015101]
  既存のアプローチは、単純なテスト(例えば単体テスト)や正確な仕様を必要とするテストケースを生成する。 ほとんどのテスト手順は、テストスイートを形成するために人間が書いたテストケースに依存しています。 大規模言語モデル(LLM)を活用し,バグレポートを入力として利用することにより,この生成の実現可能性を検討する。
  論文  参考訳（メタデータ） (2023-10-10T05:30:12Z)
• Backdoor Learning on Sequence to Sequence Models [94.23904400441957]
  本稿では,シークエンス・ツー・シークエンス(seq2seq)モデルがバックドア攻撃に対して脆弱かどうかを検討する。 具体的には、データセットの0.2%のサンプルを注入するだけで、Seq2seqモデルに指定されたキーワードと文全体を生成することができる。 機械翻訳とテキスト要約に関する大規模な実験を行い、提案手法が複数のデータセットやモデルに対して90%以上の攻撃成功率を達成することを示した。
  論文  参考訳（メタデータ） (2023-05-03T20:31:13Z)
• Momentum Decoding: Open-ended Text Generation As Graph Exploration [49.812280360794894]
  自動回帰言語モデル(LM)を用いたオープンエンドテキスト生成は、自然言語処理における中核的なタスクの1つである。 我々は、新しい視点から、すなわち、有向グラフ内の探索プロセスとして、オープンエンドテキスト生成を定式化する。 本稿では,新しい復号法であるtextitmomentum decodingを提案する。
  論文  参考訳（メタデータ） (2022-12-05T11:16:47Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。