論文の概要: Sustainability Analysis of Prompt Strategies for SLM-based Automated Test Generation
- arxiv url: http://arxiv.org/abs/2604.02761v1
- Date: Fri, 03 Apr 2026 06:10:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-06 17:20:24.343074
- Title: Sustainability Analysis of Prompt Strategies for SLM-based Automated Test Generation
- Title（参考訳）: SLMを用いた自動テスト生成のためのプロンプト戦略の持続可能性解析
- Authors: Pragati Kumari, Novarun Deb,
- Abstract要約: 本稿では,SLMを用いた自動テスト生成のための迅速なエンジニアリング戦略の体系的持続可能性評価について述べる。
我々は,3つのオープンソースSLMに対して,制御された実験環境下での迅速な7つの戦略を解析した。
その結果、迅速な戦略は持続可能性の結果に実質的かつ独立した影響を与え、しばしばモデル選択の影響を上回ります。
- 参考スコア（独自算出の注目度）: 0.42970700836450487
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The growing adoption of prompt-based automation in software testing raises important issues regarding its computational and environmental sustainability. Existing sustainability studies in AI-driven testing primarily focus on large language models, leaving the impact of prompt engineering strategies largely unexplored - particularly in the context of Small Language Models (SLMs). This gap is critical, as prompt design directly influences inference behavior, execution cost, and resource utilization, even when model size is fixed. To the best of our knowledge, this paper presents the first systematic sustainability evaluation of prompt engineering strategies for automated test generation using SLMs. We analyze seven prompt strategies across three open-source SLMs under a controlled experimental setup. Our evaluation jointly considers execution time, token usage, energy consumption, carbon emissions, and coverage test quality, the latter assessed through coverage analysis of the generated test scripts. The results show that prompt strategies have a substantial and independent impact on sustainability outcomes, often outweighing the effect of model choice. Reasoning intensive strategies such as Chain of Thought and Self-Consistency achieve higher coverage but incur significantly higher execution time, energy consumption, and carbon emissions. In contrast, simpler strategies such as Zero-Shot and ReAct deliver competitive coverage test quality with markedly lower environmental cost, while Least-to-Most and Program of Thought offer balanced trade-offs.
- Abstract（参考訳）: ソフトウェアテストにおけるプロンプトベースの自動化の採用の増加は、その計算と環境の持続可能性に関する重要な問題を提起する。
AI駆動テストにおける既存のサステナビリティ研究は、主に大きな言語モデルに焦点を当てており、特にSmall Language Models(SLM)のコンテキストにおいて、迅速なエンジニアリング戦略の影響はほとんど調査されていない。
このギャップは、モデルのサイズが固定されたとしても、迅速な設計が推論の振る舞い、実行コスト、リソース利用に直接影響を与えるため、非常に重要である。
そこで本研究では,SLMを用いた自動テスト生成のための迅速なエンジニアリング戦略の体系的持続可能性評価を行った。
我々は,3つのオープンソースSLMに対して,制御された実験環境下での迅速な7つの戦略を解析した。
本評価では, 実行時間, トークン使用量, エネルギー消費量, 炭素排出量, カバーテスト品質を共同で検討し, 後者は生成したテストスクリプトのカバレッジ解析により評価した。
その結果、迅速な戦略は持続可能性の結果に実質的かつ独立した影響を与え、しばしばモデル選択の影響を上回ります。
思考の連鎖や自己整合性といった集中的な戦略は、より高いカバレッジを実現するが、実行時間、エネルギー消費、二酸化炭素排出量は著しく増加する。
対照的に、Zero-ShotやReActのような単純な戦略は、競争力のあるカバレッジテストの品質を著しく低い環境コストで提供し、Least-to-MostとProgram of Thoughtはバランスの取れたトレードオフを提供している。
関連論文リスト
- Evaluating the Environmental Impact of using SLMs and Prompt Engineering for Code Generation [2.2165845825140695]
本稿では,サステナビリティ・ファクターとともにコード生成の精度に異なるエンジニアリング・ストラテジーがどう影響するかを,最初の系統的な実証的研究を行った。
我々は,HumanEval+ベンチマークとMBPP+ベンチマークを用いて,11個のオープンソースモデル(1Bから34Bパラメータ)にまたがる6つの顕著なプロンプト戦略を評価した。
以上の結果から,より単純なプロンプト技術であるChain-of-Thoughtは,推理能力とエネルギー効率のほぼ最適バランスを実現できることが示唆された。
論文 参考訳（メタデータ） (2026-04-03T06:37:51Z) - An Empirical Study of Sustainability in Prompt-driven Test Script Generation Using Small Language Models [0.42970700836450487]
本研究では,小言語モデル(SLM)のアクシデント駆動単体テストスクリプト生成における環境・性能のトレードオフを実験的に検討する。
以上の結果から,異なるSLMはエネルギー使用量が少なく,実行速度が速いことや,同等条件下で高い安定性やカバレッジを維持できることが示唆された。
論文 参考訳（メタデータ） (2026-04-03T06:00:15Z) - Beyond Scaling: Assessing Strategic Reasoning and Rapid Decision-Making Capability of LLMs in Zero-sum Environments [15.538910160052964]
本稿では,マルチエージェント評価フレームワークであるStrategic Tactical Agent Reasoning (STAR) Benchmarkを紹介する。
STARはターンベースとリアルタイムの両方の設定をサポートし、長期戦略計画の制御可能な分析を可能にする。
対話型環境における戦略的インテリジェンスは、推論の深さだけでなく、計画をタイムリーな行動に変換する能力にも依存することを示す。
論文 参考訳（メタデータ） (2026-03-10T08:14:13Z) - Strategy Executability in Mathematical Reasoning: Leveraging Human-Model Differences for Effective Guidance [86.46794021499511]
戦略利用と戦略実行可能性の間には、これまで未定のギャップがある。
SSR(Selective Strategy Retrieval)は,実行可能性を明確にモデル化するテストタイムフレームワークである。
SSRは、直接解決、文脈内学習、単一ソースガイダンスよりも信頼性が高く一貫した改善をもたらす。
論文 参考訳（メタデータ） (2026-02-26T03:34:23Z) - DeCEAT: Decoding Carbon Emissions for AI-driven Software Testing [0.42970700836450487]
本研究は,小言語モデル(SLM)の環境・性能トレードオフを体系的に評価するDeCEATフレームワークを紹介する。
以上の結果から,SLMは炭素制約下では高い安定性や精度を維持しつつ,それぞれ異なる持続可能性強度を示すことが明らかとなった。
この作業は、自動化されたSLMベースのテスト生成に特化して、サステナビリティ評価フレームワークを提供する。
論文 参考訳（メタデータ） (2026-02-20T05:54:58Z) - EcoGym: Evaluating LLMs for Long-Horizon Plan-and-Execute in Interactive Economies [61.267836443398124]
対話型経済における継続的計画・実行意思決定のためのベンチマークであるEcoGymを紹介する。
EcoGymは、透明性のある長期的なエージェント評価のためのオープンなテストベッドとしてリリースされ、現実的な経済環境下でのコントロール可能性とユーティリティのトレードオフを研究するためのものだ。
論文 参考訳（メタデータ） (2026-02-10T08:12:23Z) - Rethinking the Role of Prompting Strategies in LLM Test-Time Scaling: A Perspective of Probability Theory [79.63672515243765]
本稿では、標準的で現実的なスケーリング設定である多数決に焦点をあてる。
サンプリング時間と計算オーバーヘッドが増加するにつれて、より優れた初期性能を持つ複雑なプロンプト戦略が、次第に単純なチェーン・オブ・サート(Chain-of-Thought)に遅れることが示される。
本稿では,スケーリング性能を効率的に予測し,大規模なサンプリング時間下での最良のプロンプト戦略を特定する確率的手法を提案する。
論文 参考訳（メタデータ） (2025-05-16T08:28:57Z) - LLM-Safety Evaluations Lack Robustness [58.334290876531036]
我々は、大規模言語モデルに対する現在の安全アライメント研究は、多くのノイズ源によって妨げられていると論じる。
本研究では,将来の攻撃・防衛用紙の評価において,ノイズやバイアスを低減させる一連のガイドラインを提案する。
論文 参考訳（メタデータ） (2025-03-04T12:55:07Z) - Auto-PRE: An Automatic and Cost-Efficient Peer-Review Framework for Language Generation Evaluation [52.76508734756661]
Auto-PREはピアレビュープロセスにインスパイアされた自動評価フレームワークである。
人間のアノテーションに依存する従来のアプローチとは異なり、Auto-PREは自動的に3つのコア特性に基づいて評価子を選択する。
要約,非ファクトイドQA,対話生成を含む3つの代表的なタスクの実験は,Auto-PREが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2024-10-16T06:06:06Z) - Automating Dataset Updates Towards Reliable and Timely Evaluation of Large Language Models [81.27391252152199]
大規模言語モデル(LLM)は、さまざまな自然言語ベンチマークで素晴らしいパフォーマンスを実現している。
本稿では、データセットの自動更新と、その有効性に関する体系的な分析を提案する。
1) 類似したサンプルを生成するための戦略を模倣すること,2) 既存のサンプルをさらに拡張する戦略を拡張すること,である。
論文 参考訳（メタデータ） (2024-02-19T07:15:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。